기술 요약: 장면 그래프 생성을 위한 의존성 인식 이산 확산

1. 문제 제기

장면 그래프 (SG) 는 시각적 장면을 구조화하여 표현하며, 객체를 노드로, 관계를 엣지로 인코딩합니다. 텍스트만 사용한 프롬핑에 비해 장면 그래프를 기반으로 이미지 생성을 조건화하면 구성적 충실도가 향상되는 것으로 입증되었으나, 자연어 프롬프에서 구조화된 장면 그래프를 생성하는 것은 여전히 큰 병목 현상으로 남아 있습니다.

기존 접근법은 두 가지 주요 과제를 안고 있습니다:

1. 모호성: 자연어는 종종 미구현 (under-specified) 되어 있습니다 (예: "사람과 서핑보드는 관계를 정의하지 않음). 따라서 결정론적 매핑이 아닌 조건부 분포 $p(G|T)$ 를 모델링해야 합니다.
2. 구조적 복잡성: 장면 그래프는 계층적 구조, 긴 꼬리 분포를 가진 관계 어휘, 그리고 강한 조건부 의존성으로 인해 분자나 교통 네트워크와 같은 일반 그래프와 근본적으로 다릅니다. 구체적으로, 관계의 존재는 엣지의 존재에 의존하며, 엣지의 존재는 관련 객체의 존재에 의존합니다.

기존의 이산 확산 모델 (예: DiGress) 은 노드와 엣지를 독립적인 범주형 변수로 취급합니다. 이러한 독립성 가정은 계층적 의존성 (객체 $\to$ 엣지 $\to$ 관계) 이 중요한 장면 그래프에는 적합하지 않습니다. 표준 접근법은 'no-edge' 클래스가 분포를 지배하는 데 어려움을 겪어, 손상 과정에서 희귀한 관계가 손실되는 문제가 발생합니다.

2. 방법론: DiScGraph

저자들은 장면 그래프 생성을 위해 설계된 의존성 인식 계층적 제약 이산 확산 모델인 DiScGraph를 제안합니다. 이 방법은 네 가지 핵심 구성 요소로 이루어집니다:

2.1 계층적 장면 그래프 표현

엣지와 관계를 단일 결합 범주형 변수로 모델링하는 대신, DiScGraph 는 이를 분해된 상태 공간 $G = (V, E, R^+)$으로 분리합니다:

• $V$ (객체): 노드 레이블.
• $E$ (엣지): 이진 존재 지표 ($e_{ij} \in \{0, 1\}$).
• $R^+$ (관계): 활성 엣지 ($e_{ij}=1$) 에서만 정의된 관계 정체성.
  이것은 $e_{ij}=0 \implies r_{ij}=0$이라는 제약을 강제하여 의미적 유효성을 보장하고, 구조적 희소성을 의미 학습과 분리합니다.

2.2 구조 인식 순방향 과정

순방향 노이즈 과정은 계층적 제약을 존중하도록 재설계되었습니다:

• 엣지 게이트 손상: 관계 손상은 엣지 상태에 조건부입니다. 엣지가 비활성 ($e_{ij}=0$) 인 경우, 관계는 결정론적으로 0 으로 설정됩니다. 활성인 경우, 관계는 표준 이산 확산 커널에 따라 손상됩니다.
• 하이브리드 손상 전략: 모델은 무작위 손상과 흡수 마스크 손상을 혼합하여 사용합니다. 마스크 전략은 그래프 구조 (엣지) 를 보존하면서 의미 정보 (객체 및 관계) 를 숨겨, 모델이 기본 토폴로지를 파괴하지 않고 의미를 학습할 수 있게 합니다. 이는 희귀한 관계가 훈련 중 압도적인 'no-edge' 클래스와 경쟁하는 것을 방지합니다.

2.3 분해된 역 샘플러

역 생성 과정은 의존성 인식 시퀀스 $V \to E \to R$을 따릅니다.

• 분해된 예측: 모델은 특정 순서로 깨끗한 상태 $x_0$를 예측합니다: 먼저 객체 정체성 ($V_0$), 그 다음 객체에 조건부인 엣지 존재 ($E_0$), 마지막으로 객체와 활성 엣지에 조건부인 관계 정체성 ($R_0$).
• 엣지 게이트 사후 확률: 관계에 대한 역 전이 확률은 세 가지 시나리오를 처리하도록 수정됩니다:
  1. $t-1$에서 엣지가 없음: 관계는 결정론적으로 0 입니다.
  2. $t$와 $t-1$ 모두에서 엣지가 활성: 표준 이산 사후 업데이트.
  3. 엣지가 재활성화됨 ($t$는 비활성, $t-1$은 활성): 관계는 현재 노이즈 상태가 아닌, 노이즈 제거기의 깨끗한 예측에서 유도된 주변 분포에서 샘플링됩니다.

2.4 보상 기울기 추론을 통한 텍스트 조건부 생성

확산 모델을 재훈련하지 않고 텍스트 프롬프에 조건부인 장면 그래프 ($p(G|T)$) 를 생성하기 위해, 저자들은 순차 몬테 카를로 (SMC) 와 보상 기울기 샘플링을 사용한 훈련 없는 조건부 방식을 채택합니다:

• 보상 함수: 텍스트 프롬프와 직렬화된 장면 그래프 간의 CLIP 유사도 점수가 보상 $R(G, T)$로 작용합니다.
• 기울기 샘플링: 역 확산 궤적 동안 입자들은 텍스트 프롬프와의 정렬도에 따라 재샘플링됩니다. 상태의 확률은 $\exp(\beta R(\hat{G}_0, T))$로 기울어지는데, 여기서 $\hat{G}_0$는 현재 시간 단계에서 예측된 깨끗한 그래프입니다.

3. 주요 기여

1. 계층적 분해: 엣지 존재와 관계 의미를 명시적으로 분리하는 분해된 상태 공간의 도입으로, 이를 독립 변수로 취급하는 것의 한계를 해결합니다.
2. 의존성 인식 확산: 장면 그래프에 내재된 조건부 의존성 (객체 $\to$ 엣지 $\to$ 관계) 을 존중하는 새로운 순방향 및 역 과정을 통해 희귀 관계 분포의 붕괴를 방지합니다.
3. 훈련 없는 텍스트 조건부: 보상 기울기 샘플링과 CLIP 을 사용하여 생성된 장면 그래프를 텍스트 프롬프와 정렬시키는 방법으로, 복잡한 조건부 모델 재훈련의 필요성을 피합니다.
4. 종합 평가: 그래프 지표, 레이아웃 예측, 그리고 하류 이미지 생성 품질 전반에 걸쳐 표준 벤치마크 (Visual Genome, COCO, LAION-SG) 에서 최첨단 성능을 입증했습니다.

4. 실험 결과

모델은 Visual Genome, COCO, LAION-SG 데이터셋에서 평가되었습니다.

• 무조건부 그래프 생성: DiScGraph 는 모든 지표에서 연속적 베이스라인 (DiffuseSG) 과 이산 그래프 베이스라인 (DiGress, GraphGDP) 을 능가합니다. 특히 Relation-MMD와 Attach-TV에서 상당한 개선을 이루어, 실제 관계 분포 학습과 객체 및 관계 간의 의미적 일관성이 우수함을 보여줍니다. 또한 Rare-K-TV에서도 강력한 성능을 보이며 긴 꼬리 관계를 효과적으로 모델링합니다.
• 레이아웃 예측: 레이아웃 헤드를 통해 바운딩 박스를 추출할 때, DiScGraph 는 전용 레이아웃 생성 모델 (LayoutDM, LayoutDiffusion) 과 경쟁하는 F1 점수를 달성하여, 구조 학습이 기하학적 그라운딩으로 효과적으로 전이됨을 보여줍니다.
• 텍스트-이미지 생성: 하류 이미지 생성기 (SDXL-SG, GLIGEN) 를 조건부로 사용할 때, DiScGraph 는 텍스트만 사용한 구성 방법 (ComposeDiff, CO3) 에 비해 더 높은 ImageReward, BLIP-VQA, SG-IoU 점수를 제공합니다. 개선은 특히 다중 객체 및 복잡한 관계 시나리오에서 두드러지며, 구조화된 장면 그래프가 텍스트 임베딩만으로는 얻기 어려운 더 강력한 사전 지식을 제공함을 확인시켜 줍니다.

5. 중요성 및 주장

이 논문은 기존 그래프용 이산 확산의 주요 한계가 노드와 엣지 간의 독립성 가정이며, 이는 장면 그래프에는 유효하지 않다고 주장합니다. 의존성 인식 계층적 제약 확산 과정을 도입함으로써 DiScGraph 는 시각적 장면의 특징인 복잡한 조건부 의존성과 긴 꼬리 분포를 성공적으로 포착합니다.

저자들은 이 접근법이 구조화된 데이터를 위한 연속 확산에 대한 강력한 대안을 제공하며, 텍스트 임베딩으로는 인코딩하기 어려운 "구조화된 사전 지식"을 제공한다고 주장합니다. 결과는 텍스트에서 장면 그래프를 생성하고 이를 이미지 생성 조건부로 사용하는 것이, 특히 텍스트 프롬프가 모호하거나 복잡한 시나리오에서 구성적 충실도를 향상시키기 위한 실현 가능한 전략임을 시사합니다.

논문은 CLIP 에 대한 보상 함수 의존성 (모든 뉘앙스를 포착하지 못할 수 있음), 장면 크기에 따른 그래프 트랜스포머의 2 차 확장, 그리고 고품질 출력을 보장하기 위한 현재 샘플링 개선 필요성 등의 한계를 인정합니다. 향후 작업은 더 강력한 학습 보상 모델과 확장성을 위한 희소 어텐션 메커니즘을 탐구할 것을 제안합니다.