FOCUS: Optimal Control for Multi-Entity World Modeling in Text-to-Image Generation

1. 문제 정의 (Problem)

텍스트-to-이미지 (T2I) 생성 모델은 단일 객체 프롬프트에서는 탁월한 성능을 보이지만, 여러 객체 (Multi-Entity) 가 포함된 장면에서는 다음과 같은 심각한 한계를 보입니다.

• 속성 누출 (Attribute Leakage): 한 객체의 속성 (예: 색상, 질감) 이 다른 객체로 잘못 전이되는 현상.
• 정체성 얽힘 (Identity Entanglement): 서로 다른 객체들이 서로 섞이거나 형태가 모호해지는 문제.
• 객체 누락 (Subject Omission): 프롬프트에 명시된 일부 객체가 이미지에 생성되지 않음.

이러한 오류는 모델이 '세계 모델링 (World Modeling)' 관점에서 객체 중심의 표현을 약하게 학습했기 때문에 발생하며, 특히 속성과 객체의 바인딩 (Binding) 이 비국소적 (Non-local) 으로 처리되어 발생합니다. 기존 방법들은 주로 주의 메커니즘 (Attention) 을 수동으로 조작하는 휴리스틱 (Heuristic) 에 의존하여, 특정 모델에 종속적이고 최적화 목표가 불명확하다는 단점이 있었습니다.

2. 방법론 (Methodology)

저자들은 Flow Matching (FM) 기반의 생성 모델을 확률적 최적 제어 (Stochastic Optimal Control, SOC) 문제로 재해석하여, 이 문제를 체계적으로 해결하는 프레임워크인 FOCUS를 제안합니다.

핵심 이론: 확률적 최적 제어 (SOC)

• 생성 과정을 기본 분포에서 데이터 분포로 이동하는 흐름 (Flow) 으로 간주하고, 여기에 제어 입력 $u$를 추가하여 최적화 문제를 설정합니다.
• 목적 함수는 **기저 모델의 충실도 (Fidelity)**와 객체 분리 (Disentanglement) 사이의 균형을 맞추는 단일 목적 함수로 정의됩니다.
• 이를 통해 기존 휴리스틱 방법들을 하나의 통일된 제어 프레임워크 하에서 해석하고, 명확한 트레이드오프 파라미터 ($\lambda$) 를 제공합니다.

FOCUS 손실 함수 (Probabilistic Attention-Binding Objective)

• 기존 휴리스틱들이 주의 맵 (Attention Map) 에 대한 임의의 거리 측정을 사용하는 것과 달리, FOCUS 는 주의 맵을 공간 확률 분포로 간주합니다.
• **Jensen-Shannon Divergence (JSD)**를 사용하여 두 가지 목표를 동시에 최적화합니다:
  1. 객체 내 일관성 (Within-subject consistency): 동일한 객체에 대한 여러 주의 맵 간의 분산 최소화 (단일 모드, 국소화).
  2. 객체 간 분리 (Between-subject separation): 서로 다른 객체의 평균 주의 분포 간의 거리 최대화.
• 이 손실 함수는 객체 수에 관계없이 확장 가능하며, 확률적 분포의 특성을 반영합니다.

두 가지 구현 방식

1. 학습 없는 테스트 시간 제어 (Training-free Test-time Controller):
   • 모델 재학습 없이 추론 시 적용됩니다.
   • 현재 상태에서의 그라디언트를 기반으로 제어 신호를 실시간으로 계산하여 베이스 모델의 속도 (Velocity) 를 보정합니다.
   • 단일 패스 (Single-pass) 업데이트로 효율적으로 작동하며, 기존 SDE/ODE 솔버와 호환됩니다.
2. Adjoint Matching을 통한 파인튜닝 (Fine-tuning via Adjoint Matching):
   • 테스트 시간의 가이드 신호를 학습된 제어 네트워크 (Lightweight Control Network) 로 대체하여 지연 시간을 줄입니다.
   • Adjoint Matching 기법을 사용하여, 제어된 경로를 역전파하지 않고도 'lean adjoint' 신호를 회귀 (Regress) 함으로써 효율적으로 학습합니다.
   • 메모리리스 (Memoryless) 스케줄을 사용하여 일반성을 높입니다.

3. 주요 기여 (Key Contributions)

1. FOCUS (Flow Optimal Control for Unentangled Subjects): 다중 객체 분리 (Disentanglement) 를 위한 확률적 주의 바인딩 목적 함수를 제안했습니다. 이는 기존 휴리스틱보다 더 일관된 성능을 보입니다.
2. 두 가지 실용적 인스턴스:
   • 재학습 없이 적용 가능한 테스트 시간 제어기.
   • Adjoint Matching 을 활용한 가벼운 파인튜닝 방법.
3. SOC 관점의 통합: 기존 T2I 모델의 잠재 공간 업데이트 가이드를 SOC 관점에서 재해석하여, 아키텍처 (SD 1.5, SD 3.5, FLUX 등) 와 샘플러에 구애받지 않는 통일된 인터페이스를 제공합니다.

4. 실험 결과 (Results)

실험은 **Stable Diffusion 3.5 (SD 3.5)**와 FLUX.1 모델에서 수행되었으며, 150 개의 다중 객체 프롬프트로 평가되었습니다.

• 성능 향상:
  • 테스트 시간 제어: FOCUS 는 기존 방법들 (Attend&Excite, CONFORM, Divide&Bind 등) 보다 CLIP, SigLIP, BLIP, PickScore 등 다양한 자동 평가 지표에서 우수한 Composite Score를 기록했습니다.
  • 파인튜닝: 학습된 제어 네트워크는 테스트 시간 제어보다 더 높은 성능을 보이며, 보지 못한 프롬프트 (Unseen prompts) 에도 잘 일반화되었습니다.
  • Human Preference Study: 50 명의 참가자를 대상으로 한 쌍별 비교 (Pairwise Preference) 에서 FOCUS 는 모든 모델에서 가장 높은 **승률 (Win Rate)**과 Elo Rating을 기록했습니다.
• 효율성:
  • 테스트 시간 제어는 상용 GPU 에서 실행 가능하며, 파인튜닝은 모델의 전체 파라미터를 변경하지 않고 LoRA(Low-Rank Adaptation) 를 통해 <0.1% 의 가중치만 업데이트하여 효율적입니다.
  • SD 1.5 와 같은 기존 디노이징 확산 모델에서도 적용 가능성을 입증했습니다.
• 비교: Self-Cross Guidance (SCG) 와 같은 최신 방법과 비교했을 때, FOCUS 는 이미지 품질 저하 (세그멘테이션 아티팩트 등) 없이 더 안정적으로 객체 수와 속성을 유지했습니다.

5. 의의 및 중요성 (Significance)

이 논문은 T2I 모델의 다중 객체 생성 문제를 최적 제어 이론이라는 강력한 수학적 프레임워크로 접근했다는 점에서 의의가 큽니다.

• 이론적 통찰: 기존에 경험적 (Empirical) 으로 개발되었던 주의 조작 기법들이 왜 작동하는지, 그리고 어떻게 최적화해야 하는지에 대한 이론적 근거를 제공합니다.
• 실용성: 별도의 대규모 재학습 없이도 모델의 성능을 즉시 개선할 수 있는 테스트 시간 제어와, 장기적으로 효율적인 파인튜닝 경로를 모두 제공합니다.
• 범용성: Flow Matching 기반의 최신 모델 (SD 3.5, FLUX) 은 물론, 기존 Diffusion 모델까지 아우르는 아키텍처 비종속적 (Architecture-agnostic) 인 접근법을 제시하여, 향후 다중 객체 생성 연구의 표준 프레임워크로 자리 잡을 가능성이 높습니다.

결론적으로, FOCUS 는 텍스트 프롬프트에 명시된 여러 객체가 속성과 정체성을 올바르게 유지하며 조화롭게 생성되도록 하는 신뢰할 수 있는 세계 모델링을 가능하게 하는 핵심 기술입니다.