기술 요약: 추론 기반 통합 이미지 생성을 위한 잠재 행동 제어

문제 제기

통합 멀티모달 모델은 공유 백본 내에서 시각적 이해와 이미지 생성을 성공적으로 통합해 왔습니다. 그러나 지속적인 "이해-생성 간극"이 존재합니다: 모델은 이해 단계 동안 객체, 관계, 제약을 올바르게 추론할 수 있지만, 생성된 이미지에서 이를 충실히 구현하지는 못합니다. 이 간극을 해소하기 위한 기존 접근법들은 일반적으로 추론을 자연어 계획, 텍스트 체크리스트, 또는 반복적 편집 지시사항으로 외부화합니다. 이러한 방법들은 추론을 생성기의 숨은 상태 역학 외부의 산물로 취급하여, 조건부 신호로 재해석해야 하는 요구를 수반합니다. 반면, 잠재 추론 방법들은 숙고를 연속 공간으로 이동시키지만, 종종 이러한 상태를 생성을 직접 이끄는 역할별 실행 가능 행동으로 형식화하지 못합니다. 결과적으로, 시각적 합성이 시작되기 전에 추론된 제약을 생성 시점의 조건부 신호로 변환하는 제어 인터페이스가 부재합니다.

방법론: 잠재 행동 제어 (LAC)

저자들은 통합 이미지 생성을 위한 내부 제어 인터페이스로 추론을 변환하는 잠재 행동 제어 (Latent Action Control, LAC) 프레임워크를 제안합니다. LAC 는 추론을 텍스트로 디코딩하는 대신, 생성 과정을 조건화하기 위해 모델의 숨은 스트림에 다시 기록되는 연속적인 잠재 행동을 방출합니다.

1. 역할 구조화 잠재 행동 제어

LAC 는 네 가지 명확하고 순차적인 역할로 조직된 잠재 행동 궤적 $Z$를 전개함으로써 작동합니다:

• 계획 (Plan): 글로벌 의도 계획.
• 초안 (Draft): 내부 시각적 가설 형성 (단일 단계, 중간 이미지 출력 없음).
• 진단 (Diagnosis): 실패 진단.
• 정제 (Refine): 표적 정제.

이러한 행동은 통합 생성기 (BAGEL-7B-MoT 에서 구현됨) 의 숨은 스트림에 주입되는 연속 벡터 ($z \in \mathbb{R}^d$) 입니다. 궤적 길이는 학습된 정지 헤드에 의해 결정되며, 과정은 신호 토큰으로 종료됩니다. 모델은 이 잠재 전개에서 도출된 숨은 상태에 기반하여 후속 흐름 기반 이미지 생성을 조건화합니다.

2. 사전 안내 변이 잠재 행동 정렬

실제 행동 궤적에 대한 정답이 없으므로, LAC 는 훈련 중에 사전 안내 변이 잠재 행동 정렬 전략을 사용합니다:

• 교사 신호: 계획, 진단, 정제를 위한 구조화된 교사 레코드는 컴팩트한 문서 스타일 이미지로 렌더링되어 밀집된 목표 임베딩으로 인코딩됩니다. "초안" 역할의 경우, 목표는 불완전한 후보 이미지의 시각적 특징에서 파생됩니다.
• 변이 목적 함수: 모델은 행동을 샘플링하는 자기회귀 정책 $q_\theta$를 학습합니다. 고정 분산 가우시안 사전은 교사 신호 ($E$) 로부터 구성됩니다. 정책은 추론 중에 교사 신호를 직접 입력으로 주입하지 않고도 행동이 실행 가능하도록, 변이 손실 ($L_{var}$) 을 사용하여 샘플링된 전개를 이러한 사전에 정렬하도록 훈련됩니다.
• 지도 미세 조정 (SFT): 전체 목적 함수는 변이 정렬, 잠재 상태를 의미론에 고정하기 위한 어휘 앵커 손실, 지도 정지 손실, 그리고 이미지 흐름 매칭 손실을 결합합니다.

3. 결과 정렬 잠재-흐름 GRPO (LF-GRPO)

국소적 교사 사전뿐만 아니라 최종 이미지 품질에 기반하여 잠재 행동을 최적화하기 위해, 저자들은 **잠재-흐름 GRPO (LF-GRPO)**를 도입합니다.

• 메커니즘: 주어진 프롬프트에 대해 궤적 그룹이 샘플링됩니다. 각 궤적은 잠재 행동 궤적과 흐름 생성 궤적으로 구성됩니다.
• 보상: 최종 생성 이미지에 대해 말단 이미지 보상이 계산됩니다.
• 신용 할당: 그룹 상대 이득 (GRPO) 을 사용하여, 말단 보상은 연속 잠재 행동과 흐름 생성 전이 모두에 공유된 이득 신호로 할당됩니다. 이를 통해 이미지 수준의 피드백이 숨은 행동 궤적을 형성하여 계획, 초안 작성, 진단, 정제 단계를 최종 시각적 결과와 정렬시킵니다.

주요 기여

1. 제어로서의 추론 형식화: 본 논문은 통합 이미지 생성에서의 추론을 잠재 행동 제어로 형식화합니다. 여기서 역할별 연속 행동은 추론된 제약을 생성 시점의 조건부 신호로 변환하며, 숙고를 숨은 연속 공간 내부에 유지합니다.
2. 사전 안내 정렬 및 LAC-15K: 저자들은 사전 안내 변이 정렬을 사용하는 훈련 방법론을 도입하고, 렌더링된 의미 사전, 시각적 초안 목표, 그리고 지도 정지 신호를 제공하는 역할 구조화 데이터셋인 LAC-15K를 구축합니다.
3. LF-GRPO 목적 함수: 공유 말단 이미지 보상 하에서 숨은 잠재 행동과 흐름 생성 전이를 공동으로 최적화하는 새로운 결과 수준의 목적 함수로, 생성기가 잠재 추론을 사용하여 합성을 개선하는 방법을 학습할 수 있게 합니다.

실험 결과

이 방법은 BAGEL-7B-MoT 를 기반으로 하여 GenEval(구성적 생성) 과 WISE(세계 지식 기반 생성) 에서 평가되었습니다.

• GenEval: LAC 는 전체 점수를 BAGEL 기준선인 0.77 에서 0.82 로 향상시켰습니다. 성장은 제약 민감도 카테고리에서 가장 두드러졌습니다: 위치 (+0.11), 색상 (+0.13), 색상 속성 (+0.05). LLM 으로 재작성된 프롬프트를 사용할 경우 점수는 0.90 에 도달했습니다.
• WISE: LAC 는 전체 가중 점수를 0.49 에서 0.54 로 향상시켰으며, 생물학 (+0.18) 과 화학 (+0.07) 에서 주목할 만한 성장을 보였습니다.
• 결손 연구:
  • 훈련 경로: 렌더링된 의미 사전이나 시각적 초안 기반 (Latent-SFTNR) 을 제거하면 기준선 대비 개선이 없었으며, 이는 사전의 특정 성격이 중요함을 확인시켜 주었습니다.
  • 잠재 개입: 학습된 잠재 행동을 영벡터나 무작위 벡터로 대체하면 성능이 크게 저하되었습니다 (예: GenEval 에서 -7.92). 이는 생성기가 이러한 행동을 능동적으로 소비함을 증명합니다. 역할 순서를 섞는 것도 성능을 저하시켜, 계획-초안-진단-정제 구조의 기능적 필요성을 검증했습니다.
  • 역할 제거: "초안" 역할을 제거하면 가장 큰 저하가 발생하여, 속성 바인딩 및 객체 추적을 위한 내부 시각적 가설의 중요성을 강조했습니다.

중요성 및 주장

본 논문은 이해가 단순히 인코딩되는 것을 넘어 생성 과정에서 실행 가능하게 만들어질 때 통합 이미지 생성이 크게 혜택을 본다고 주장합니다. 추론된 제약을 순차적인 숨은 행동 궤적으로 변환함으로써, LAC 는 추론에서 합성으로 가는 직접적인 제어 경로를 제공합니다. 결과는 "이해-생성 간극"을 외부 텍스트 산물이 아닌 내부 실행 가능 제어 인터페이스로 추론을 취급함으로써 좁힐 수 있음을 시사합니다. 저자들은 이 접근법이 일관된 개선을 보이지만, 현재 교사 유도 사전에 의존하며 교사 의존도를 줄이고 강화 학습 효율성을 높이기 위한 추가 작업이 필요하다고 지적합니다.