기술 요약: IRIS (Intrinsic Reward Image Synthesis)

문제 정의

강화학습 기반 인간 피드백(RLHF)은 수학 및 코드와 같은 영역에서 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 데 성공했지만, 이를 자기회귀적 텍스트-이미지(T2-I) 생성에 적용하는 데는 상당한 어려움이 따릅니다. 주요 제약 요인은 확장 가능한 고품질의 인간 선호 데이터의 부족입니다. 기존의 대안들은 인간의 미적 선호도(예: HPSv2)를 학습한 외부 보상 모델이나, 객체 탐지기(예: GroundingDINO) 및 시각적 질의응답(VQA) 모델과 같은 특화된 자동화 시스템과 같은 외부 보상에 의존합니다. 그러나 이러한 외부 접근 방식은 확장성이 제한적이고, 주관적이며, 일반화 능력이 부족합니다. 특정 외부 보상을 학습한 모델은 다른 도메인으로 능력을 전이할 때 실패하는 경향이 있습니다(예: 미적 감각을 개선하면서 공간 추론 능력이 저하됨). 또한, 최근 수학적 추론 분야의 연구 결과는 자기 확신(self-certainty)과 같은 내재적 신호를 극대화하는 것이 성능을 향상시킨다는 것을 시사하지만, 이것이 본질적으로 주관적인 작업인 이미지 생성에서도 유효한지는 여전히 불분명합니다.

방법론: IRIS

본 논문은 인간이 라벨링한 데이터나 외부 검증기 없이, 오직 내재적 보상(intrinsic reward)에 의해 구동되는 강화학습을 사용하여 자기회귀적 T2I 모델을 개선하는 프레임워크인 **IRIS (Intrinsic Reward Image Synthesis)**를 제안합니다.

핵심 통찰: 음의 자기 확신 (Negative Self-Certainty)

저자들은 추론 작업과 생성 작업 사이에서 모델의 확신도와 관련하여 나타나는 결정적인 차이를 관찰했습니다:

• 추론 (수학/코드): 높은 자기 확신이 더 나은 성능과 상관관계가 있습니다.
• 생성 (T2I): 높은 자기 확신은 단순하고 균일하며 세부 묘사가 부족한 이미지를 생성하여 인간의 선호도와 일치하지 않게 만듭니다. 반대로, 낮은 자기 확신을 가진 모델은 더 생생하고 디테일이 풍부한 이미지를 생성하는 경향이 있습니다.

이를 바탕으로 IRIS는 **음의 자기 확신 (Negative Self-Certainty, NSC)**을 보상 신호로 활용합니다. 자기 확신(Self-Certainty)을 극대화하는 대신, IRIS는 이를 최소화합니다.

기술적 구현

1. 보상 정의: 토큰 위치 $t$에서의 보상은 모델의 출력 분포 $\pi_\theta$와 균등 분포 $U$ 사이의 순방향 쿨백-라이블러(forward KL) 발산(divergence)을 통해 계산된 자기 확신(SC)의 음수로 정의됩니다:
   $$NSC(o_t|q, \vec{o}_{<t}) := -KL(U \parallel \pi_\theta(o_t|q, \vec{o}_{<t}))$$
   순방향 KL을 사용하는 것은 엔트로피 기반 지표가 선호하는 "모드 추구(mode-seeking)" 행동보다는, 여러 가능한 결과를 포괄하는 "모드 커버링(mode-covering)" 행동을 장려하기 위함입니다.

2. 최적화: 저자들은 **그룹별 상대 정책 최적화 (Group-wise Relative Policy Optimization, GRPO)**를 채택합니다. 각 프롬프트에 대해 모델은 일련의 출력(텍스트 설명 및 그 뒤의 이미지) 그룹을 생성합니다. 어드밴티지(advantage)는 각 궤적의 누적 NSC를 그룹 평균과 비교하여 추정됩니다.

   • 이중 최적화: 수학적 추론 작업에서는 텍스트 자기 확신만을 극대화하는 것과 달리, IRIS는 (탐색적 묘사를 장려하기 위한) 텍스트 토큰과 (시각적 다양성을 장려하기 위한) 이미지 토큰 모두에 대해 자기 확신을 최소화합니다.
   • Semantic CoT: 이 프레임워크는 모델이 이미지를 합성하기 전에 상세한 텍스트 설명을 먼저 생성하는 시맨틱 연쇄 사고(Chain-of-Thought, CoT) 추론을 포함합니다. 저자들은 텍est 자기 확신을 최소화하는 것이 이러한 탐색적 단계에 매우 중요하다는 것을 발견했습니다.

주요 기여

1. T2I를 위한 최초의 내재적 RL: IRIS는 외부 보상 모델이나 인간 선호 데이터 없이 오직 내재적 보상 신호만을 사용하여 자기회귀적 T2I 모델을 개선하는 최초의 프레임워크입니다.
2. 작업 의존적 자기 확신: 본 논문은 자기 확신이 작업에 따라 상이하게 나타남을 입증했습니다: 즉, 자기 확신을 극대화하는 것은 객관적 추론에 도움이 되지만, T2I와 같은 주관적 생성 작업에는 이를 최소화하는 것이 도움이 됩니다.
3. 일반화: 좁은 의미의 외부 신호 대신 모델의 내재적 사전 지식을 활용함으로써, IRIS는 외부 보상 베이스라인 모델들에 비해 더 나은 일반화 성능을 달성합니다.
4. 창발적 추론: 이 방법은 정교하고 묘사적인 CoT 추론의 창발을 유도하며, 이는 이미지 품질 및 다양성과 직접적인 상관관계를 가집니다.

실험 결과

방법론은 Janus-Pro 모델(1B 및 7B 파라미터)을 사용하여 세 가지 다양한 벤치마크인 T2I-CompBench(조합적 이해), WISE(세계 지식 및 의미론), TIIF-Bench(지시 이행)에서 평가되었습니다.

• 베이스 모델 대비 성능: IRIS를 적용하면 Janus-Pro 1B 모델의 성능이 크게 향상되어, T2I-CompBench에서 13.3%, WISE에서 28.8%, TIIF-short/long에서 각각 **10.7%/4.2%**의 이득을 얻었습니다.
• 외부 보상과의 비교:
  • IRIS는 대부분의 지표에서 개별 외부 보상(HPSv2, GDINO, GIT, ORM)으로 학습된 모델보다 우수한 성능을 보였습니다.
  • IRIS는 학습 과정에서 외부 신호를 전혀 사용하지 않았음에도 불구하고, 4개의 외부 보상 앙상블로 학습된 모델(T2I-R1)과 대등한 성능을 달-성했습니다.
  • 특히, IRIS는 외부 보상 학습에서 나타나는 "보상 해킹(reward hacking)" 또는 분포 변화(예: HPSv2는 미적 감각을 개선했지만 실사성을 저하시킴) 현상을 피했습니다.
• 절제 연구 (Ablation Studies):
  • RL vs. 경사 하강법 (Gradient Descent): 경사 하강법을 통해 NSC를 직접 극대화하는 것은 무의미한 출력을 생성했으며, 이는 의미론적 일관성을 유지하면서 탐색을 수행하기 위해 GRPO 알고리즘이 필수적임을 확인시켜 줍니다.
  • CoT: 시맨틱 CoT를 사용하여 학습하는 것이 CoT 없이 학습하는 것보다 일관되게 우수한 성능을 보였습니다.
  • 확신의 방향: 이미지 자기 확신을 최소화하는 것이 필수적이었습니다. 자기 확신을 극대화하면 성능이 급격히 떨어졌습니다. 또한 텍스트 자기 확신을 최소화하는 것이 극대화하는 것보다 우수했는데, 이는 모델이 다양한 의미론적 묘사를 탐색하도록 장려했기 때문입니다.

의의 및 주장

본 논문은 IRIS가 T2I 생성을 위한 전통적인 RLHF의 확장 가능하고 일반화 가능한 대안을 제공한다고 주장합니다. 확신을 극대화하는 것에서 (NSC를 통해) 확신을 최소화하는 것으로 패러다임을 전환함으로써, 이 방법은 데이터 수집이나 도메인별 보상 엔지니어링의 병목 현상 없이 모델의 잠재된 추론 능력을 끌어냅니다. 저자들은 내재적 보상이 솔루션 공간에 대한 더 강력한 탐색을 가능하게 하여, 외부 보상 모델이 실패하는 "보지 못한 영역(unseen regimes)"에서도 모델이 일반화될 수 있도록 한다고 결론짓습니다. 이 연구는 서로 다른 AI 작업에서 자기 확신이 갖는 독특한 역할을 강조하며, 향후 멀티모달 생성 모델 개발을 위한 가이드라인을 제공합니다.