Improving Text-to-Image Generation with Intrinsic Self-Confidence Rewards

이 논문은 외부 보상 감독 없이 모델이 자체적으로 생성한 노이즈 복구 정확도를 기반으로 한 'SOLACE'라는 자기 신뢰 보상 프레임워크를 제안하여 텍스트 - 이미지 생성 모델의 구성, 텍스트 렌더링 및 정렬 능력을 향상시키고 외부 보상과 결합 시 보상 해킹을 완화함을 보여줍니다.

핵심

이 논문은 **'SOLACE(솔라스)'**라는 새로운 기술을 소개합니다. 이 기술은 텍스트를 보고 그림을 그리는 인공지능 (AI) 을 더 똑똑하고 아름답게 만드는 방법입니다.

기존의 방식과 SOLACE 의 방식을 쉽게 비유해서 설명해 드릴게요.

1. 기존 방식: "외부 심사위원"의 문제

지금까지 AI 그림을 더 잘 그리게 하려면, 외부 심사위원이 필요했습니다.

• 상황: AI 가 그림을 그렸을 때, "이 그림이 예쁜가?", "글자가 잘 보이나?", "사실과 맞나?"를 판단하기 위해 사람이 직접 평가한 데이터나 별도의 평가 AI를 사용했습니다.
• 문제점:
  1. 비싸고 느림: 사람을 고용하거나 별도의 AI 를 돌리는 비용과 시간이 많이 듭니다.
  2. 사기 (Reward Hacking) 가능성: AI 가 "어떻게 하면 심사위원을 속여서 점수를 높일까?"를 고민하다가, 실제 그림은 엉망인데 점수만 높이는 이상한 그림을 그릴 수 있습니다. (예: "예쁜 여자"를 그리라고 했을 때, 심사위원이 좋아하는 특정 패턴만 반복해서 그리는 식)

2. SOLACE 의 방식: "스스로를 믿는 내면의 목소리"

SOLACE 는 외부 심사위원을 없애고, AI 스스로가 자신의 그림을 평가하게 합니다. 이를 **'내재적 자신감 (Intrinsic Self-Confidence)'**이라고 부릅니다.

🎨 핵심 비유: "연습장에서의 복원 게임"

SOLACE 의 원리는 다음과 같은 게임과 같습니다.

1. 그림 그리기: AI 가 텍스트 ("푸른 나무에 무지개 장미") 를 보고 그림을 그립니다.
2. 소금 뿌리기 (노이즈 추가): AI 가 그린 그림에 갑자기 소금 (잡음) 을 뿌려서 흐릿하게 만듭니다.
3. 복원하기: AI 가 "내가 방금 그렸던 그림을 기억해서 이 소금을 제거하고 원래대로 되돌릴 수 있을까?"라고 스스로에게 물어봅니다.
4. 점수 매기기:
   • 성공: AI 가 소금을 잘 제거하고 원래 그림을 완벽하게 복원했다면? → "나는 이 그림을 잘 그렸어! (자신감 높음)" → 보상 (Reward) 획득!
   • 실패: AI 가 소금을 제거하지 못해 그림이 엉망이 되었다면? → "아, 내가 이 그림을 제대로 이해하지 못했어." → 보상 없음.

즉, **"내가 그린 그림을 내가 다시 완벽하게 복원할 수 있다면, 그 그림은 좋은 그림이다"**라는 논리를 사용합니다.

3. 왜 이 방법이 좋을까요?

• 비용 절감: 외부 심사위원이나 추가 데이터가 전혀 필요 없습니다. AI 가 혼자서 학습합니다.
• 사기 방지: AI 가 점수를 조작하려고 해도, "소금을 제거하는 능력"은 그림의 질과 직접적으로 연결되어 있기 때문에, 엉뚱한 그림으로 점수를 따는 것이 매우 어렵습니다.
• 구체적인 능력 향상: 실험 결과, SOLACE 를 적용한 AI 는 다음과 같은 부분에서 크게 좋아졌습니다.
  • 구성: "왼쪽에 개, 오른쪽에 고양이"처럼 여러 물체의 위치를 정확히 그립니다.
  • 글자: 그림 속에 "Hello"라고 글자를 쓸 때, 글자가 깨지지 않고 선명하게 나옵니다.
  • 일치: 텍스트 설명과 그림 내용이 딱 맞습니다.

4. 결론: "스스로를 믿는 것이 최고의 선생님"

이 논문은 **"AI 가 스스로를 평가하고 개선할 수 있는 능력 (자신감) 을 활용하면, 외부의 도움 없이도 훨씬 더 훌륭한 그림을 그릴 수 있다"**는 것을 증명했습니다.

마치 음악을 배우는 학생에게, 매번 교사가 점수를 매겨주는 대신 **"내가 연주한 곡을 다시 들어보고 내가 틀린 부분을 스스로 고칠 수 있는가?"**를 묻는 방식과 같습니다. 이 방식은 학생이 외부 점수에 의존하지 않고, 실제 실력을 기르는 데 훨씬 효과적입니다.

SOLACE 는 AI 그림 생성 기술이 더 저렴하고, 더 정확하며, 더 창의적으로 발전할 수 있는 새로운 길을 열었습니다.

기술 요약

1. 문제 정의 (Problem)

텍스트-to-이미지 (T2I) 생성 모델의 성능을 향상시키기 위한 후학습 (Post-training) 기법으로 강화학습 (RL) 이 널리 사용되고 있습니다. 그러나 기존 방법들은 다음과 같은 한계를 가지고 있습니다.

• 외부 보상 모델의 의존성: 인간의 선호도 (Human Preference) 나 특정 작업 검증기 (OCR, 안전성 등) 를 기반으로 한 외부 보상 모델을 필요로 합니다. 이는 대규모 데이터 주석 (Annotation) 과 추가적인 평가 모델 실행으로 인해 비용이 높고 파이프라인이 복잡해집니다.
• 보상 해킹 (Reward Hacking): 특정 외부 보상을 과도하게 최적화하는 과정에서 모델이 의도하지 않은 방식으로 보상을 획득하려 하거나, 다른 중요한 능력 (예: 구성성, 텍스트 렌더링) 이 퇴화하는 문제가 발생합니다.
• 내재적 신호의 부재: T2I 생성 모델 자체의 내부 피드백을 후학습에 활용하는 연구는 아직 충분히 탐구되지 않았습니다.

2. 제안 방법: SOLACE (Methodology)

저자들은 SOLACE (Self-Originating LAtent Confidence Estimation) 라는 새로운 후학습 프레임워크를 제안합니다. 이는 외부 평가자 없이 모델이 스스로 생성한 이미지의 품질을 평가하는 내재적 자기 확신 (Intrinsic Self-Confidence) 신호를 보상 (Reward) 으로 활용합니다.

핵심 메커니즘

1. 자기-재노이즈 (Self-Re-noising) 프로브:
   • 모델이 텍스트 프롬프트에 따라 생성한 잠재 공간 (Latent space) 의 결과물 $z_0$를 가져옵니다.
   • 생성된 $z_0$에 대해 모델의 순방향 노이즈 스케줄을 사용하여 특정 시간 단계 $t$에서 다시 노이즈를 주입합니다 ($z_t$).
   • 이때, 모델이 주입된 노이즈를 얼마나 정확하게 복원 (Denoise) 할 수 있는지 측정합니다.
2. 자기 확신 보상 산출:
   • 모델이 예측한 노이즈와 실제 주입된 노이즈 간의 오차 (MSE) 를 계산합니다.
   • 가설: 모델이 생성한 이미지가 텍스트와 잘 일치하고 사실적일수록, 모델은 해당 잠재 표현을 더 잘 이해하고 있어 노이즈를 더 정확하게 복원할 수 있습니다.
   • 이 복원 오차를 기반으로 스칼라 보상 값을 도출합니다 (오차가 작을수록 = 복원 정확도가 높을수록 = 높은 보상).
3. Flow-GRPO 적용:
   • 계산된 내재적 보상을 사용하여 Flow-GRPO (Group Relative Policy Optimization) 알고리즘을 통해 모델을 최적화합니다.
   • 외부 보상 모델 없이 오직 모델 자신의 신호만으로 강화학습이 수행됩니다.

안정화 및 효율성 기법

• 선택적 시간 단계 학습: 학습 초기 단계 (노이즈 제거가 쉬운 구간) 를 제외하고, 학습 후반부 (Suffix window) 의 시간 단계만 사용하여 보상 해킹 (Reward Hacking) 을 방지합니다.
• CFG 비활성화: 자기 확신 점수를 계산할 때는 Classifier-Free Guidance (CFG) 를 사용하지 않아, 모델의 기본 조건부 정책이 최적화되도록 합니다.
• 온라인 계산: 학습 중인 모델 (Online) 로 보상을 계산하여 모델의 진화에 따른 자기 확신 신호의 정밀도를 높입니다.

3. 주요 기여 (Key Contributions)

1. SOLACE 프레임워크 제안: 외부 평가자나 주석 데이터 없이, 생성 모델의 내재적 자기 확신 (Self-Confidence) 을 보상 신호로 활용하는 최초의 T2I 후학습 프레임워크입니다.
2. 원리 기반의 보상 설계: 생성된 잠재 공간에 노이즈를 주입하고 이를 복원하는 능력을 정량화하여, 학습과 정렬된 (Training-aligned) 자기 확신 점수를 정의했습니다.
3. 다양한 성능 향상: 외부 보상이 없어도 구성성 (Compositional Generation), 텍스트 렌더링 (Text Rendering), 텍스트 - 이미지 정렬 (Text-Image Alignment) 에서 일관된 성능 향상을 달성했습니다.
4. 외부 보상과의 시너지: 외부 보상 (Human Preference 등) 으로 후학습된 모델 위에 SOLACE 를 적용하면, 보상 해킹이 완화되고 구성성 및 텍스트 렌더링 능력이 추가로 향상되는 상호 보완적 효과를 입증했습니다.

4. 실험 결과 (Results)

• 벤치마크 성능: SD3.5-M 모델을 기반으로 한 실험에서, SOLACE 를 적용한 모델은 GenEval (구성성), OCR (텍스트 렌더링), CLIP Score (정렬) 에서 기존 모델 대비 유의미한 개선을 보였습니다. 특히, 파라미터 수가 3 배 이상 큰 SD3.5-L 모델과 유사한 성능을 내면서도 더 적은 파라미터로 달성했습니다.
• 사용자 연구 (User Study): 약 1,800 개의 응답을 기반으로 한 사용자 평가에서, SOLACE 적용 모델은 시각적 사실성 (Realism), 매력도, 텍스트 정렬 측면에서 베이스라인 (SD3.5) 보다 우세한 것으로 나타났습니다.
• 외부 보상과의 결합: Flow-GRPO 로 외부 보상 (PickScore 등) 을 먼저 학습한 모델에 SOLACE 를 추가 적용했을 때, 외부 보상 지표는 약간 하락하거나 유지되는 반면, 구성성과 텍스트 렌더링 능력은 크게 향상되어 보상 해킹을 완화하는 효과를 확인했습니다.
• 모델 및 아키텍처 확장성: SD3.5-L(대규모 모델) 과 FLUX.1-Dev(다른 아키텍처) 에 적용해도 유사한 성능 향상이 확인되어 방법론의 일반성을 입증했습니다.

5. 의의 및 중요성 (Significance)

• 비용 효율성: 대규모 인간 선호도 데이터 주석이나 별도의 보상 모델 학습 없이도 고품질 T2I 생성 모델을 후학습할 수 있어, 연구 및 개발 비용을 획기적으로 절감합니다.
• 신뢰성 있는 최적화: 외부 보상의 편향이나 해킹 문제를 줄이고, 모델이 본질적으로 "잘 생성된 이미지"를 스스로 인식하고 학습하도록 유도하여 더 견고한 생성 모델을 만듭니다.
• 미래 방향성: 텍스트 - 이미지 생성뿐만 아니라 텍스트 - 비디오, 3D 생성 (Score Distillation Sampling 과의 유사성) 으로 확장 가능한 잠재력을 가지며, 내재적 신호를 정밀하게 조절하여 특정 작업에 맞는 보상 설계의 새로운 패러다임을 제시합니다.

결론적으로, SOLACE 는 외부 의존성을 제거하고 모델의 내재적 능력을 활용하여 텍스트 - 이미지 생성의 핵심 과제 (구성성, 텍스트 정렬 등) 를 해결하는 효율적이고 강력한 후학습 솔루션을 제시합니다.