OSPO: Object-Centric Self-Improving Preference Optimization for Text-to-Image Generation

이 논문은 외부 데이터나 모델에 의존하지 않고 객체 중심의 선호도 데이터를 자동 생성하고 주시 기반 마스크와 객체 가중치 SimPO 손실 함수를 활용하여 텍스트 - 이미지 생성의 미세한 정합성을 향상시키고 객체 환각을 줄이는 'OSPO' 프레임워크를 제안합니다.

핵심

🎨 문제: AI 요리사는 왜 엉뚱한 재료를 넣을까?

최근 AI(멀티모달 대형 언어 모델) 는 텍스트를 보고 그림을 그리는 능력이 매우 뛰어나졌습니다. 하지만 아직까지 세부적인 부분에서는 실수를 많이 합니다.

• 예시: "빨간 사과와 초록색 배가 있는 그림"을 요청했는데, AI 는 사과를 초록색으로 그리거나, 배를 없애버리거나, 심지어 존재하지 않는 포도까지 그려냅니다. 이를 **'사물 환각 (Object Hallucination)'**이라고 부릅니다.

기존의 해결책은 사람이나 더 똑똑한 AI 가 "이 그림이 더 좋아, 저 그림이 더 좋아"라고 직접 평가해 주는 데이터를 만들어 AI 를 훈련시키는 것이었습니다. 하지만 이 방식은 시간과 비용이 너무 많이 들고, AI 가 스스로 배울 기회를 제한한다는 문제가 있었습니다.

💡 해결책: OSPO - "스스로 요리하고, 스스로 평가하며, 스스로 성장하는 요리사"

이 논문에서 제안한 OSPO는 외부의 도움을 전혀 받지 않고, AI 스스로가 자신의 실수를 찾아내고 고치는 방식입니다. 마치 요리사가 스스로 요리를 만들고, 스스로 맛을 보며 실력을 키우는 것과 같습니다.

OSPO 는 크게 5 단계로 이루어진 '자기 성장 루프'를 돌립니다.

1 단계: 메뉴판 만들기 (프롬프트 생성)

AI 는 먼저 다양한 요리 주문 (텍스트 프롬프트) 을 스스로 만들어냅니다. "빨간 사과", "파란 새" 등 구체적인 묘사가 필요한 주문들입니다.

2 단계: 주문 내용 살짝 변형하기 (프롬프트 변형)

여기서 핵심입니다. AI 는 원래 주문을 그대로 두면서, 세부적인 부분만 살짝 바꿔서 새로운 주문을 만듭니다.

• 원래 주문: "빨간 사과"
• 변형된 주문: "초록 사과" (색상 변경)
  이렇게 하면 두 주문은 전체적인 맥락은 비슷하지만, **중요한 세부 사항 (색상)**만 다릅니다.

3 단계: 두 가지 요리 만들기 (이미지 생성)

AI 는 원래 주문과 변형된 주문을 각각 입력받아 두 가지 그림을 그립니다.

• 그림 A: 빨간 사과가 있는 그림
• 그림 B: 초록 사과가 있는 그림
  이때, AI 는 그림 속 어떤 부분이 '사과'인지를 스스로 찾아내는 '마스크 (가림막)' 기술도 함께 사용합니다.

4 단계: 스스로 맛보기와 심사 (VQA 기반 선택)

이제 AI 는 자신이 그린 두 그림을 스스로 평가합니다.

• "그림에 빨간 사과가 있나요?"
• "그림에 초록 사과가 있나요?"
  이런 **질문 (VQA)**을 스스로 만들어 답을 확인합니다. 만약 "빨간 사과"를 주문했는데 초록 사과가 그려진 그림이 나오면, AI 는 "아, 이건 틀렸네!"라고 스스로 판단하고 제거합니다. 오직 정확한 그림만 최종 승자로 선정합니다.

5 단계: 실력 향상 훈련 (선호도 최적화)

마지막으로, AI 는 "왜 이 그림이 더 좋았는지"를 학습합니다. 이때 중요한 점은 전체 그림을 통째로 보는 게 아니라, '사과'라는 사물 자체에 집중한다는 것입니다.

• 기존 방식: 그림 전체를 다 점수 매김.
• OSPO 방식: **사과가 그려진 부분 (객체 중심)**에 점수를 더 높게 주고, 그 부분만 집중해서 "다음엔 사과를 더 잘 그려야지"라고 학습합니다.

🌟 OSPO 의 핵심 비결 (왜 이것이 특별한가?)

1. 외부 도움 제로 (Self-Improving): 사람이나 다른 AI 의 도움을 받지 않고, 스스로 데이터를 만들어 스스로 가르칩니다. 비용이 거의 들지 않습니다.
2. 사물 중심 학습 (Object-Centric): 그림 전체를 흐릿하게 보는 게 아니라, 중요한 사물 (사과, 배, 새 등) 에 집중해서 학습합니다. 그래서 "빨간 사과"를 그릴 때 색상을 정확히 맞추는 데 탁월합니다.
3. 질문과 답변으로 검증 (Self-VQA): AI 가 스스로 "이게 맞나?"라고 질문하며 엉뚱한 그림은 걸러냅니다.

🏆 결과: 무엇이 달라졌나요?

실험 결과, OSPO 를 적용한 AI 는:

• 색상, 모양, 위치 등 세부 사항을 훨씬 정확하게 그렸습니다.
• 존재하지 않는 물체를 그려내는 환각 현상이 크게 줄었습니다.
• 기존에 외부 데이터를 많이 써서 훈련된 전문적인 그림 그리기 AI 들보다도 더 좋은 성능을 보여주었습니다.

📝 한 줄 요약

"OSPO 는 AI 가 스스로 '잘 그린 그림'과 '틀린 그림'을 구분하는 기준을 만들고, 특히 '중요한 사물'에 집중하며 스스로 실력을 키워, 우리가 말한 대로 정확한 그림을 그려내는 기술입니다."

이 기술은 앞으로 AI 가 창작 활동을 할 때, 우리가 상상한 대로 정교하고 정확한 결과물을 만들어내는 데 큰 역할을 할 것으로 기대됩니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

최근 멀티모달 대규모 언어 모델 (MLLM) 은 이미지 이해와 생성을 통합하여 뛰어난 성능을 보이지만, 세밀한 텍스트 - 이미지 정합성 (Fine-grained text-image alignment) 측면에서는 여전히 한계가 있습니다.

• 주요 문제: 입력된 프롬프트에 명시된 객체의 색상, 모양, 공간적 관계 등 세부 속성을 정확하게 묘사하지 못하거나, 프롬프트에 없는 객체를 생성하는 객체 환각 (Object Hallucination) 현상이 빈번하게 발생합니다.
• 기존 방법의 한계:
  • DPO(Direct Preference Optimization) 나 GRPO 와 같은 선호도 최적화 방법은 효과적이지만, 인간이나 외부 모델이 선별한 대규모 선호도 데이터 구축에 막대한 비용이 듭니다.
  • 기존 자기 개선 (Self-improving) 방법들은 외부 데이터 없이 스스로 학습 데이터를 생성하지만, 객체 수준의 세밀한 의미 (Object-level semantics) 를 명시적으로 고려하지 않아 객체 환각을 완전히 해결하지 못합니다.
  • 또한, 기존 방법들은 'Best-of-N' 샘플링 전략을 사용하여 무작위성을 기반으로 선호도를 판단하므로, 노이즈가 많고 일관성 없는 학습 신호를 제공하는 경우가 많습니다.

2. 제안 방법: OSPO (Methodology)

저자들은 객체 중심 자기 개선 선호도 최적화 (Object-centric Self-improving Preference Optimization, OSPO) 를 제안합니다. 이는 외부 데이터나 보조 모델 없이 MLLM 이 스스로 세밀한 객체 정합성을 향상시키는 5 단계 프레임워크입니다.

OSPO 의 5 단계 프로세스

1. 프롬프트 생성 (Prompt Generation): 속성 (Attribute), 레이아웃 (Layout), 비공간적 관계, 복잡한 조합 등 4 가지 범주로 분류된 기본 프롬프트 세트를 생성합니다.
2. 프롬프트 교란 및 밀도화 (Prompt Perturbation & Densification):
   • 교란: 기존 프롬프트를 기반으로 객체/속성을 교체 (Replace), 위치 변경 (Swap), 삭제 (Drop) 하는 등의 변형을 가해 미세한 차이가 있는 프롬프트 쌍을 생성합니다.
   • 밀도화: 생성된 프롬프트 쌍에 맥락적 세부 정보를 추가하여, 전역적 의미는 공유하되 객체 수준의 세부 사항은 다르게 하도록 보강합니다.
3. 이미지 및 객체 마스크 생성 (Image & Object Mask Generation):
   • 보강된 프롬프트 쌍으로부터 후보 이미지들을 생성합니다.
   • 객체 마스크: 별도의 분할 모델 없이, MLLM 의 중간 레이어에서 추출한 어텐션 (Attention) 가중치를 기반으로 객체 영역을 나타내는 이진 마스크를 생성합니다. 이는 계산 효율성이 매우 높습니다.
4. VQA 기반 선호도 쌍 구성 (VQA-based Preference Pair Construction):
   • 자기 VQA (Self-VQA): 생성된 프롬프트를 이진 질문 (Yes/No) 으로 분해하여, 각 이미지와 프롬프트의 정합성을 평가합니다.
   • 필터링 및 선택: VQA 점수가 낮은 이미지나 일관성이 없는 쌍 (Preference-Null/False) 을 제거하고, 가장 높은 정합성 점수를 가진 이미지 쌍을 최종 선호도 데이터로 선택합니다.
5. 선호도 최적화 (Preference Optimization):
   • 객체 가중 SimPO 손실 (Object-weighted SimPO Loss): 생성된 객체 마스크를 활용하여, 객체 관련 토큰에 더 높은 가중치를 부여하는 손실 함수를 적용합니다. 이는 객체 중심의 학습 신호를 강화합니다.
   • SFT 손실 (Supervised Fine-Tuning Loss): 전체 이미지의 구조적 일관성을 유지하기 위해 선호도 이미지에 대한 SFT 손실을 함께 적용합니다.

3. 주요 기여 (Key Contributions)

1. 외부 의존성 제거: 외부 데이터셋이나 보조 모델 (Reward Model 등) 없이 MLLM 만으로 세밀한 객체 중심 선호도 데이터를 구축하고 최적화하는 프레임워크를 최초로 제안했습니다.
2. 객체 중심 설계: 생성, 평가, 최적화의 전 과정에 객체 마스크와 분해형 VQA를 통합하여, 기존 자기 개선 방법들이 간과했던 객체 수준의 할루시네이션을 명시적으로 해결합니다.
3. 효율성과 성능 동시 달성: Best-of-N 방식의 무작위 샘플링을 탈피하고, 어텐션 기반 마스크를 활용한 효율적인 손실 함수를 도입하여, 기존 자기 개선 방법 및 전용 확산 (Diffusion) 모델보다 우수한 성능을 낮은 계산 비용으로 달성했습니다.

4. 실험 결과 (Results)

T2I-CompBench++, DPGBench, GenEval 등 3 가지 벤치마크에서 Janus-Pro(1B, 7B) 모델을 기반으로 실험한 결과, 다음과 같은 성과를 보였습니다.

• 세밀한 정합성 향상: 속성 (Attribute) 및 공간적 관계 (Layout) 평가 항목에서 기존 자기 개선 방법 (SILMM, SUDER) 보다 현저히 높은 점수를 기록했습니다.
• 전용 모델 추월: 특정 이미지 생성에 최적화된 확산 모델 (DALL-E 3, FLUX.1 등) 보다도 일부 벤치마크에서 더 우수한 성능을 보여주었습니다.
• 객체 환각 감소: 생성된 이미지의 객체 누락, 왜곡, 불필요한 객체 생성이 크게 감소했습니다.
• 계산 효율성: 다른 선호도 최적화 프레임워크에 비해 더 적은 계산 비용으로 더 높은 성능을 달성했습니다 (Figure 6 참조).

5. 의의 및 결론 (Significance)

이 연구는 MLLM 의 자기 개선 능력을 활용하여 텍스트 - 이미지 생성의 가장 난제 중 하나인 '세밀한 객체 정합성'을 해결하는 새로운 패러다임을 제시합니다.

• 데이터 효율성: 고비용의 인간 라벨링이나 외부 모델 의존 없이, 모델이 스스로 고품질의 객체 중심 데이터를 생성하고 학습할 수 있음을 증명했습니다.
• 기술적 확장성: 어텐션 기반의 객체 마스크를 활용한 손실 함수 설계는 향후 다양한 멀티모달 생성 모델의 정밀도 향상에 중요한 통찰을 제공합니다.
• 실용적 가치: 복잡한 프롬프트를 정확하게 이해하고 구현하는 생성형 AI 의 신뢰성을 높여, 실제 응용 분야 (디자인, 콘텐츠 제작 등) 에의 적용 가능성을 크게 확장했습니다.

요약하자면, OSPO 는 외부 도움 없이 스스로 객체 단위의 세부 사항을 학습하고 개선할 수 있는 효율적이고 강력한 프레임워크로, 텍스트 - 이미지 생성 기술의 새로운 기준을 제시합니다.