1. 문제 정의 (Problem)

최근 대규모 멀티모달 LLM 기반의 텍스트 - 이미지 생성 모델은 여러 참조 이미지 (Reference Images) 에서 주체의 외형을 학습하여 새로운 컨텍스트에 재현하는 '다중 참조 생성 (Multi-Reference Generation)' 능력을 갖추게 되었습니다. 그러나 기존 벤치마크는 다음과 같은 한계로 인해 최신 모델의 성능을 정밀하게 평가하거나 약점을 파악하는 데 부족했습니다.

• 참조 이미지 수의 제한: 기존 벤치마크는 주로 1~4 개의 참조 이미지만을 다루며, 더 많은 참조 (예: 8 개 이상) 를 가진 복잡한 지시사항을 따르는 모델의 능력을 평가하지 못했습니다.
• 과도하게 단순한 태스크 정의: "무엇을 편집할지" 또는 "참조 개수"와 같은 단순한 축에 국한되어, 이질적인 참조 이미지들을 결합할 때 발생하는 고유한 어려움 (도메인 불일치, 스케일 차이 등) 을 포착하지 못했습니다.
• 성능 포화 상태: 최신 폐쇄형 모델 (Nano Banana, GPT-Image-1 등) 은 기존 벤치마크 (MagicBrush, DreamOmni2 등) 에서 이미 높은 점수를 기록하여, 모델 간 미세한 성능 차이를 구분하기 어려운 포화 상태에 도달했습니다.

2. 방법론 (Methodology)

A. MultiBanana 벤치마크 구축

저자들은 다중 참조 생성의 한계를 테스트하기 위해 MultiBanana라는 새로운 평가 프레임워크를 제안했습니다. 이는 3,769 개의 고품질 태스크로 구성되며, 다음과 같은 핵심 요소를 포함합니다.

1. 참조 이미지 수의 확장: 1 개부터 최대 8 개까지의 참조 이미지를 처리하는 태스크를 포함하여 확장성 (Scalability) 을 평가합니다.
2. 다양한 태스크 구조:
   • 단일/이중 참조: 기존 이미지 편집 태스크 (주체 추가, 배경 변경, 스타일 전환 등 11 가지 유형).
   • 다중 참조 (Compositional Generation): 3~8 개의 참조를 사용하여 $X$개의 객체 조합, $X-1$개 객체 + 배경, $X-1$개 객체 + 로컬 수정, $X-1$개 객체 + 글로벌 톤 변경 등의 복잡한 구성 태스크를 정의합니다.
3. 난이도 요인 (Difficulty Factors): 기존 벤치마크가 간과했던 4 가지 주요 난이도 요인을 명시적으로 포함합니다.
   • 크로스 도메인 (Cross-domain): 사진, 애니메이션, CG 등 서로 다른 도메인의 이미지를 혼합.
   • 스케일 및 시점 불일치: 참조 이미지와 생성된 장면 간의 크기나 관점 차이.
   • 희귀 개념 (Rare Concepts): "빨간 바나나"와 같이 드문 색상/패턴을 가진 객체.
   • 다국어 텍스트 렌더링: 영어, 중국어, 일본어 등 다양한 언어의 텍스트를 참조하여 이미지 내 텍스트를 변환/생성.
4. 데이터 구축 파이프라인:
   • 데이터 수집: LAION-5B 의 실제 이미지와 Nano Banana, GPT-Image-1 로 생성된 합성 이미지를 혼합하여 수집 (실제 데이터의 편향을 보정하기 위함).
   • 필터링 및 분류: YOLOv12, SAM2, CLIP 등을 활용하여 객체 가시성을 검증하고, Gemini 를 사용하여 계층적 카테고리 (인물, 사물, 배경, 조명 등) 로 분류.
   • 지시문 생성: Gemini 를 활용하여 생성된 지시문이 시각적 붕괴 (Visual Breakdown) 를 유발하지 않는지 검증하고 인간 어노테이터가 최종 검수.

B. 평가 프로토콜

• 평가자: 인간 평가의 비용 효율성을 위해 Gemini 2.5와 GPT-5를 VLM(Judge) 으로 활용했습니다. (Qwen3-VL 도 대안으로 검증됨).
• 평가 지표 (5 가지, 10 점 척도):
  1. 텍스트 - 지시 정렬 (Text-Instruction Alignment): 지시사항을 얼마나 정확히 따르는가.
  2. 참조 일관성 (Reference Consistency): 참조 이미지의 주체/속성을 얼마나 충실히 재현하는가.
  3. 배경 - 주체 매칭 (Background-Subject Match): 주체가 배경과 자연스럽게 융합되는가.
  4. 물리적 사실성 (Physical Realism): 물리 법칙 위반 (공중에 뜬 물체 등) 여부.
  5. 시각적 품질 (Visual Quality): 전체적인 미적 완성도.
• 가중치: 지시 정렬과 참조 일관성에 높은 가중치 (3) 를 부여하고, 나머지는 1 로 가중하여 총점을 계산했습니다.

3. 주요 기여 (Key Contributions)

1. 최대 8 개 참조를 지원하는 최초의 포괄적 벤치마크: 기존 벤치마크의 한계를 넘어, 참조 이미지 수가 증가함에 따른 모델의 성능 저하와 실패 모드를 체계적으로 분석할 수 있는 표준을 제시했습니다.
2. 이질적 참조 결합의 난이도 정의: 도메인 불일치, 스케일 차이, 희귀 개념, 다국어 텍스트 등 실제 응용에서 발생할 수 있는 복잡한 시나리오를 벤치마크에 통합했습니다.
3. 오픈 소스 데이터 및 코드 공개: 연구 커뮤니티의 공정한 비교와 발전을 위해 데이터와 코드를 공개했습니다.

4. 실험 결과 (Results)

A. 모델별 성능 비교

• 폐쇄형 모델 (Nano Banana, GPT-Image-1):
  • 강점: 참조 속성과 지시사항을 매우 충실히 따릅니다 (높은 참조 일관성).
  • 약점: 참조가 많아질수록 모든 주체를 포함하려다 **과적합 (Overfitting)**되어 장면이 혼잡해지거나, 구성적 왜곡 (Compositional Distortion) 이 발생합니다. 특히 배경 변경 태스크에서 성능이 급격히 떨어집니다.
• 오픈 소스 모델 (Qwen-Image, DreamOmni2, OmniGen2):
  • 강점: 전체적인 시각적 품질과 배경 일관성이 비교적 안정적입니다.
  • 약점: 참조가 3 개 이상으로 늘어나면 지시사항을 무시하거나 일부 주체를 완전히 누락하는 경향이 뚜렷합니다. 참조 일관성 점수가 매우 낮습니다.

B. 참조 수 증가에 따른 영향

• 모든 모델에서 참조 이미지 수가 증가할수록 총점 (Total Score) 이 감소하는 경향을 보였습니다.
• 폐쇄형 모델: 참조 일관성은 유지되지만 시각적 품질이 떨어짐.
• 오픈 소스 모델: 시각적 품질은 유지되지만 참조 일관성이 급격히 떨어짐.
• 이는 "엄격한 참조 충실도"와 "전체적인 이미지 일관성" 사이의 트레이드오프가 존재함을 시사합니다.

C. 난이도 요인별 분석

• 크로스 도메인, 스케일 불일치, 희귀 개념, 다국어: 모든 모델에서 이러한 조건이 포함된 태스크의 점수가 유의미하게 낮았습니다. 이는 최신 모델조차 이질적인 정보를 통합하는 데 어려움을 겪고 있음을 보여줍니다.

D. 에이전트 프레임워크 (Agentic Framework)

• IPR (Iterative Prompt Refinement) 등 에이전트 기반 접근법을 시도했으나, GPT 모델에서는 일부 개선이 있었으나 Nano Banana 에서는 오히려 성능이 저하되거나 정보 손실이 발생하여 한계가 있음을 확인했습니다.

5. 의의 및 결론 (Significance)

• 차세대 평가 기준 제시: MultiBanana 는 현재 이미지 생성 모델이 직면한 "복잡한 다중 참조 지시 따르기"의 한계를 명확히 드러내는 도구입니다.
• 연구 방향성 제언: 향후 모델 개발은 단순히 참조를 포함하는 것을 넘어, 이질적인 참조 간의 충돌을 해결하고 (Cross-domain, Scale mismatch), 희귀 개념을 유연하게 제어하며, 다중 지시사항을 누락 없이 통합하는 방향으로 나아가야 함을 강조합니다.
• 산업적 적용 가능성: 광고, 패션, 콘텐츠 제작 등 실제 산업 현장에서는 여러 참조 이미지를 복합적으로 활용해야 하는 경우가 많으므로, 이 벤치마크는 실제 적용 가능한 모델 개발의 중요한 기준이 될 것입니다.

요약하자면, MultiBanana 는 다중 참조 텍스트 - 이미지 생성 분야에서 기존 벤치마크가 놓치고 있던 복잡성과 난이도를 체계적으로 평가할 수 있는 새로운 표준을 제시하며, 현재 모델들이 직면한 참조 충실도와 전체적 일관성 간의 균형 문제를 해결해야 할 필요성을 강조합니다.