MACRO: Advancing Multi-Reference Image Generation with Structured Long-Context Data

1. 문제 정의 (Problem)

최근 컨텍스트 기반 이미지 생성 (In-context generation) 모델은 단일 또는 소수의 참조 이미지 (1~3 개) 를 기반으로 한 작업 (예: 스타일 전이, 신원 유지 생성) 에서 뛰어난 성과를 보였습니다. 그러나 실제 응용 분야 (다중 주제 구성, 내러티브 일러스트레이션, 새로운 뷰 합성 등) 는 더 많은 참조 이미지 (4 개 이상, 최대 10 개) 를 동시에 이해하고 이를 통합해야 하는 복잡한 요구사항을 가집니다.

현재 오픈소스 모델들은 참조 이미지 수가 증가함에 따라 성능이 급격히 저하되는 심각한 한계에 직면해 있습니다.

• 데이터 병목 현상: 기존 데이터셋은 단일 또는 소수의 참조 이미지 쌍으로 구성되어 있어, 모델이 여러 이미지 간의 밀집된 상호의존성 (시간적 역동성, 공간적 일관성, 신원 유지 등) 을 학습할 수 있는 구조화된 장문맥 (Long-context) 데이터가 부족합니다.
• 평가 프로토콜 부재: 다중 참조 생성의 성능을 체계적으로 평가할 수 있는 표준 벤치마크가 존재하지 않아, 모델의 발전 속도가 더디게 진행되었습니다.

2. 방법론 (Methodology)

저자들은 이 문제를 해결하기 위해 MacroData(대규모 데이터셋) 와 MacroBench(표준 벤치마크) 를 제안했습니다.

A. MacroData (40 만 개 샘플)

단순한 웹 스크래핑이 아닌, 고급 폐쇄형 모델에서 지식을 증류 (Distillation) 하고 엄격한 필터링을 거친 구조화된 40 만 개 샘플로 구성된 데이터셋입니다. 각 샘플당 최대 10 개의 참조 이미지를 포함하며, 다음 4 가지 상호 보완적인 차원으로 구성됩니다.

1. Customization (맞춤형): 인간, 객체, 장면, 의상, 스타일 등 5 가지 카테고리를 기반으로 여러 참조 요소를 하나의 일관된 장면으로 구성하는 작업.
2. Illustration (일러스트레이션): 텍스트 내러티브와 교차된 (interleaved) 이미지 컨텍스트를 기반으로 문맥을 이해하고 적절한 이미지를 생성하는 작업.
3. Spatial (공간적): 객체 (Outside-in) 또는 장면 (Inside-out) 의 여러 뷰를 입력받아 새로운 시점 (Novel View) 을 예측하는 3D 일관성 작업.
4. Temporal (시간적): 비디오 시퀀스의 과거 프레임들을 기반으로 미래의 핵심 프레임을 예측하는 동적 생성 작업.

• 데이터 구성 전략: 입력 이미지 수 (13 개, 45 개, 67 개, 810 개) 에 따른 균형을 맞추기 위해 Progressive 작업 (Customization) 에는 긴 컨텍스트 샘플을 더 많이 포함하도록 비율 (2:2:3:3) 을 조정했습니다.

B. MacroBench (4,000 개 샘플)

다중 참조 생성의 일관성을 평가하기 위한 표준 벤치마크입니다.

• 구조: 4 가지 작업 (Customization, Illustration, Spatial, Temporal) 과 4 가지 입력 규모 (13, 45, 67, 810 개 이미지) 를 조합하여 총 4,000 개의 샘플을 구성합니다.
• 평가 방식: LLM-as-Judge(Gemini-3-Flash) 를 활용하여 작업별 맞춤형 지표 (예: 이미지 일관성 점수, 프롬프트 준수 점수, 뷰 변환 점수 등) 를 통해 정량적으로 평가합니다.

C. 실험 및 기술적 접근

• 모델 파인튜닝: Bagel, OmniGen2, Qwen-Image-Edit 등 최신 오픈소스 모델을 MacroData 로 파인튜닝했습니다.
• 토큰 선택 전략 (Token Selection): 긴 컨텍스트 처리의 비효율성을 해결하기 위해 'Block-wise', 'Image-wise', 'Text-aligned' 선택 전략을 실험했습니다. 그 결과, Text-aligned 선택 (텍스트 - 이미지 어텐션 기반 토큰 선별) 이 가장 효과적이었으며, 불필요한 토큰을 제거하면서도 핵심 정보를 유지하여 성능을 향상시켰습니다.
• 교차 작업 학습 (Cross-task Co-training): 모든 4 가지 작업을 함께 학습하는 것이 단일 작업 학습보다 전반적인 성능 향상에 시너지 효과를 가져왔습니다.

3. 주요 기여 (Key Contributions)

1. MacroData 출시: 최대 10 개의 참조 이미지를 포함하는 40 만 개의 고품질 다중 참조 생성 데이터셋을 공개했습니다. 이는 기존 데이터셋 (OpenSubject, Echo4o 등) 이 3~5 개 참조 이미지 이상을 다루지 못하는 한계를 극복합니다.
2. MacroBench 제안: 작업 유형과 입력 규모를 모두 고려한 포괄적인 평가 벤치마크를 제시하여, 이 분야의 표준화된 평가 체계를 확립했습니다.
3. 성능 향상 및 전략 제시: MacroData 를 통한 파인튜닝이 오픈소스 모델의 성능을 폐쇄형 모델 (Nano Banana Pro, GPT-Image-1.5) 에 근접하게 끌어올렸음을 입증했습니다. 또한, 교차 작업 학습과 토큰 선택 전략이 장문맥 다중 참조 처리에 효과적임을 규명했습니다.

4. 실험 결과 (Results)

• MacroBench 성능: MacroData 로 파인튜닝된 Bagel 모델은 평균 점수 5.71을 기록하여, 기존 오픈소스 모델 (Bagel 기본: 3.03) 대비 압도적인 개선을 보였습니다. 특히 Customization 과 Spatial 작업에서 폐쇄형 모델들의 성능에 근접하거나 일부 영역에서는 능가했습니다.
• 장문맥 강건성: 입력 이미지 수가 6~10 개로 증가해도 성능 저하가 기존 모델보다 훨씬 완만하게 발생했습니다. (예: Qwen 모델의 Customization 점수 감소 폭이 크게 줄어듦).
• OmniContext 벤치마크: 1~3 개 이미지 기준인 OmniContext 벤치마크에서도 MacroData 로 학습한 모델이 Echo4o 등 기존 데이터셋으로 학습한 모델보다 우수한 성능을 보여주어, 데이터의 일반화 능력을 입증했습니다.
• 정성적 결과: 여러 참조 이미지를 통합하여 일관된 장면을 생성하거나, 복잡한 3D 뷰 변환, 비디오 시퀀스 예측 등에서 높은 일관성과 디테일을 유지하는 것을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 다중 참조 이미지 생성 (Multi-reference Image Generation) 분야의 핵심적인 데이터 부족과 평가 부재 문제를 해결했습니다.

• 데이터 중심 접근의 중요성: 모델 아키텍처의 개선뿐만 아니라, 구조화된 장문맥 데이터의 확보가 다중 참조 생성 성능을 결정하는 핵심 요소임을 증명했습니다.
• 미래 연구의 기반: MacroData 와 MacroBench 는 복잡한 시각적 추론이 필요한 창의적 작업 (영화 스토리보드, 게임 자산 생성, 맞춤형 광고 제작 등) 에 대한 연구의 토대를 제공합니다.
• 기술적 통찰: 긴 컨텍스트를 효율적으로 처리하기 위한 토큰 선택 전략과 교차 작업 학습의 중요성을 제시함으로써, 향후 장문맥 멀티모달 모델 개발에 중요한 가이드라인을 제공합니다.

결론적으로, Macro 프로젝트는 오픈소스 생태계가 폐쇄형 모델의 다중 참조 생성 능력을 따라잡을 수 있는 실질적인 길을 제시했다는 점에서 큰 의의를 가집니다.