How Long Can Unified Multimodal Models Generate Images Reliably? Taming Long-Horizon Interleaved Image Generation via Context Curation

이 논문은 긴 시퀀스 생성 시 누적된 시각적 정보가 오히려 품질 저하를 유발한다는 메커니즘을 규명하고, 이를 해결하기 위해 불필요한 시각 신호를 동적으로 제거하여 장기적 일관성과 안정성을 확보하는 훈련 없는 추론 전략 'UniLongGen'을 제안합니다.

핵심

이 논문은 **"우리가 이야기를 쓸 때, 그림을 계속 그려나가면 왜 그림이 점점 망가질까?"**라는 질문에 답하고, 그 해결책을 제시한 연구입니다.

비유하자면, 이 논문은 한 명의 화가가 40 장이 넘는 그림을 한 권의 책에 그려넣는 상황을 다룹니다. 처음엔 그림이 예쁘고 캐릭터도 똑같지만, 20 장 정도 지나면 얼굴이 변하고, 배경이 엉망이 되며, 그림 자체가 뭉개져 버립니다.

이 현상을 해결하기 위해 제안된 **'UniLongGen(유니롱젠)'**이라는 기술을 쉽게 설명해 드릴게요.

---

1. 문제: "기억이 너무 많아서 오히려 망가진다" (기억의 오염)

일반적으로 우리는 "과거를 더 많이 기억할수록 좋은 그림을 그릴 수 있다"고 생각합니다. 하지만 이 연구는 반대라는 사실을 발견했습니다.

• 비유: 화가가 그림을 그릴 때, 책상 위에 과거에 그린 그림 40 장을 모두 펼쳐놓고 참고한다고 상상해 보세요.
  • 처음엔 참고할 게 많아서 좋지만, 책상이 너무 꽉 차면 화가는 어떤 그림을 봐야 할지 혼란에 빠집니다.
  • 특히, 가장 최근의 그림이나 우연히 비슷한 색을 가진 그림이 화가의 시선을 빼앗아 버립니다.
  • 결과적으로 화가는 "내가 지금 그리는 주인공 얼굴"을 잊어버리고, "과거에 그렸던 엉뚱한 고양이 그림"의 특징을 실수로 섞어버리게 됩니다.

이 논문은 이를 **"시각적 오염 (Visual Pollution)"**이라고 부릅니다. 과거의 그림들이 너무 많아서 AI 가 "무엇을 참고해야 할지" 혼란스러워지고, 엉뚱한 정보 (노이즈) 가 섞여 들어와 그림을 망친다는 것입니다.

2. 해결책: "기억을 정리해 주는 비서" (UniLongGen)

이 문제를 해결하기 위해 연구팀은 **'UniLongGen'**이라는 새로운 방법을 만들었습니다. 이 방법은 AI 가 모든 과거를 기억하는 대신, 가장 필요한 것만 골라내어 기억하게 합니다.

• 핵심 아이디어: "모두 기억하지 말고, 필요한 것만 기억해"
  • 기존 방식: 과거의 그림 40 장을 모두 책상에 올려두고 그림을 그림. (결과: 혼란과 망가짐)
  • UniLongGen 방식: AI 가 스스로 "지금 이 그림을 그리려면 과거의 어떤 그림 4~5 장이 가장 도움이 될까?"를 판단하고, 나머지는 책상에서 치워버립니다.

3. 어떻게 작동할까? (두 단계의 비서)

UniLongGen 은 AI 의 뇌 구조를 분석하여 두 가지 다른 '비서'를 투입합니다.

1. 초기 비서 (텍스트 전문):
   • "지금 그림을 그리기 전에 **글자 (대본)**를 잘 봐야 해."
   • 과거의 글자 (텍스트) 중 어떤 부분이 지금 상황과 가장 관련 있는지 골라냅니다. (예: "주인공이 빨간 모자를 썼다"는 대본)
2. 후기 비서 (그림 전문):
   • "글자는 알았으니, 이제 과거의 그림 중 어떤 게 지금 그림의 스타일과 얼굴을 유지하는 데 도움이 될까?"
   • 과거의 그림 (이미지) 중 가장 중요한 4~5 장만 골라냅니다.

그리고 이 두 비서가 고른 것만 책상에 두고, 나머지는 완전히 치워버립니다 (삭제). 단순히 압축해서 줄이는 게 아니라, 아예 없애버려서 AI 가 헷갈릴 여지를 없앱니다.

4. 왜 이것이 중요한가? (결과)

이 방법을 쓰면 놀라운 변화가 일어납니다.

• 긴 이야기도 가능: 40 장, 50 장이 넘는 그림을 그려도 첫 장과 마지막 장의 캐릭터 얼굴이 똑같고, 그림의 질이 떨어지지 않습니다.
• 빠르고 가볍다: 책상에 그림 40 장을 다 올려두지 않고 5 장만 올리니, AI 가 그림을 그리는 속도도 훨씬 빨라지고 컴퓨터 메모리도 덜 씁니다.
• 외부 도구가 필요 없음: 사람이 "이 그림이 중요해"라고 알려줄 필요 없이, AI 가 스스로 "이게 중요해"라고 판단해서 골라냅니다.

요약

이 논문은 **"기억이 많다고 좋은 게 아니다. 중요한 것만 깔끔하게 정리해야 오래가는 이야기를 만들 수 있다"**는 교훈을 줍니다.

마치 정리 정돈을 잘하는 화가가, 책상에 필요한 도구와 참고 자료만 깔끔하게 두고 나머지 잡동사니는 치워버림으로써, 100 장이 넘는 그림을 그려도 처음처럼 선명하고 일관된 작품을 만들어내는 것과 같습니다.

이 기술 덕분에 앞으로는 만화책, 동화책, 혹은 긴 영상 스토리보드를 AI 가 처음부터 끝까지 일관된 스타일과 캐릭터로 만들어내는 것이 훨씬 쉬워질 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

통합 멀티모달 모델 (Unified Multimodal Models, UMMs) 은 텍스트와 이미지를 교차하며 긴 이야기를 생성할 수 있는 잠재력을 가지고 있습니다. 그러나 현재 시스템은 장기적 (Long-Horizon) 인터리브드 생성에서 심각한 신뢰성 문제를 겪고 있습니다.

• 현상: 시퀀스가 길어질수록 (예: 20 개 이상의 이미지 생성 시) 이미지 품질이 급격히 저하되고, 구조가 붕괴되며, 캐릭터의 정체성 (Identity) 과 스타일이 왜곡됩니다.
• 기존 가설의 한계: 기존에는 이를 단순한 '긴 컨텍스트 (Long-context)' 문제, 즉 토큰 수의 증가나 메모리 부족으로 여겼습니다.
• 실제 원인: 본 논문은 이 현상이 단순한 토큰 수의 문제가 아니라, **밀집된 시각적 역사 (Dense Visual History) 에 의한 '능동적 오염 (Active Pollution)'**임을 규명했습니다. 과거에 생성된 많은 이미지들이 Attention 메커니즘 내에서 불필요한 경쟁자를 만들어내어, Softmax 를 통해 잘못된 고주파수 신호를 증폭시키고 현재 생성 단계를 해킹 (Hijacking) 한다는 것이 핵심 발견입니다.

2. 핵심 발견 및 메커니즘 분석 (Key Insights & Mechanism)

저자들은 장기적 생성 실패의 원인을 분석하기 위해 다음과 같은 통찰을 도출했습니다.

• 이벤트 병목 현상 (Event Bottleneck): 생성 품질 저하는 총 토큰 수에 비례하지 않습니다. 오히려 구체적인 이미지 이벤트 (Image Events) 의 개수에 따라 결정됩니다. 모델은 10 만 토큰의 텍스트는 처리할 수 있지만, 20 개 미만의 이미지만 생성해도 품질이 붕괴될 수 있습니다.
• 모달리티 비대칭성 (Modality Asymmetry):
  • 텍스트 역사: 긴 텍스트 역사는 주로 '수동적 희석 (Passive Dilution)'을 일으켜 출력이 모호해지거나 약화됩니다.
  • 이미지 역사: 긴 이미지 역사는 '능동적 오염 (Active Pollution)'을 일으킵니다. 과거 이미지의 시각적 토큰들이 현재 생성 쿼리와 우연히 높은 유사도를 보이며 Attention 을 장악하고, 이로 인해 구조적 왜곡이나 아티팩트가 발생합니다.
• Attention Hijacking: Softmax 는 지수적으로 작용하므로, 역사적 이미지 키 (Key) 중 일부의 우연한 고유사도 (High-similarity) 아웃라이어 (Outlier) 가 Attention 예산을 독점하여 생성 과정을 왜곡시킵니다.
• 레이어별 전문화 (Layer-wise Specialization): 통합 생성 모델에서 Attention 분포는 레이어 깊이에 따라 다릅니다.
  • 초기 레이어: 텍스트 기반의 그라운딩 (Grounding) 과 라우팅에 집중.
  • 후기 레이어: VAE(이미지 생성) 토큰에 집중하여 합성 경로를 직접 제어.

3. 제안 방법: UniLongGen (Methodology)

이러한 메커니즘적 통찰을 바탕으로, 학습이 필요 없는 (Training-free) 추론 시 컨텍스트 관리 전략인 UniLongGen을 제안합니다.

• 핵심 철학: 모든 역사를 기억하는 것이 아니라, **안전한 조건부 (Safe Conditioning)**를 위해 불필요한 시각적 신호를 능동적으로 제거 (Active Forgetting) 합니다.
• 동작 프로세스:
  1. One-shot Context Profiling: 새로운 이미지를 생성하기 전, 전체 밀집된 히스토리 (Dense KV) 를 사용하여 모델 내부의 Attention 신호를 한 번만 프로빙 (Probing) 합니다.
  2. Dual-Depth Scoring (이중 깊이 점수화):
     • 초기 레이어 (Layer 1): 텍스트 블록의 관련성을 평가하여 '그라운딩'에 필요한 텍스트를 선택합니다.
     • 후기 레이어 (Layer 15 등): VAE 이미지 블록의 관련성을 평가하여 '시각적 일관성'에 필요한 이미지를 선택합니다.
  3. Layer-Split KV Visibility Policy: 생성 과정에서 레이어별로 다른 히스토리를 노출시킵니다.
     • 초기 레이어: 선택된 텍스트 히스토리만 노출.
     • 후기 레이어: 선택된 이미지 히스토리만 노출.
  4. KV Eviction (삭제): 선택되지 않은 토큰은 압축 (Compression) 하지 않고 **KV 캐시에서 직접 삭제 (Dropping)**합니다. 압축은 여전히 간섭 신호를 남길 수 있으므로, 완전한 삭제가 'Tail-risk'를 제거하는 데 더 효과적입니다.

4. 실험 결과 (Results)

BAGEL 모델을 기반으로 한 40 장의 인터리브드 이미지 생성 벤치마크에서 다음과 같은 결과를 보였습니다.

• 품질 및 일관성 향상:
  • HPS v3 (품질 점수): Dense KV 베이스라인 (3.17) 대비 UniLongGen 은 7.57로 크게 향상되었습니다.
  • DINOv2 (정체성 일관성): 0.3164 에서 0.4272로 개선되어 캐릭터 일관성이 유지되었습니다.
  • 스타일 일관성: GPT 평가 기준에서도 가장 높은 점수를 기록했습니다.
• 비교 분석:
  • 슬라이딩 윈도우 (Sliding Window): 최근 이미지만 유지하는 방식은 초기 정체성 (Anchor) 을 잃어 성능이 불안정했습니다.
  • 토큰 레벨 선택 vs 이미지 레벨 선택: 개별 토큰을 잘라내는 것보다 **전체 이미지 이벤트 (Image-level)**를 선택/삭제하는 것이 훨씬 효과적이었습니다.
  • 압축 vs 삭제: 선택된 이미지 외의 나머지를 압축 (Pooling 등) 하는 것보다 **직접 삭제 (Drop)**하는 것이 아티팩트와 왜곡을 줄이는 데 더 우수했습니다.
  • 시맨틱 오라클 vs 모델 정렬: 인간이 '관련성'이 있다고 판단한 이미지를 유지하는 것보다, 모델 내부의 Attention 신호를 기반으로 선택하는 것이 실제 생성 품질에 더 도움이 되었습니다.
• 효율성: KV 캐시 크기를 줄여 최대 11 배의 추론 속도 향상을 달성했습니다.

5. 의의 및 기여 (Significance & Contributions)

1. 문제 정의의 전환: 장기적 멀티모달 생성의 실패 원인이 '컨텍스트 길이'가 아니라 '시각적 이벤트의 수'와 'Attention 오염'임을 최초로 체계적으로 증명했습니다.
2. 메커니즘적 진단: 통합 생성 모델 내에서 텍스트와 이미지가 Attention 예산을 두고 경쟁하며, 밀집된 시각적 역사가 어떻게 'Tail-risk'를 유발하는지 심층 분석했습니다.
3. 실용적 솔루션: 추가 학습 없이 즉시 적용 가능한 UniLongGen을 제안하여, 긴 이야기나 스토리보드 생성과 같은 실제 응용 분야에서 모델의 신뢰성을 획기적으로 높였습니다. 이는 메모리 효율성과 생성 품질을 동시에 개선하는 새로운 패러다임을 제시합니다.

결론적으로, UniLongGen 은 "모든 것을 기억하는 것"이 아니라 "모델이 생성에 필요한 가장 관련성 높은 역사만 선별적으로 유지하고 나머지는 과감히 잊는 (Active Forgetting)" 전략을 통해, 통합 멀티모달 모델의 장기적 생성 한계를 극복했습니다.