💻 computer science

LCG: Long-Context Consistent Image Generation with Sparse Relational Attention

이 논문은 긴 시각적 서사를 위한 일관되고 확장 가능한 다중 이미지 합성을 달성하기 위해 희소 관계 어텐션(Sparse Relational Attention)과 라우팅 일관성 제약(Routing Consistency Constraint)을 활용하는 프레임워크인 Long-Context Generation(LCG)을 제안하며, 이는 새로운 대규모 데이터셋을 통해 검증되었고 캐릭터 및 의미론적 일관성 측면에서 베이스라인보다 우수한 성능을 보였다.

원저자: Zihao Wang, Yijia Xu, Haoze Zheng, Xuran Ma, Haokun Gui, Harry Yang

게시일 2026-06-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zihao Wang, Yijia Xu, Haoze Zheng, Xuran Ma, Haokun Gui, Harry Yang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 만화책을 그리려는 예술가라고 상상해 보세요. 당신에게는 20개의 서로 다른 장면이 담긴 시나리오가 있습니다. 과제는 단순히 아름다운 그림 한 장을 그리는 것이 아닙니다. 주인공이 옷을 갈아입고, 장소를 옮기고, 다른 행동을 하더라도 모든 패널에서 주인공이 똑같이 생기도록 20장의 그림을 연속해서 그려내는 것입니다.

현재의 AI 아트 도구들은 뛰어난 초상화를 그릴 줄 아는 재능 있는 화가와 같습니다. 하지만 만약 당신이 그들에게 전체 이야기를 그려달라고 요청한다면, 그들은 "표류(drift)"하기 시작합니다. 패널 1에서는 주인공이 파란 눈에 흉터가 있었는데, 패널 10에 이르면 주인공의 눈이 갑자기 초록색으로 변하거나 흉터가 사라질 수 있습니다. 혹은 악당이 주인공처럼 보일 수도 있습니다. 이 논문인 LCG는 이 문제를 해결하는 새로운 방법을 소개합니다.

이 논문의 솔루션이 어떻게 작동하는지 쉬운 개념들로 나누어 설명하겠습니다.

1. 문제점: "메모리 과부하 (Memory Overload)"

20개의 이미지에 걸쳐 캐릭터를 일관되게 유지하려면, AI는 캐릭터가 어떻게 생겼는지 기억하기 위해 20개의 이미지를 동시에 살펴봐야 합니다.

기존 방식: 20명의 사람이 동시에 대화를 나누고 있는데, 모두가 서로에게 소리를 지르고 있는 상황을 상상해 보세요. 집단의 규모가 커질수록 소음은 관리 불가능할 정도로 커지며, 당신의 뇌(컴퓨터 메모리)는 충돌을 일으킵니다. 이것이 AI가 모든 이미지를 "밀도 있게"(모든 이미지의 모든 픽셀을 서로 연결하려고 할 때) 처리하려고 할 때 발생하는 현상입니다.
결과: AI는 혼란에 빠져 캐릭터의 외형이 변하거나, 컴퓨터의 메모리가 부족해집니다.

2. 해결책: "희소 관계 주의 집중 (Sparse Relational Attention, SRA)"

저자들은 **희소 관계 주의 집중(SRA)**이라는 새로운 메커니즘을 만들었습니다. 이것은 AI에게 전광판 대신 스마트 형광펜을 주는 것과 같습니다.

작동 원리: AI가 이미지 A의 모든 부분을 이미지 B의 모든 부분과 연결하려고 시도하는 대신, 다음과 같이 질문합니다. "이미지 B에서 이미지 A의 일관성을 유지하기 위해 내가 꼭 봐야 할 가장 중요한 것은 무엇인가?"
비유: 당신이 책의 속편을 쓰고 있다고 상상해 보세요. 주인공의 이름을 기억하기 위해 도서관에 있는 1,000권의 책을 다시 읽을 필요는 없습니다. 단지 특정 캐릭터 인덱스 카드를 확인하면 됩니다. SRA는 바로 그 인덱스 카드 역할을 합니다. SRA는 다른 이미지들로부터 (주인공의 얼굴이나 특정 의상 같은) "핵심 특징"만을 골라내고 나머지는 무시합니다. 이를 통해 컴퓨터는 빠르게 작동하며, 이야기가 길어져도 과부하에 걸리지 않습니다.

3. 안전장치: "라우팅 일관성 제약 (Routing Consistency Constraint, RCC)"

스마트 형광펜이 있더라도 AI는 여전히 혼란을 겪을 수 있습니다. 예를 들어, 두 캐릭터가 모두 빨간 코트를 입고 있다면, AI는 실수로 서로의 얼굴을 바꿀 수도 있습니다.

이를 막기 위해 저자들은 **라우팅 일관성 제약(RCC)**이라는 규칙을 추가했습니다.

비유: 이 시스템은 이야기 속 모든 인물에 대한 "캐릭터 시트(마스크)"를 가진 엄격한 편집자와 같습니다. 편집자는 AI에게 이렇게 말합니다. "패널 5에서 주인공을 그릴 때, 설령 두 사람이 같은 색의 옷을 입고 있더라도, 패널 1에 있는 주인공의 얼굴을 보아야 한다. 악당의 얼굴을 봐서는 안 된다."
작동 원리: 시스템은 이러한 "마스크"를 사용하여 AI가 정보를 올바르게 전달하도록 강제합니다. 만약 AI가 잘못된 사람의 특징을 복사하려고 하면, 시스템은 "아니, 그건 잘못된 경로야"라고 말하며 수정합니다. 이는 붐비는 장면에서도 주인공은 주인공으로, 악당은 악당으로 유지되도록 보장합니다.

4. 훈련장: LCCD 데이터셋

AI에게 이를 가르치기 위해, 연구원들은 인터넷의 무작위 사진을 사용할 수 없었습니다(개인정보 보호 및 저작권 문제 때문). 대신 그들은 LCCD(Long-Context Consistency Dataset)라는 거대하고 맞춤 제작된 훈련 세트를 구축했습니다.

규모: 600,000개의 가짜 스토리 시퀀스를 생성했습니다. 각 시퀀스는 6개에서 20개의 이미지로 구성됩니다.
다양성: 어떤 이야기는 한 명의 캐릭터를, 어떤 이야기는 여러 명의 캐릭터를 가집니다. 그들은 AI를 사용하여 이 이미지들을 생성한 다음, 또 다른 AI를 사용하여 다음과 같이 검사했습니다. "모든 사진에서 캐릭터가 동일하게 보이는가?" 만약 캐릭터가 너무 많이 변했다면, 그 스토리는 제외되었습니다. 이를 통해 그들은 모델을 훈련시키기 위한 "완벽한" 데이터셋을 남길 수 있었습니다.

5. 결과

그들이 새로운 시스템(LCG)을 다른 방법들과 비교 테스트했을 때의 결과입니다:

더 나은 일관성: 캐릭터들이 긴 시퀀스(최대 20장의 이미지) 동안 훨씬 더 일관되게 보였습니다.
더 나은 스토리텔링: AI는 캐릭터의 정체성을 잃지 않으면서도 각 장면의 구체적인 지시 사항(예: "벤치에 앉아 있는 모습" vs "도서관에 서 있는 모습")을 잘 따랐습니다.
효율성: "스마트 형광펜"(SRA) 덕분에, 시스템은 이야기가 길어질 때 기존 방식들이 실패했던 것과 달리 컴퓨터 메모리 충돌 없이 긴 이야기를 처리할 수 있었습니다.

요약하자면, 이 논문은 중요한 세부 사항에만 집중하는 "스마트 형광펜"과 캐릭터가 뒤섞이지 않도록 보장하는 "엄격한 편집자"를 사용하여, AI가 길고 일관된 시각적 이야기(만화나 스토리보드 등)를 효율적으로 생성할 수 있게 해주는 새로운 프레임워크를 제시합니다.

기술 요약: 희소 관계 주의 집중(Sparse Relational Attention)을 이용한 롱 컨텍스트 일관적 이미지 생성(LCG)

문제 정의

최근의 생성 모델들은 단일 이미지 합성에서 인상적인 충실도를 달est로 하지만, 만화, 스토리보드, 시각적 내러티브와 같은 롱 컨텍스트 애플리케이션에 필요한 순차적 출력물 간의 일관성을 유지하는 데 어려움을 겪고 있습니다. 기존 방식들은 근본적인 트레이드오프에 직면해 있습니다. 패널을 독립적으로 생성하면 패널 간의 증거를 무시하게 되고, 순차적 생성을 하면 초기 정체성 드리프트(identity drift)나 역할 불일치가 후속 프레임으로 전파됩니다. 또한, 모든 패널 간의 직접적인 정보 교환을 허용하는 밀집 주의 집중(dense attention) 메커니즘은 이차적인 메모리 스케일링( $O(N^2L^2D)$ ) 문제를 겪으며, 패널 수( $N$ )가 증가함에 따라 실질적인 메모리 예산을 빠르게 초과합니다. 결과적으로, 효율적으로 장거리 시각적 컨텍스트를 활용하면서도 글로벌 일관성을 보존할 수 있는 모델을 개발하는 것은 여전히 해결해야 할 과제로 남아 있습니다.

방법론

저자들은 롱 컨텍스트 다중 이미지 텍스트-투-이미지 생성을 위해 설계된 디퓨전 기반 프레임워크인 **Long-Context Generation (LCG)**를 제안합니다. LCG는 장면별 프롬프트 시퀀스가 주어졌을 때, 개별 프롬프트와의 정렬을 보장하는 동시에 캐릭터의 정체성, 역할 할당 및 시각적 연속성을 유지하며 그에 상응하는 이미지 시퀀스를 공동으로 합성합니다. 이 프레임워크는 각 프롬프트를 병렬 생성 브랜치에 할당하고 모든 브랜치를 공동으로 디노이징함으로써 작동합니다.

LCG는 확장성과 일관성을 해결하기 위해 두 가지 핵심 메커니즘을 도입합니다.

1. 희소 관계 주의 집중 (Sparse Relational Attention, SRA)

밀집 주의 집중의 메모리 제한을 극복하기 위해, LCG는 크로스 브랜치 상호작용을 희소 관계 주의 집중(SRA) 메커니즘으로 재구성합니다. 모든 브랜치의 모든 토큰에 주의를 기울이는 대신, 각 생성 브랜치는 다른 브랜치로부터 가장 관련성이 높은 영역을 선택적으로 참조합니다.

조대 세만틱 압축 (Coarse Semantic Compression): 모델은 모든 브랜치의 토큰 시퀀스를 블록 단위 표현으로 압축하여 전역적으로 관련 있는 영역을 식별합니다.
로컬 및 글로벌 선택 (Local and Global Selection): 쿼리는 먼저 자신의 브랜치에서 상위- $K$ 개의 관련 토큰을 검색(로컬 컨텍스트)한 다음, 모든 브랜치의 압축된 세만틱 표현에 주의를 기울여 관련 블록을 선택(글로벌 컨텍스트)합니다.
세밀한 검색 (Fine-Grained Retrieval): 선택된 블록 내의 세밀한 토큰들을 검색하여 주의 계산을 위한 희소 서브셋을 형성합니다.
복잡도: 이 접근 방식은 계산 비용을 이차적인 $O(N^2L^2D)$ 에서 약 $O(NL(K_{loc} + K_{glob})D)$ 로 줄여주며, 여기서 $K$ 값은 전체 시퀀스 길이보다 훨씬 작은 고정된 값입니다. 이를 통해 롱 컨텍스트 생성을 계산적으로 실행 가능하게 만듭니다.
브랜치 레벨 인코딩: 동시에 진행되는 브랜치들을 구분하기 위해, LCG는 3D 회전 위치 임베딩(RoPE)의 시간 차원에 고유한 브랜치 식별자를 주입합니다.

2. 라우팅 일관성 제약 (Routing Consistency Constraint, RCC)

SRA는 효율적인 상호작용을 가능하게 하지만, 선택된 희소 경로는 모델의 특징에 기반하므로 불안정할 수 있으며, 이는 정체성 드리프트나 역할 혼동(예: 캐릭터가 다른 패널에서 시각적으로는 유사하지만 의미론적으로는 잘못된 영역을 참조하는 경우)을 초导致할 수 있습니다.

메커니즘: RCC는 **정체성 인식 마스크(identity-aware masks)**를 활용하여 병렬 브랜치 간의 의미론적 및 구조적 대응 관계를 강제합니다. 이는 마스크를 토큰 레벨의 라우팅 타겟으로 변환합니다.
손실 함수: 모델은 예측된 희소 주의 집중 맵과 마스크 유래 대응 관계 사이의 편차를 처벌하는 일관성 손실( $L_{RCC}$ )을 계산합니다. 구체적으로, 서로 다른 브랜치 간에 동일한 캐릭터 정체성에 할당된 토큰들이 더 강력한 크로스 브랜치 경로를 형성하도록 유도합니다.
효과: 이는 주의 흐름을 규제하여, 밀집한 감독 없이도 정체성과 역할 증거가 올바른 패널로 전달되도록 보장합니다.

주요 기여

LCG 프레임워크: 병렬 생성 브랜치 간의 희소 정보 교환을 가능하게 하여, 크로스 패널 일관성과 확장성을 모두 개선한 새로운 롱 컨텍스트 다중 이미지 텍스트-투-이미지 생성 프레임워크입니다.
희소 관계 주의 집중 (SRA): 컴팩트한 세만틱 선택과 세밀한 관계형 토큰 검색을 결리하여, 실질적인 메모리 예산 내에서 효율적인 롱 컨텍스트 계산을 가능하게 하는 희소 크로스 브랜치 라우팅 모듈입니다.
라우팅 일관성 제약 (RCC): 정체성 마스크에 의해 가이드되는 토큰 레벨 라우팅 타겟을 통해 정체성 마스크를 변환하여, 외형 드리프트를 효과적으로 완화하고 복잡한 다중 피사체 장면에서도 일관된 캐릭터 정체성과 장면 레이아웃을 보장하는 손실 함수입니다.
롱 컨텍스트 일관성 데이터셋 (LCCD): 60만 개의 훈련 시퀀스(단일 및 다중 캐릭터 시나리오로 구분)와 별도의 1천 개 테스트 세트로 구성된 대규모 합성 데이터셋을 구축했습니다. 각 시퀀스는 6~~20개의 이미지를 포함하며, 이는 기존 데이터셋의 2~~4 프레임 범위를 크게 확장한 것입니다. 이 데이터셋은 LLM을 통한 캐릭터 정의 및 프롬프트 합성을 거친 후 자동화된 일관성 스크리닝을 통해 생성되었습니다.

실험 결과

저자들은 LCG를 Flux.1-dev, StoryDiffusion, Story2Board를 포함한 베이스라인들과 함께 LCCD 테스트 세트에서 평가했습니다.

정량적 성능: LCG는 모든 지표에서 우수한 점수를 기록했습니다:
- 프롬프트 정렬 (VQAScore): 0.71 (Story2Board의 0.64 대비).
- 피사체 일관성 (DreamSim): 0.75 (베이스라인의 0.62 대비).
- 정체성 보존 (FaceSim-Arc): 0.66 (Story2Board의 0.52 대비).
- 시각적 품질 (Aesthetic Score): 0.62.
인간 평가: 30명의 참가자가 참여한 사용자 연구에서 LCG는 가장 높은 종합 선호도(4.03/5)와 텍스트 정렬(4.08), 정체성 일관성(4.18)에 대한 가장 강력한 평가를 받았습니다.
어블레이션 연구 (Ablation Studies):
- SRA를 풀 어텐션(full attention)으로 교체하면 프롬프트 충실도는 약간 향상되었으나, 긴 시퀀스에서 일관성을 유지하는 데 실패했으며 20개 패널에서 메모리 한계를 초과했습니다.
- RCC를 제거하면 프롬프트 구현력이 약해지고 미세한 정체성 드리프트 및 원치 않는 아티팩트가 발생했습니다.
- 컨텍스트 길이가 길어짐에 따라 지표가 점진적으로 하락하는 현상이 관찰되었으나, 20개 패널에서도 경쟁력 있는 성능을 유지했습니다.
효율성: SRA는 밀집 크로스 브랜치 어텐션에 비해 피크 VRAM 사용량과 레이턴시를 크게 줄였습니다. 밀집 어텐션은 H800 GPU에서 20개 패널 생성 시 메모리 부족(OOM)이 발생했으나, SRA는 20개 패널 시퀀스를 성공적으로 생성했습니다.

의의 및 주장

본 논문은 LCG가 단일 이미지 커스텀화나 피사체 컨디셔닝에 주로 집중하는 기존의 제어 가능한 디퓨전 프레임워크의 결정적인 한계를 해결한다고 주장합니다. 희소 관계 라우팅과 정체성 마스크에 의한 일관성 제약을 도입함으로써, LCG는 확장된 시퀀스(6~20개 이미지)와 복잡한 다중 캐릭터 상호작용 속에서도 일관된 캐릭터 정체성을 가진 응집력 있는 시각적 내러티브 생성을 가능하게 합니다.

저자들은 LCG를 생성형 AI의 "롱 컨텍스트 드리프트" 문제를 해결하기 위한 단계로 포지셔닝하며, 과도한 계산 비용을 들이지 않고도 글로벌 일관성과 정체성 충실도를 유지하는 것이 가능하다는 것을 입증했습니다. 이 방법론이 일관성을 크게 개선했음에도 불구하고, 저자들은 시퀀스 길이와 상호작용하는 캐릭터 수가 증가함에 따라 미세한 정체성 디테일을 유지하는 것이 여전히 더 도전적인 과제임을 솔직히 언급하며, 향후 더 강력한 정체성 추적 메커니즘에 대한 연구 필요성을 시사했습니다.