🤖 AI

A $^2$ RD: Agentic Autoregressive Diffusion for Long Video Consistency

본 논문은 폐쇄형 검색-합성-정제-업데이트 사이클과 멀티모달 메모리를 통해 장편 비디오 일관성을 보장하고 일관성에서 최첨단 방법 대비 최대 30%, 내러티브 일관성에서 20% 더 우수한 성능을 보이는 에이전트 기반 자동회귀 확산 프레임워크인 A $^2$ RD를 소개한다.

원저자: Do Xuan Long, Yale Song, Min-Yen Kan, Tomas Pfister, Long T. Le

게시일 2026-05-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Do Xuan Long, Yale Song, Min-Yen Kan, Tomas Pfister, Long T. Le

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

마법 같은 카메라로 비디오 프레임을 하나씩 생성하며 매우 길고 복잡한 이야기를 전달한다고 상상해 보세요. 현재의 '마법 카메라'가 겪는 가장 큰 문제는 망각과 표류입니다. 10 분짜리 영화를 만들어 달라고 요청하면, 5 분 지점에 이르러 주인공의 머리카락 색이 바뀌거나 배경이 다른 도시로 이동하거나, 이야기가 비논리적으로 제자리로 되돌아갈 수 있습니다. 처음 몇 초는 잘 만들어내지만, 이야기가 길어질수록 줄거리를 잃어버립니다.

이 논문은 A2RD(Agentic Autoregressive Diffusion)를 소개하는데, 이는 그 마법 카메라에 초지능 감독, 기억 은행, 엄격한 편집자를 함께 배치한 것과 같습니다.

다음은 이를 간단한 개념으로 분해한 작동 원리입니다:

1. 문제: '표류'하는 카메라

현재의 비디오 생성기를 긴 시험을 치르는 학생이라고 생각해 보세요. 첫 번째 문제는 완벽하게 풀지만, 두 번째 문제에서는 시험 전체 지시사항이 아니라 첫 번째 문제의 답만 기억합니다. 50 번째 문제에 도달할 즈음에는 주인공이 누구인지, 배경이 어떤지, 심지어 줄거리조차 잊어버립니다. 이를 '의미적 표류 (semantic drift)'라고 합니다. 이야기가 무너져 내리는 것입니다.

2. 해결책: '에이전트' 감독

A2RD 는 단순히 비디오를 생성하는 것을 넘어, 전체 과정을 관리하는 에이전트(지능형 비서)처럼 행동합니다. 긴 영화를 작은 조각 (세그먼트) 으로 나누고 **검색 (Retrieve), 합성 (Synthesize), 정제 (Refine), 업데이트 (Update)**라는 루프로 관리합니다.

이 '감독'이 사용하는 세 가지 주요 도구는 다음과 같습니다:

A. '멀티모달 비디오 메모리'(감독의 대본과 사진 앨범)

다음 장면을 예측하기 위해 마지막 프레임만 보는 대신, A2RD 는 상세한 기억 은행을 유지합니다.

유사성: 거대한 바인더를 보관하는 감독을 상상해 보세요. 안에는 다음과 같은 것들이 들어 있습니다:
- 텍스트 메모: "클라는 빨간 드레스를 입고 왼쪽 볼에 흉터가 있다."
- 사진: 캐릭터와 방에 대한 고품질 참조 이미지.
- 비디오 클립: 캐릭터가 움직이는 방식에 대한 짧은 클립.
도움: 새로운 장면을 생성하기 전에 AI 는 이 바인더를 확인합니다. 단순히 추측하는 것이 아니라, 클라가 누구이며 어디에 있어야 하는지 정확한 세부 사항을 검색합니다. 이로 인해 캐릭터가 실수로 다른 사람으로 변하거나 방의 색이 바뀌는 것을 방지합니다.

B. '적응형 세그먼트 생성'(스마트 전환)

AI 는 한 장면을 다음 장면과 어떻게 연결할지 결정해야 합니다. 두 가지 모드가 있습니다:

외삽 (앞으로 추측): "캐릭터가 문을 나가고 있다; 다음에 무슨 일이 일어날지 추측해 보자." 이는 자연스러운 움직임에는 좋지만, AI 가 환각 (사실과 다른 내용 생성) 을 일으킬 수 있어 위험합니다.
보간 (점 연결): "캐릭터가 문에서 시작해 차에서 끝난다; 중간을 채워 보자." 이는 매우 안전하고 일관적이지만 딱딱하게 느껴질 수 있습니다.
A2RD 의 트릭: AI 는 스마트 편집자처럼 행동하여 이 두 모드 사이를 자동으로 전환합니다. 장면이 단순한 걷기라면 앞으로 추측하고, 장면이 새로운 장소로 이동한다면 전환이 논리적으로 이루어지도록 점 연결을 엄격하게 수행합니다.

C. '계층적 자기 개선'(엄격한 편집자)

이 부분이 가장 독특합니다. 비디오가 최종화되기 전에 AI 는 자신의 작업을 비판하고 수정합니다.

유사성: 당신이 단락을 쓴 후, 엄격한 편집자에게 읽어 들인다고 상상해 보세요. 편집자는 "잠깐, 당신은 차가 빨간색이라고 했지만 사진에서는 파란색이야. 또한 캐릭터가 잘못된 방향으로 향하고 있어"라고 말합니다.
과정:
1. 생성: AI 가 비디오 클립을 만듭니다.
2. 확인: AI '심사관'이 클립을 보고 기억 은행과 스토리와 비교합니다. "캐릭터의 얼굴이 같은가?", "물리 법칙이 현실적인가?"와 같은 항목에 점수를 매깁니다.
3. 수정: 점수가 낮으면 AI 는 자신의 지시 사항 (프롬프트) 을 다시 작성하고 다시 시도합니다. 이는 모든 클립마다 두 번 수행됩니다.
4. 학습: 나중에 영화에서 같은 실수를 하지 않도록 저지른 실수를 기억합니다.

3. 새로운 테스트: LVbench-C

이것이 작동함을 증명하기 위해 저자들은 LVbench-C라는 매우 까다로운 새로운 테스트를 만들었습니다.

유사성: 대부분의 비디오 테스트는 누군가에게 고양이 그림을 그리게 하는 것과 같습니다. 쉽습니다. 이 새로운 테스트는 누군가에게 고양이를 그린 다음, 개를 그린 다음, 다시 고양이를 그리되 (이제 고양이는 모자를 쓰고 젖어 있음), 다시 개를 그리되 (이제 개는 늙고 지쳐 있음) 하는 것이며, 배경은 일관되게 유지해야 합니다.
이는 '순환적' 일관성을 테스트합니다: AI 가 10 분 전에 등장했던 캐릭터가 잠시 사라졌다가 특정 변화와 함께 다시 등장해야 한다는 것을 기억할 수 있는지 확인합니다.

결과

테스트를 실행했을 때:

일관성: A2RD 는 기존 최상위 방법들보다 캐릭터와 환경이 비디오 전체에 걸쳐 동일하게 유지되는 데 30% 더 우수했습니다.
스토리텔링: 이야기가 논리적으로 유지되고 반복되지 않도록 하는 데 20% 더 우수했습니다.
인간 피드백: 인간들이 비디오를 시청했을 때, A2RD 는 부드러운 전환과 캐릭터 일관성 측면에서 훨씬 높은 평가를 받았습니다.

요약

간단히 말해, A2RD는 비디오 AI 가 halfway 에서 이야기를 '잊어버리는' 것을 막는 시스템입니다. 이는 AI 에게 상세한 기억을 제공하고, 장면을 연결하는 최선의 방법을 선택하게 하며, 최종 결과를 보여주기 전에 자신의 실수를 비판하고 수정하도록 강요함으로써 달성합니다. 이는 혼란스럽고 표류하는 비디오 생성기를 규율 있는 장편 스토리텔러로 변모시킵니다.

기술 요약: A2RD: 장기 영상 일관성을 위한 에이전트 기반 자동회귀 확산 모델

문제 제기

수분에서 수 시간에 이르는 긴 형식의 영상을 일관되고 통합적으로 생성하는 것은 생성형 AI 에서 근본적인 과제로 남아 있습니다. 최근 확산 모델이 짧은 클립 (수 초) 에 대해 놀라운 충실도를 달성했음에도 불구하고, 긴 시간 범위로 확장할 때 두 가지 치명적인 실패 모드가 발생합니다: 시간적 일관성(시간 경과에 따라 개체, 환경, 운동 역학을 추적하고 유지하지 못하는 능력) 과 서사적 일관성(의미 있는 스토리 진화를 이루지 못하거나 의미적 이탈 및 반복이 발생하는 능력).

기존 최첨단 접근법들은 일반적으로 수동적이고 개방 루프(paradigm) 패러다임을 따릅니다:

프레임 기반 자동회귀 (FAR) 모델은 프레임이나 청크를 순차적으로 생성합니다. 이들은 지역적 연속성을 유지하지만, 후속 단계의 고정된 조건으로 생성된 프레임을 고정시킵니다. 이로 인해 오류가 수정되지 않은 채 전파되어 장기간에 걸쳐 의미적 이탈과 서사적 붕괴를 초래합니다.
세그먼트 기반 방법(병렬 및 자동회귀 모두) 은 더 나은 서사적 제어를 제공하지만 세그먼트 간 일관성 유지에 어려움을 겪습니다. 이들은 종종 시각적 조건에만 의존하는데, 이는 세그먼트 간 개체 정체성과 서사 상태를 신뢰성 있게 추적하기에 부족하여 캐릭터 외형, 객체 상태, 환경 배치에서 지속적인 불일치를 초래합니다.

방법론: A2RD 아키텍처

저자들은 A2RD(Agentic Autoregressive Diffusion, 에이전트 기반 자동회귀 확산) 를 제안합니다. 이는 훈련이 필요 없는 아키텍처로, 장기 영상 생성을 폐쇄 루프, 에이전트 프로세스로 재정의합니다. A2RD 는 창의적 생성과 일관성 강화를 분리하여 각 영상 세그먼트에 대해 검색 - 생성 - 정제 - 업데이트 사이클을 통해 작동합니다. 이 시스템은 세 가지 핵심 구성 요소를 통합합니다:

1. 멀티모달 영상 메모리 (MVMem)

기존 연구들이 시각적 참조만 저장하는 것과 달리, MVMem 은 장기 의존성을 강제하기 위해 세 가지 보완적 모달리티를 통해 진화하는 영상 세계 상태를 명시적으로 추적합니다:

텍스트 상태 ( $T_j$ ): 비주얼 아크(개체 정체성, 변화, 운동), 공간적 관계(기하학적 배치를 위한 주어 - 관계 - 목적어 삼중항), 그리고 카메라 상태(뷰포트 궤적) 를 포착하는 구조화된 표현입니다. 이는 경계 프레임과 전체 세그먼트 모두에서 계층적으로 추출됩니다.
프레임 ( $\mathcal{F}_j$ ): 캡션으로 색인된 글로벌 참조 프레임(사용자 제공 또는 생성된) 과 세그먼트 키 프레임(시작/종료) 으로, 구체적인 시각적 세부 사항을 고정합니다.
영상 ( $V_j$ ): 운동 역학 검증 및 정제를 위해 저장된 생성된 세그먼트입니다.

초기화: 생성 전에 에이전트는 개체 및 환경에 대한 글로벌 참조를 계획하고, 생성 순서를 결정하기 위해 의존성 그래프를 구성한 후, 텍스트 - 이미지 (TI2I) 모델을 사용하여 이러한 참조를 생성합니다.

2. 적응형 세그먼트 생성

A2RD 는 서사적 맥락에 따라 각 세그먼트의 생성 모드를 적응적으로 선택합니다:

외삽 (Extrapolation): 서사가 연속된 환경 내에서 자연스럽게 진행될 때 사용되며, 시작 프레임에서 앞으로 생성합니다.
보간 (Interpolation): 서로 다른 환경이나 샷 간 전환 시 사용되며, 고정된 시작 및 종료 프레임을 연결하는 세그먼트를 생성합니다.
에이전트는 멀티모달 대형 언어 모델 (MLLM) 을 사용하여 스토리라인의 시공간적 연속성을 추론하고 적절한 모드를 선택하여 자연스러운 진행과 엄격한 일관성 사이의 균형을 맞춥니다.

3. 계층적 테스트 시간 자기 개선 (HITS)

오류 전파를 방지하기 위해 A2RD 는 두 수준에서 폐쇄 루프 정제 프로세스를 사용합니다:

경계 프레임 자기 개선: 생성된 시작/종료 프레임은 개체/환경 일관성, 서사 진행, 공간적 논리성, 물리적 타당성을 다루는 평가 기준에 따라 검증됩니다. 피드백에 따라 에이전트는 프레임을 편집하거나 최적화된 프롬프트로 다시 생성합니다.
영상 세그먼트 자기 개선: 생성된 세그먼트도 유사한 검증을 거칩니다. 종료 프레임이 없는 경우, 시스템은 종료 프레임과 영상 프롬프트를 순차적으로 공동 최적화합니다.
메모리 증강 프롬프트 최적화 (MAPO): 과거 성공 및 실패 정제 사례 데이터베이스를 활용하는 새로운 알고리즘입니다. 긍정적 및 부정적 예시를 대조함으로써 MAPO 는 프롬프트를 정제하기 위한 실행 가능한 지침을 도출하여 일반적인 수정이 아닌 실패의 근본 원인을 해결합니다.

주요 기여

A2RD 아키텍처: 멀티모달 메모리, 적응형 생성 전략, 계층적 자기 개선을 통합한 장기 영상 생성을 위한 최초의 에이전트 기반 자동회귀 프레임워크입니다. 이는 의미적 이탈과 콘텐츠 붕괴를 크게 완화하며, 높은 일관성을 유지하면서 초장기 영상 (최대 10 분) 으로 확장 가능합니다.
LVbench-C 벤치마크: 장기 일관성을 스트레스 테스트하도록 설계된 새로운 까다로운 벤치마크입니다. 기존 벤치마크와 달리 LVbench-C 는 개체와 환경이 나타나고 사라지며 다시 나타나는 ("순환적") 비선형 전환을 특징으로 하며, 선택적 상태 진화 (예: 옷 갈아입기, 객체 상태 변화, 환경 상태 변화) 를 포함합니다.
종합 평가: 공개 벤치마크 (VBench-Long) 와 LVbench-C 에 대한 광범위한 실험을 통해 자동 지표와 인간 평가 모두에서 최첨단 성능을 입증했습니다.

결과

실험은 1 분 (단일 장면), 3 분, 5 분, 10 분 (다중 장면) 영상 생성 작업에서 수행되었습니다.

자동 지표: VBench-Long(1 분) 에서 A2RD 는 최상의 베이스라인 (Naive-AR) 보다 서사적 일관성에서 20%(0.90 대 0.75), 캐릭터 일관성에서 30%(0.74 대 0.57) 더 높은 성능을 보였습니다. 운동 일관성 점수는 0.9935로, 단일 샷 생성과 거의 동일한 매끄러운 전환을 나타냈습니다.
장기 성능: LVbench-C(3~5 분) 에서 A2RD 는 우수한 일관성을 유지하며, 최강 베이스라인 (VideoMemory) 보다 캐릭터 일관성에서 16%(3 분) 및 13%(5 분) 더 높은 성능을 보였습니다. 또한 5 분 영상에서 0.95의 서사적 일관성을 달성하여 베이스라인보다 훨씬 높았습니다.
인간 평가: 인간 평가자 (7 명) 는 A2RD 를 평균 4.68/5.00으로 평가하여 최상의 베이스라인 (VideoMemory 의 3.93) 을 크게 앞섰습니다. A2RD 는 캐릭터 일관성 (4.89), 서사적 일관성 (4.75), 전환 매끄러움 (4.34) 에서 탁월한 성과를 보였습니다.
일반화: A2RD 는 다양한 오픈 소스 영상 확산 백본 (LTX-Video 및 Wan 2.2) 에서 강력한 일반화를 보여주었으며, 재학습 없이도 단순한 자동회귀 베이스라인을 일관되게 능가했습니다.
확장성: 분석 결과, 베이스라인은 장면 수가 증가함에 따라 단조롭게 저하되는 반면, A2RD 는 40 개 이상의 장면에서도 높은 일관성 (예: >96% 캐릭터 일관성) 을 유지하는 것으로 나타났습니다.

중요성 및 주장

이 논문은 A2RD 가 수동적이고 개방 루프인 패러다임의 근본적인 한계를 해결함으로써 장기 형식 영상 생성에서 중요한 진전을 이루었다고 주장합니다. 에이전트 기반 폐쇄 루프 프로세스를 도입함으로써 시스템은 시간적 일관성과 서사적 일관성을 능동적으로 강제하여 기존 방법들을 괴롭히는 의미적 이탈을 방지합니다.

저자들은 그들의 접근 방식이 훈련이 필요 없으며, 정교한 메모리 및 정제 메커니즘을 통해 기존 기반 모델 (MLLM, TI2I, TI2V) 을 오케스트레이션하는 데 의존한다고 강조합니다. LVbench-C의 도입은 현재 평가 기준의 간극을 부각시켜, 진정한 장기 일관성은 단순한 선형 진행이 아닌 비선형적이고 순환적인 상태 전환을 테스트해야 함을 주장합니다.

반복적 자기 개선으로 인한 계산 오버헤드를 인정하면서도, 저자들은 생성 결과물의 상당한 향상과 수동 개입 없이 자율적으로 초장기 서사로 확장할 수 있는 능력을 고려할 때 이 비용이 정당하다고 주장합니다. 이 연구는 장기 형식 영상 생성의 미래 진전이 수동적 생성에서 능동적이고 일관성을 강제하는 에이전트 시스템으로의 전환에 달려 있음을 시사합니다.