🤖 AI

Test-Time Noise Guided Adaptation for Realistic Autoregressive Video Generation

이 논문은 예측된 노이즈가 기대되는 등방성 가우시안 분포와 일치하도록 궤적을 최적화함으로써 자기회귀 비디오 생성을 종단점으로부터 멀어지도록 유도하여 비디오 품질을 크게 향상시키고 오차 누적을 줄이는 테스트 시간 적응 방법인 TANGO를 소개한다.

원저자: Dimitrios Karageorgiou, Symeon Papadopoulos, Ioannis Kompatsiaris, Efstratios Gavves

게시일 2026-07-20

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Dimitrios Karageorgiou, Symeon Papadopoulos, Ioannis Kompatsiaris, Efstratios Gavves

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 만화 한 칸씩을 그려내는 법을 가르치고 있다고 상상해 보세요. 당신은 천 개의 실제 만화들을 보여주며 로봇에게 규칙을 가르칩니다. 슈퍼히어로의 망토가 어떻게 휘날리는지, 자동차가 거리를 어떻게 질주하는지, 그리고 얼굴이 행복함에서 놀람으로 어떻게 변하는지 같은 것들 말이죠. 이것이 바로 **자기회귀적 비디오 생성(autoregressive video generation)**의 세계입니다. AI는 영화 전체를 한꺼번에 그리는 대신, 자신이 만든 마지막 몇 프레임을 보고 다음에 올 장면을 추측합니다. 이것은 마치 로봇이 자기 자신에게 계속해서 다음 그림을 속삭이는 '전화기 게임(telephone)'과 같습니다.

이 게임에는 문제가 있습니다. 만약 로봇이 첫 번째 추측에서 아주 작은 실수라도 한다면, 그 실수는 다음 추측으로, 또 그다음 추측으로 전달됩니다. 곧 슈퍼히어로의 팔이 여섯 개가 되거나, 자동차가 하늘로 떠오르기 시작할 수도 있습니다. 로봇은 자신이 배웠던 '실제' 세상으로부터 너무 멀리 벗어나서, 이제는 말이 안 되는 것들을 만들어내고 있는 것입니다. 과학자들은 이를 '오차 누적(error accumulation)'이라고 부르며, 이것이 많은 AI 비디오가 결국 흐릿하고 터무니없는 덩어리로 변하는 이유입니다. 큰 질문은 이것입니다. 어떻게 하면 이야기가 끝나기 전에 로봇이 지도를 벗어나 헤매는 것을 막을 수 있을까요?

여기서 TANGO(Terminal points Avoidance through Noise Guided Optimization)라고 불리는 새로운 방법이 등장합니다. 연구진은 로봇에게 단순히 좋은 그림을 그리는 것뿐만 아니라, 자신이 막다른 길에 다다를 것 같다는 것을 알아차리는 능력도 필요하다는 것을 발견했습니다. 그들은 때때로 로봇이 '종단점(terminal point)'—즉, 다음에 무엇을 그려야 할지 전혀 알 수 없는 상상 속의 지점—에 도달한다는 사실을 깨달았습니다. 이것은 마치 비디오 게임에서 경로가 그냥 끊겨 있는 절벽 끝에 서 있는 것과 같습니다. 만약 로봇이 계속 걸어가려 한다면, 세상 밖으로 떨어지게 될 것입니다.

이를 해결하기 위해, 저자들은 로봇에게 '스스로를 비평하는 능력'이라는 새로운 초능력을 부여했습니다. 그들은 로봇이 안전하고 현실적인 경로 위에 있을 때, 그 '노이즈(noise, 다음 프레임을 파악하기 위해 사용하는 무작위 정적)'가 완벽하게 혼합된 정적의 주머니처럼 보인다는 것을 깨달았습니다. 하지만 로봇이 막다른 길이나 '종단점'에 부딪히기 직전이라면, 그 노이즈는 패턴을 가진 정적처럼 기묘하고 구조적인 모습을 띠기 시작합니다. TANGO는 이 단서를 사용합니다. 비디오를 생성하는 매 단계마다, TANGO는 노이즈를 점검합니다. 만약 노이즈가 수상해 보이면, TANGO는 로봇을 살짝 밀어내어 절벽 가장자리에서 벗어나 다시 안전하고 현실적인 경로로 안내합니다. 이것은 단순히 당신이 어디에 있는지 알려주는 것을 넘어, "이봐, 앞길이 끊겼어, 우회하자!"라고 경고해 주는 GPS와 같습니다.

이 '노이즈 유도형' 우회로의 결과는 꽤 인상적입니다. 연구진은 이 방법을 15초 길이의 비디오에 테스트했습니다. 그들은 TANGO가 기존의 가장 뛰어난 방법들보다 전체 품질 점수를 3.1% 향상시켰다는 것을 발견했습니다. 더욱 놀라운 점은, TANGO가 '프레셰 비디오 거리(Fréchet Video Distance, AI 비디오가 실제 인간의 비디오와 얼마나 다른지를 측정하는 세련된 방식)'를 평균 28.3% 감소시켰다는 것입니다. 이는 비디오가 훨씬 더 실제처럼 보이고, 결함이 있는 꿈처럼 보이지 않게 되었음을 의미합니다.

하지만 이 논문은 TANGO가 모든 것을 해결하는 마법 지팡이는 아니라는 점을 주의 깊게 명시하고 있습니다. 저자들은 모든 프레임이 각각 좋아 보이게 만드는 것만으로는 충분하지 않다는 의견을 제시합니다. 그들은 모든 프레임이 실제처럼 보이더라도, 그것들을 잇는 '이야기'가 여전히 막다른 길로 이어질 수 있음을 보여줍니다. TANGO는 앞길을 점검함으로써 이 문제를 해결합니다. 하지만 한계는 있습니다. 만약 로봇이 이전에 본 적 없는 주제(테스트에서의 '이국적인 물리학'이나 '나노 생물학'처럼)를 접하게 된다면, TANGO는 무(無)에서 새로운 경로를 창조해 낼 수 없습니다. TANGO는 오직 로봇이 이미 알고 있는 범위 내에서 가능한 최선의 경로로 인도할 수 있을 뿐입니다. 만약 훈련 데이터에 답이 포함되어 있지 않았다면, TANGO도 답을 찾을 수 없습니다.

요약하자면, 이 논문은 로봇의 뇌 속에 있는 '정적'에 귀를 기울임으로써, 로봇이 현실의 가장자리로 걸어 나가는 것을 막을 수 있다는 점을 시사합니다. 이것은 더 작고 빠른 AI 모델이 처음부터 다시 훈련할 필요 없이 더 길고 현실적인 비디오를 만들 수 있게 해주는 영리한 기술입니다. 모든 불가능한 시나리오를 위한 완벽한 해결책은 아닐지라도, 우리의 디지털 스토리텔러들이 길을 잃지 않도록 하는 데 있어 커다란 진전입니다.

기술 요약: 현실적인 자기회귀 비디오 생성을 위한 테스트 시점 노이즈 가이드 적응 (T2V-TANGO)

문제 정의
자기회귀 비디오 확산 모델(Autoregressive video diffusion models)은 인과적 어텐션 구조를 통해 과거 프레임을 조건으로 사용하여 임의의 길이의 비디오를 생성하는 패러다임으로 부상했습니다. 그러나 이러한 모델들은 근본적인 훈련-테스트 불일치(training-test mismatch) 문제를 겪습니다. 훈련 과정에서 모델은 실제 비디오 프레임을 조건으로 받지만, 추론 시에는 자신이 생성한 시퀀스를 조건으로 사용해야 합니다. 이는 오차 누적(error accumulation)으로 이어져, 생성된 프레임의 분포가 점진적으로 실제 데이터의 훈련 분포에서 벗어나게 만들며, 결국 생성 프로세스의 붕괴를 초래합니다.

최근 문헌들은 개별 생성 프레임이 실제 데이터의 "학습된 매니폴드(learned manifold)" 내에 머물도록 보장함으로써(예: 시간적 언롤링 또는 어텐션 싱크 활용) 이 문제를 해결하려 합니다. 하지만 저자들은 모든 개별 프레임이 실제 매니폴드 내에 존재하더라도, 궤적(trajectory)의 *결합 분포(joint distribution)*는 여전히 훈련 분포에서 벗어날 수 있다고 주장합니다. 이는 모델을 "종단점(terminal point)"—즉, 모델이 학습한 분포 하에서 유효한 연속성이 존재하지 않는 상태—으로 몰아넣을 수 있습니다. 이러한 지점에서 모델이 계속 진행하도록 강제하면 모델은 매니폴드를 벗어나게 되며, 결과적으로 매우 비현실적인 시각적 아티팩트(artifacts)를 발생시킵니다.

방법론: TANGO
종단점 문제를 해결하기 위해, 저자들은 **노이즈 가이드 최적화를 통한 종단점 회피(Terminal points Avoidance through Noise Guided Optimization, TANGO)**를 제안합니다. 핵심 가설은 잘 모델링된 조건부 시퀀스에 대해, 예측된 노이즈(잔차, residual)의 분포는 순방향 노이징 과정 중에 가정된 등방성 가우시안 분포(isotropic Gaussian distribution)와 일치해야 한다는 것입니다. 만약 궤적이 종단점에 도달하면, 디노이저(denoiser)가 예측하는 다음 단계의 노이즈는 이러한 통계적 특성을 위반하게 됩니다.

TANGO는 다음과 같은 테스트 시점 적응 메커니즘으로 작동합니다:

비평가 메커니즘(Critic Mechanism): 확산 모델은 자신의 출력에 대한 비평가 역할을 수행합니다. 각 자기회귀 단계에서 모델은 한 단계 앞을 예측하고 예측된 노이즈 잔차( $\hat{r}_{i+1}$ )를 분석합니다.
노이즈 일관성 목적 함수(Noise Consistency Objective): 이 방법은 예측된 노이즈가 등방성 가우시안 분포( $\mathcal{N}(0, I)$ $N (0, I)$ )에서 벗어나는 정도를 측정하기 위해 손실 함수( $\mathcal{L}_{\mathcal{N}}$ $L_{N}$ )를 계산합니다. 이 손실은 네 가지 구성 요소로 이루어집니다:
- 1차 및 2차 모멘트: 평균이 0이고 분산이 1인 상태에서의 편차에 대해 페널티를 부여합니다.
- 고차 모멘트: 왜도(skewness)와 첨도(excess kurtosis)를 통해 비대칭성과 두꺼운 꼬리(heavy tails)를 탐지하여 페널티를 부여합니다.
- 스펙트럼 평탄도(Spectral Flatness): 전력 스펙트럼 밀도가 평탄함을 보장하여(공간적 상관관계가 없음을 의미), 모델이 단순히 시각적 콘텐츠를 제거하는 것이 아니라 노이즈만을 제거하고 있는지 확인합니다.
- 저주파 모멘트: 실제 시각적 콘텐츠의 에너지가 존재하는 저주파 영역에서 가우시안 특성을 명시적으로 강제합니다.
제약 최적화(Constrained Optimization): 자명한 해(trivial solutions)로 빠지는 것을 방방지하기 위해, TANGO는 사전 훈련된 가중치( $\theta$ )로부터 초기화된 적응형 파라미터 세트( $\phi$ )를 도입합니다. 이 파라미터들은 원래 모델의 예측 근처에 탐색을 고정하는 정규화 제약 조건 하에서, 노이즈 일관성 손실을 최소화하도록 테스트 시점에 최적화됩니다. 이를 통해 모델은 학습된 매니폴드에서 너무 멀어지지 않으면서 종단점을 피할 수 있는 대안적인 궤적을 찾을 수 있습니다.

주요 기여

종단점 식별: 본 논문은 종단점이 개별 프레임이 현실적으로 보일지라도, 많은 실제 궤적들이 자기회귀 모델을 위한 유효한 조건부 시퀀스로서 기능하는 것을 방해한다는 점을 강조합니다.
노이즈 기반 탐지: 저자들은 종단점이 예측된 노이즈의 통계적 속성, 특히 등방성 가우시안 특성으로부터의 이탈을 관찰함으로써 포착될 수 있다고 상정합니다.
TANGO 프레임워크: 확산 모델이 자신의 출력을 비평하고 종단점을 피하기 위해 궤적을 최적화할 수 있도록 하는 테스트 시점 노이즈 가이드 적응 방식인 TANGO를 소개합니다.
성능 향상: 이 방식은 VBench 총점(total score)에서 3.1%의 절대적 향상을 달야냈으며, 15초 비디오에 대해 기존의 최첨단 자기회귀 방식들보다 평균적으로 28.3% 낮은 Fréchet Video Distance(FVD)를 기록했습니다.

결과
실험은 Wan2.1-T2V-1.3B 백본을 사용하여 15초 비디오 생성 작업에 대해 수행되었습니다. TANGO는 CausVid, Self-Forcing, RollingForcing, LongLive, RewardForcing을 포함한 최근의 자기회귀 접근 방식들과 비교되었습니다.

정량적 결과: TANGO는 대부분의 개별 VBench 지표에서 최고의 성능을 보였으며, 여기에는 시맨틱 점수 4.8% 증가와 품질 점수 2.6% 증가가 포함됩니다. 또한 평균 FVD를 베이스라인의 576.8에서 413.3으로 감소시켰습니다.
어블레이션(Ablation): 특정 손실 항(특히 고차 모멘트와 스펙트럼 평탄도)을 제거했을 때 성능이 크게 저하되었으며, 이는 전체 노이즈 일관성 목적 함수의 필요성을 입증합니다. 또한 자명한 해로의 수렴을 막기 위해 정규화가 필수적임이 밝혀졌습니다.
효율성: 모델 크기를 키워(예: 13B 또는 27B 파라미터) 품질을 높이는 방식과 달리, TANGO는 1.3B 모델만으로도 우수한 결과를 달성하며 훨씬 낮은 실행 시간(8.6분 vs 30~92분)과 메모리 사용량을 보여줍니다.

의의 및 주장
본 논문은 조건부 프레임의 결합 분포를 훈련 분포 내로 유지하는 것이 장기 비디오 생성에 있어 매우 중요하다고 주장합니다. 확산 모델의 노이즈 예측 자체를 분포 드리프트(distributional drift)의 신호로 사용함으로써, TANGO는 학습된 매니폴드를 더 효과적으로 탐색할 수 있는 메커니즘을 제공합니다.

저자들은 자신의 접근 방식이 가진 한계에 대해 겸허한 입장을 유지합니다. 그들은 테스트 시점 적응이 사전 훈련 중에 학습된 매니폴드 내에서 개선된 솔루션을 찾는 과정임을 인정합니다. 즉, 특정 주제(예: 훈련 데이터에서 과소 표현된 이국적인 물리학이나 미생물학 등)에 대해 유효한 연속성이 존재하지 않는 경우, 이 방법이 새로운 지식을 창조할 수는 없습니다. 따라서 저자들은 자신들의 노이즈 가이드 최적화를 훈련 데이터 및 모델 용량 확장의 대체재가 아닌 보완재로 간주합니다. 이 방법은 기존 지식 기반 내에서 더 나은 궤적을 찾기 위해 추론 시점의 연산 자원(inference-time compute)을 효과적으로 할당하여, 모델이 지역 최댓값(local maxima)이나 종단점에 갇히는 것을 방지합니다.

유사한 논문