Model Already Knows the Best Noise: Bayesian Active Noise Selection via Attention in Video Diffusion Model

이 논문은 비디오 확산 모델의 초기 노이즈 선택을 개선하기 위해 모델 내부의 어텐션 불확실성을 정량화하여 고품질 시드를 선별하는 ANSE 프레임워크와 베이지안 어텐션 기반의 BANSA acquisition 함수를 제안합니다.

핵심

이 논문은 **"비디오 생성 AI 가 더 좋은 영상을 만들 수 있도록, 시작점을 똑똑하게 골라주는 방법"**을 소개합니다.

기존의 AI 비디오 생성 기술은 마치 운에 의존하는 주사위 게임과 같았습니다. 같은 명령어 (예: "고양이가 피아노를 치는 영상") 를 입력해도, AI 가 처음에 무작위로 선택한 '시작 잡음 (Noise Seed)'에 따라 결과가 천차만별이었습니다. 어떤 시작점은 멋진 영상을 만들고, 어떤 시작점은 엉망진창인 영상을 만들어냈죠.

이 논문은 **"AI 가 스스로 '어떤 시작점이 가장 잘 될지'를 미리 감지해서, 가장 좋은 시작점을 골라주자"**는 아이디어를 제시합니다.

---

🎬 핵심 비유: "요리사의 재고실"

비디오 생성 AI 를 요리사라고 상상해 보세요.

• 명령어 (Prompt): "매콤한 불고기 볶음밥 만들어줘"
• 시작 잡음 (Noise Seed): 요리사가 재고실에서 꺼낸 **원재료 (쌀, 고기, 양념 등)**의 상태.

기존 방식은 재고실에서 무작위로 쌀 한 주머니를 꺼내서 요리를 시작했습니다. 운이 좋으면 맛있는 밥이 나오지만, 쌀이 썩어있거나 양념이 부족하면 맛이 형편없어집니다.

이 논문이 제안하는 **ANSE(Active Noise Selection)**는 다음과 같은 역할을 합니다:

"요리사 (AI) 가 재고실 문을 열기 전에, '어떤 쌀 주머니를 꺼내면 가장 맛있는 밥이 나올지'를 미리 냄새 맡고 판단하게 해주는 것"

🔍 어떻게 작동할까요? (BANSA 점수)

이 시스템의 핵심은 BANSA라는 도구입니다. 이를 **AI 의 '집중력 측정기'**라고 생각하면 쉽습니다.

1. 혼란스러운 집중력 (높은 점수):
   AI 가 여러 번 시뮬레이션을 해봤을 때, "어디에 초점을 맞춰야 할지"가 매번 달라지고 헷갈린다면? (예: "고양이인지 사람인지 모르겠네", "피아노가 어디에 있지?")
   → 이건 불안정한 시작점입니다. 이걸로 만들면 영상이 흔들리거나 엉망이 될 가능성이 높습니다.

2. 단단한 집중력 (낮은 점수):
   반대로 AI 가 시뮬레이션할 때마다 "고양이는 여기, 피아노는 저기"라고 똑같은 위치와 형태를 확신하며 집중한다면?
   → 이건 안정적인 시작점입니다. 이걸로 만들면 영상이 매끄럽고 명령어와 잘 맞습니다.

BANSA 점수는 바로 이 '혼란스러움'을 수치화한 것입니다.

• 점수가 높을수록 = AI 가 헷갈려함 (나쁜 시작점)
• 점수가 낮을수록 = AI 가 확신함 (좋은 시작점)

이 논문은 **"BANSA 점수가 가장 낮은 (AI 가 가장 확신하는) 시작점"**을 골라내서 영상을 만들게 합니다.

🚀 왜 이 방법이 특별한가요?

기존의 다른 방법들은 바깥에서 규칙을 정해줬습니다.

• "저주파수 성분을 유지해라", "프레임 사이의 움직임을 부드럽게 해라" 같은 외부 규칙을 적용했습니다.
• 하지만 이 방법은 AI 가 스스로 느끼는 '불안감'을 이용합니다. 마치 요리사가 "내 손맛을 믿고 이 재료를 써야겠다"라고 판단하는 것과 같습니다.

또한, 시간과 비용을 거의 들이지 않습니다.

• 다른 방법들은 영상을 다 만들어보고 다시 수정하거나, 여러 번 다시 그리는 데 시간이 많이 걸렸습니다.
• 하지만 이 방법은 영상을 그리는 첫 단계에서, AI 가 아주 잠깐 (한 번만) 집중력을 측정해서 좋은 시작점을 골라냅니다. 그 후엔 기존 AI 가 평소 하던 대로 영상을 그리기만 하면 됩니다.

💡 요약: "운이 아니라, 지능으로 시작하자"

이 연구는 비디오 생성 AI 에게 **"무작위로 시작하지 말고, 내가 가장 잘할 수 있는 시작점을 선택해라"**라고 가르친 것입니다.

• 기존: 주사위를 던져서 운에 맡김.
• 이 연구 (ANSE): AI 가 "이 시작점이 가장 확실해!"라고 판단해서 선택.

그 결과, 더 선명하고, 명령어에 더 잘 맞으며, 흔들림 없는 고품질 비디오를 훨씬 적은 비용으로 만들어낼 수 있게 되었습니다. 마치 운 좋은 요리사가 아니라, 실력 있는 요리사가 최고의 재료를 골라 요리를 하는 것과 같은 효과입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 초기 노이즈의 중요성: 비디오 확산 모델 (Video Diffusion Models) 에서 동일한 프롬프트라도 초기 노이즈 시드 (Noise Seed) 에 따라 생성되는 비디오의 품질, 일관성, 프롬프트 정합성이 극적으로 달라질 수 있습니다.
• 기존 방법의 한계: 최근 연구들 (PYoCo, FreeNoise, FreeInit, FreqPrior 등) 은 외부에서 설계된 사전 지식 (Prior) 을 활용하여 노이즈를 조정하거나 주파수 필터링, 프레임 간 스무딩 등을 수행합니다.
  • 문제점: 이러한 방법들은 모델 내부의 신호를 무시하고, 외부 사전 지식에 의존하며, 종종 전체 확산 과정을 반복해야 하므로 추론 비용 (Inference Cost) 이 매우 높습니다.
• 핵심 질문: 모델이 이미 "가장 좋은 노이즈"를 인지할 수 있는 내부 신호를 활용하여, 재학습 없이 효율적으로 고품질 노이즈 시드를 선택할 수 있을까요?

2. 제안 방법 (Methodology)

저자들은 **ANSE (Active Noise Selection for Generation)**라는 프레임워크를 제안하며, 이는 모델의 불확실성 (Uncertainty) 을 기반으로 고품질 노이즈 시드를 선택합니다.

A. 핵심 메커니즘: BANSA (Bayesian Active Noise Selection via Attention)

• 개념: 분류 작업에서의 베이지안 액티브 러닝 (BALD) 원리를 생성 모델의 어텐션 (Attention) 공간에 적용합니다.
• 작동 원리:
  1. 여러 개의 확률적 어텐션 샘플 (Stochastic Attention Samples) 을 생성합니다.
  2. 각 샘플 간의 **엔트로피 불일치 (Entropy Disagreement)**를 측정합니다.
  3. BANSA 점수는 다음과 같이 정의됩니다:
     $$\text{BANSA} = H(\text{평균 어텐션 맵}) - \text{평균}(\text{개별 어텐션 맵의 엔트로피})$$
     • 여기서 $H$는 섀넌 엔트로피 (Shannon Entropy) 입니다.
  4. 해석: 낮은 BANSA 점수는 모델이 특정 노이즈 시드 하에서 어텐션 패턴이 일관되고 (Consistent), 확신 (Confident) 이 있는 상태를 의미합니다. 이는 더 나은 비디오 생성과 상관관계가 있습니다.

B. 효율적인 추론을 위한 최적화

• 베르누이 마스크 근사 (Bernoulli-masked Approximation):
  • 여러 번의 완전한 순전파 (Forward Pass) 를 수행하는 대신, 단일 순전파 과정에서 어텐션 맵에 베르누이 마스크를 적용하여 $K$개의 확률적 샘플을 생성합니다. 이를 통해 계산 비용을 크게 줄입니다.
• 레이어 선택 (Layer Selection via Correlation):
  • 모든 어텐션 레이어를 계산하는 것은 비효율적입니다. 저자들은 누적 BANSA 점수와 전체 레이어 점수 간의 상관관계가 높은 최소 깊이 ($d^*$) 를 찾습니다.
  • 실험 결과, 초기 단계의 일부 레이어만으로도 전체 레이어의 불확실성을 정확히 추정할 수 있음이 입증되었습니다.

C. 전체 파이프라인 (ANSE)

1. 텍스트 프롬프트와 초기 노이즈 풀 (Noise Pool) 을 입력받습니다.
2. 각 노이즈 시드 대해 베르누이 마스크를 적용한 어텐션 맵을 통해 BANSA 점수를 계산합니다.
3. 가장 낮은 BANSA 점수를 가진 시드를 선택하여 비디오 생성에 사용합니다.
4. 이후의 디노이싱 과정은 기존 모델과 동일하게 진행됩니다.

3. 주요 기여 (Key Contributions)

1. ANSE 프레임워크: 비디오 확산 모델을 위한 최초의 베이지안 불확실성 기반 능동 노이즈 선택 프레임워크를 제시했습니다.
2. BANSA acquisition function: 재학습 없이 모델의 내부 어텐션 신호를 활용하여 노이즈 시드의 품질을 예측하는 새로운 척도를 개발했습니다.
3. 효율성과 일반화: 다양한 T2V 백본 (AnimateDiff, CogVideoX, Wan2.1, HunyuanVideo) 에서 비디오 품질과 시간적 일관성을 향상시키면서, 추론 오버헤드를 최소화했습니다.

4. 실험 결과 (Results)

• 정량적 평가 (VBench):
  • AnimateDiff, CogVideoX-2B/5B, HunyuanVideo, Wan2.1 등 다양한 모델에서 Quality Score, Semantic Score, Total Score가 모두 향상되었습니다.
  • 기존 주파수 기반 방법 (FreqPrior) 보다 더 높은 성능을 보였으며, FreqPrior 와 병합 시에도 추가적인 향상을 이루었습니다.
  • 추론 시간: 기존 방법들이 100% 이상의 시간 증가를 보인 반면, ANSE 는 약 10~15% 정도의 미미한 오버헤드만 발생시켰습니다.
• 정성적 평가:
  • 프롬프트 정합성 (Text Alignment), 모션의 자연스러움, 시각적 선명도가 개선되었습니다.
  • BANSA 점수가 낮은 시드로 생성된 비디오는 구조적 결함이 적고 시간적 일관성이 높았습니다.
• 사용자 연구:
  • 인간 평가자들이 ANSE 를 적용한 비디오를 기저 모델 (Vanilla) 보다 일관되게 선호했습니다 (전체 품질 및 프롬프트 정합성).
• 분석 결과:
  • 낮은 BANSA 점수는 잠재 공간 (Latent Space) 의 더 안정적인 궤적과 더 풍부한 표현력을 보였습니다.
  • 높은 BANSA 점수 (불확실성이 큰 시드) 를 선택하는 실험에서는 품질이 저하되어, 선택 기준의 유효성이 입증되었습니다.

5. 의의 및 결론 (Significance)

• 모델 내적 신호의 활용: 외부 사전 지식이나 복잡한 후처리 없이, 모델 자체가 가진 불확실성 신호를 활용하여 최적의 초기 조건을 찾는 새로운 패러다임을 제시했습니다.
• 인퍼런스 스케일링 (Inference-time Scaling): 모델 구조를 변경하거나 학습을 추가하지 않고, 추론 단계에서의 지능적인 시드 선택을 통해 생성 품질을 극대화합니다.
• 실용성: 계산 비용 증가가 적고 다양한 최신 비디오 생성 모델에 플러그 - 앤 - 플레이 (Plug-and-Play) 방식으로 적용 가능하여 실제 응용에 매우 유용합니다.

이 논문은 비디오 생성 모델의 품질 향상을 위해 "어떤 노이즈를 선택할 것인가"라는 근본적인 질문에 대해, 모델의 어텐션 메커니즘을 통해 불확실성을 정량화하고 해결책을 제시했다는 점에서 의의가 큽니다.