🤖 AI

PAS: A Training-Free Stabilizer for Temporal Encoding in Video LLMs

이 논문은 비디오 LLM 의 시간적 일관성 문제를 해결하기 위해 학습 없이 적용 가능한 '위상 집계 평활화 (PAS)'라는 간단한 메커니즘을 제안하여, 멀티모달 RoPE 로 인한 시간적 불안정성을 완화하고 어텐션의 안정성을 향상시킵니다.

원저자: Bowen Sun, Yujun Cai, Ming-Hsuan Yang, Hang Wu, Yiwei Wang

게시일 2026-03-17

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bowen Sun, Yujun Cai, Ming-Hsuan Yang, Hang Wu, Yiwei Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🎬 1. 문제: "비디오를 볼 때, AI 가 왜 자꾸 깜빡일까?"

비디오 AI 는 영화나 영상을 볼 때, 화면이 움직이는 순간순간의 흐름을 파악해야 합니다. 하지만 기존 기술 (M-RoPE 라는 것) 을 쓰면, 매우 미세한 타이밍 차이 때문에 AI 가 엉뚱한 장면에 집중하거나 중요한 장면을 놓치는 일이 생깁니다.

🌊 비유: "물결 치는 소리"
생각해 보세요. AI 가 비디오를 볼 때, 각 프레임 (화면) 에는 마치 물결 (파동) 같은 신호가 씌워져 있습니다.

기존 방식의 문제: 이 물결이 너무 거칠고 불규칙하게 요동칩니다. (리플 현상)
결과: AI 가 "새가 날아오른 순간"을 보려고 할 때, 그 순간이 물결의 **가장 낮은 골짜기 (약한 신호)**에 딱 걸리면, AI 는 "아, 이건 중요하지 않아"라고 잘못 판단하고 무시해버립니다. 반면, 새가 날지 않은 아무 의미 없는 순간이 물결의 가장 높은 파도에 걸리면, AI 는 그걸 중요하게 여겨버립니다.
핵심: AI 가 진짜 내용 (새가 날았다) 보다는, 우연히 그 순간에 물결이 어떻게 생겼는지에 따라 판단을 흔들리는 것입니다.

💡 2. 해결책: PAS (Phase Aggregated Smoothing)

저자들은 이 문제를 해결하기 위해 **"여러 개의 시선을 합쳐보자"**는 아이디어를 냈습니다. 이것이 바로 PAS입니다.

👓 비유: "여러 안경을 쓴 팀"
기존 AI 는 하나의 안경만 써서 세상을 봅니다. 그 안경이 낡아서 시야가 흔들리면, 모든 게 흔들려 보입니다.
PAS 는 이 AI 에게 여러 개의 안경을 씌워줍니다.

작은 시간 차이를 줌: 각 안경 (Attention Head) 마다 아주 미세하게 다른 시간 (예: 0.5 초 차이) 을 기준으로 세상을 봅니다.
서로 다른 시점: 한 안경은 "새가 날기 직전"을 보고, 다른 안경은 "새가 날고 있는 순간"을 봅니다.
합치기 (Smoothing): 이 여러 안경의 시야를 한데 모아서 평균을 냅니다.

🎨 효과:

개별 안경은 여전히 원래의 선명한 색감 (스펙트럼) 을 유지합니다. (기존 지식을 잃지 않음)
하지만 여러 안경을 합치면, 물결의 요동치는 부분들이 서로 상쇄되어 사라집니다.
결과적으로 AI 는 부드럽고 안정적인 시야를 갖게 되어, "새가 날았다"는 사실에만 집중하게 됩니다.

🛠️ 3. PAS 의 놀라운 특징들

이 방법이 왜 특별한지 세 가지로 정리해 드릴게요.

학습이 필요 없습니다 (Training-Free):
- AI 를 다시 가르치거나 (학습), 데이터를 더 모을 필요가 없습니다.
- 마치 플러그인처럼 기존 AI 에 바로 꽂아만 쓰면 됩니다.
- 비유: 스마트폰에 새로운 필터를 입히듯, 기존 앱은 그대로 두고 성능만 업그레이드하는 것과 같습니다.
계산 비용이 거의 들지 않습니다:
- 복잡한 계산을 추가하지 않아서, AI 가 영상을 처리하는 속도가 거의 변하지 않습니다.
- 비유: 요리할 때 레시피를 바꿀 필요 없이, 마지막에 소금 한 꼬집만 추가하는 것과 같습니다.
어떤 상황에서도 잘 작동합니다:
- 프레임 수가 적거나 (저화질), 프레임이 건너뛰어지는 상황에서도 AI 가 덜 흔들립니다.
- 비유: 비가 오는 날에도, 맑은 날에도 똑똑하게 길을 찾아주는 내비게이션처럼 안정적입니다.

📊 4. 실험 결과: 실제로 효과가 있을까요?

저자들은 다양한 비디오 이해 테스트 (액션 인식, 장면 이해 등) 에서 PAS 를 적용해 보았습니다.

결과: 기존 AI 보다 일관적으로 성능이 향상되었습니다.
특이점: 프레임 수가 적을수록 (데이터가 부족할수록) PAS 의 효과가 더 컸습니다. 이는 "물결이 거칠수록 여러 시선을 합치는 것이 더 도움이 된다"는 이론과 정확히 일치합니다.

🏁 결론: "불안정한 AI 를 위한 안정장치"

이 논문은 비디오 AI 가 시간의 흐름을 읽는 방식에 숨겨진 결함을 발견하고, 여러 개의 시선을 합쳐 부드럽게 만드는 (PAS) 간단한 해결책을 제시했습니다.

한 줄 요약:

"AI 가 비디오를 볼 때, 한 번에 여러 시점으로 보게 해서 흔들림을 없애주니, 더 똑똑하고 안정적으로 영상을 이해하게 되었습니다!"

이 기술은 별도의 학습 없이도 바로 적용 가능하므로, 앞으로 나올 더 강력한 비디오 AI 들의 기본 기능으로 자리 잡을 것으로 기대됩니다.

1. 문제 제기 (Problem)

비디오 대규모 언어 모델 (Video LLMs) 은 시간적 일관성 (temporal inconsistency) 문제로 고통받고 있습니다. 특히, 프레임 타이밍의 미세한 변화가 어텐션 (attention) 메커니즘을 뒤집어 중요한 프레임을 억제하는 현상이 발생합니다.

근본 원인: 비디오 LLM 에서 널리 사용되는 **멀티모달 Rotary Position Embeddings (M-RoPE)**의 시간 축 확장 방식에 기인합니다.
Fourier 분석 관점: M-RoPE 는 시간 축에 유한한 주파수 선 (frequency lines) 을 할당합니다. 이로 인해 생성되는 역푸리에 변환 (IFT) 시간 도메인 커널 $m(t)$ 는 프레임 스케일에서 **진동 (ripples)**을 갖게 됩니다.
부작용: 이 진동은 인접한 프레임에 서로 다른 증폭/감쇠 인자를 적용하게 되어, 핵심 프레임 (Key Frame) 이 진동의 낮은 이득 구간 (trough) 에 위치할 경우 어텐션이 과도하게 억제되거나 무시됩니다. 이는 콘텐츠의 유사도보다는 우연적인 타이밍에 의해 어텐션 분포가 결정되는 불안정성을 초래합니다.

2. 방법론 (Methodology)

저자들은 **Phase Aggregated Smoothing (PAS)**이라는 새로운 메커니즘을 제안했습니다. 이는 학습이 필요 없는 (training-free) 추론 시 플러그인 방식입니다.

핵심 아이디어: M-RoPE 가 생성하는 시간 도메인 파형의 고주파 진동을 완화하기 위해, 어텐션 헤드 (attention heads) 간에 작고 반대 방향의 위상 오프셋 (phase offsets) 을 부여한 후 그 출력을 집계 (aggregate) 합니다.
구동 원리:
1. 위상 오프셋 적용: 모든 헤드가 동일한 프레임 토큰을 보지만, 쿼리 (Query) 스트림에만 헤드가 특정 시간 오프셋 ( $\delta_h$ ) 을 적용받도록 합니다.
2. 스펙트럼 보존: 시간 이동은 주파수 도메인에서 위상만 변화시키므로, 각 헤드의 스펙트럼 크기 (magnitude) 는 원래대로 유지됩니다.
3. 집계를 통한 평활화 (Smoothing): 서로 다른 위상을 가진 여러 헤드의 출력을 평균화하면, 시간 도메인에서 제어된 이동 평균 (controlled moving average) 효과가 발생합니다. 이는 IFT 커널의 고주파 진동을 감쇠시키고 전체적인 시간 변조 (modulation) 를 매끄럽게 만듭니다.
이론적 기반:
- 정리 1 (Phase Modulation): RoPE 회전 로짓은 콘텐츠 내적곱에 시간 커널 $Re\{m(t)\}$ 를 곱한 것으로 근사됩니다.
- 정리 2 (Lipschitz Stability): IFT 파형이 매끄러울수록 (기울기가 작을수록), 시간적 섭동에 대한 어텐션 로짓의 변화가 선형적으로 제한되어 안정성이 확보됩니다.
- 정리 3 (Multi-Phase Averaging): 여러 위상 오프셋을 가진 헤드를 집계하면 국소적인 시간 변동이 감소하고 고주파 진동이 감쇠됩니다.
- 정리 4 (Spectrum Invariance): 나이퀴스트 (Nyquist) 조건을 만족하는 샘플링 하에서, 각 헤드가 복원하는 스펙트럼 크기는 시간 오프셋에 불변입니다. 즉, 인코딩되는 내용은 변하지 않고 변조가 샘플링되는 방식만 바뀝니다.

3. 주요 기여 (Key Contributions)

문제 규명 및 형식화: 텍스트 중심 RoPE 를 비디오 시간 축에 적용할 때 발생하는 본질적인 한계 (프레임 스케일의 진동으로 인한 어텐션 불안정성) 를 푸리에 분석을 통해 규명하고 수학적으로 형식화했습니다.
PAS 메커니즘 제안: 학습 없이 적용 가능한 플러그인 방식인 PAS 를 고안했습니다. 이는 어텐션 헤드에 반대 위상 오프셋을 부여하여 시간 변조를 평활화하면서도 각 헤드의 스펙트럼 특성을 보존합니다.
이론 및 실증적 검증: 샘플링 속도와 M-RoPE 시간 스펙트럼 간의 관계를 이론적으로 분석하고, 다양한 벤치마크에서 샘플링 속도가 낮을수록 (희소 샘플링) PAS 의 효과가 크다는 것을 실험적으로 입증했습니다.

4. 실험 결과 (Results)

저자들은 9 개의 벤치마크 (Action Recognition 및 General Video-LLM suites) 에서 PAS 의 성능을 평가했습니다.

성능 향상: 토큰 예산을 동일하게 유지한 조건에서, PAS 는 기존 백본 (Qwen2.5-VL 등) 과 다른 학습 없는 기법 (SlowFast-LLaVA, TS-LLaVA) 보다 일관되게 성능을 향상시켰습니다.
- Action Recognition: 20BN-Jester, Something-Something V2, Kinetics-700 등에서 단일 모델 기준 최고 성능을 기록했습니다.
- General Video-LLM: MVBench, TempCompass, PerceptionTest 등에서도 성능이 개선되었습니다.
누적 효과: PAS 를 다른 기법 (SlowFast-LLaVA 등) 위에 쌓아 (stacking) 사용했을 때 추가적인 성능 향상을 보였습니다.
파라미터 민감도: 시간 오프셋 ( $\Delta$ ) 파라미터에 대해 넓은 성능 평탄구 (plateau) 를 보이며, 특히 $\Delta \approx 0.5$ (bin 단위) 일 때 다양한 데이터셋에서 안정적인 성능을 발휘했습니다.
샘플링 비율 영향: 샘플링 비율이 낮을수록 (희소 샘플링) PAS 의 이득이 컸고, 샘플링이 밀집될수록 이득이 감소하여 이론적 예측과 일치했습니다.
계산 비용: 어텐션 헤드의 쿼리 부분에만 적용되므로 계산 오버헤드는 무시할 수 있을 정도로 작으며 (negligible), 추론 속도에 유의미한 영향을 주지 않았습니다.

5. 의의 및 결론 (Significance)

이 논문은 Video LLM 의 시간적 인코딩 불안정성을 주파수 도메인의 진동 현상으로 해석하고, 이를 위상 평균화를 통해 해결하는 새로운 패러다임을 제시했습니다.

실용성: 추가적인 학습이나 모델 구조 변경 없이, 추론 시에만 적용 가능한 경량화된 솔루션을 제공합니다.
안정성: 낮은 프레임 레이트 (Low-FPS) 나 프레임 병합 (Frame Merging) 환경에서도 강건한 시간적 인코딩을 가능하게 하여, 비디오 이해 모델의 신뢰성을 높입니다.
이론적 통찰: 시간적 변조가 콘텐츠 유사도보다 타이밍에 의해 좌우되는 현상을 수학적으로 증명하고, 이를 완화하는 방법론을 제시함으로써 향후 비디오 모델 설계에 중요한 지침을 제공합니다.

요약하자면, PAS는 비디오 LLM 이 시간적 미세 변화에 민감하게 반응하는 근본 원인을 해결하여, 더 안정적이고 정확한 비디오 이해를 가능하게 하는 학습 불필요 (Training-Free) 인 안정화 장치입니다.