기술 요약: 사전 지식에서 지각까지: 물리적 현실에 기반한 비디오-LLM

1. 문제 제기

비디오 대규모 언어 모델 (Video-LLM) 은 일반적인 비디오 이해 능력에서 숙련도를 보이지만, 세밀한 물리적 추론에서는 체계적이고 심각한 결함을 드러냅니다. 최첨단 (SOTA) 모델들은 물체 공중 부양이나 강체 침투와 같은 명백한 물리 법칙 위반을 식별하지 못하며, 더 나아가 시각적 사실이 통계적 기대와 모순되는 반직관적 시나리오 (예: 도미노 세트를 놓치는 공) 에서 실패합니다.

추론 시간 디코딩, 강화 학습, 또는 명시적 추적기나 신경 ODE 통합과 같은 침습적 아키텍처 수정과 같은 기존 개입들은 일반화 능력의 한계, 높은 계산 오버헤드, 또는 근본 원인을 해결하지 못한다는 단점을 안고 있습니다. 또한, 현재 평가 데이터셋은 종종 생성형 비디오 모델에서 자연스러운 실패를 포착하는 데 의존합니다. 이러한 패러다임은 질감 깜빡임이나 물체 용해와 같은 저수준 시각적 아티팩트를 실제 물리적 오류와 혼동하게 만들어, 모델들을 엄격한 물리적 추론가가 아닌 '단축키 기반 아티팩트 탐지기'로 퇴보시킵니다.

저자들은 이러한 실패가 지각이나 지식의 부족에서 비롯된 것이 아니라 **의미적 사전 지식의 지배 (Semantic Prior Dominance)**에서 기인한다고 규명했습니다. 추론 메커니즘이 내부 서사 스크립트와 통계적 사전 지식에 의해 장악되어, 모델이 객관적인 시각적 증거를 주관적인 기대치로 덮어쓰게 됩니다. 반물리 시나리오에서는 모델이 이상을 합리화하기 위해 보이지 않는 힘을 조작해 내며, 반직관적 시나리오에서는 명확한 시각적 공백에도 불구하고 기대되는 결과를 환각합니다.

2. 방법론

침습적 아키텍처 변경 없이 의미적 사전 지식의 지배를 해결하기 위해, 저자들은 고정밀 데이터셋과 새로운 추론 메커니즘으로 구성된 통합 프레임워크를 제안합니다.

2.1 프로그래밍적 적대적 커리큘럼 (PACC)

PACC 는 물리 법칙에 기반하여 합성된 최초의 고정밀 적대적 비디오 데이터셋으로, 시각적 아티팩트를 논리적 오류와 엄격하게 분리하도록 설계되었습니다.

• 구축: 인간 - 루프 (HITL) 파이프라인을 활용하여 PACC 는 발달 심리학과 직관적 물리 벤치마크에서 파생된 여덟 가지 세밀한 차원에 걸쳐 쌍을 이루는 적대적 비디오 (사실적 긍정과 조작된 부정) 를 합성합니다.
• 분류 체계: 데이터셋은 두 가지 스트림을 다룹니다.
  1. 반물리 (Anti-Physics) 스트림: 시간적 일관성 위반, 인과 관계 반전 (시간), 존재/정체성 위반 (영속성), 동적/구속 위반 (상호작용) 과 같은 객관적 법칙 위반을 통해 합리화 오류를 대상으로 합니다.
  2. 반직관 (Counter-Intuitive) 스트림: 예상되는 사건이 발생하지 않는 스테레오타입 오류 (예: 근접 실수, 결과 정지) 를 대상으로 합니다.
• 품질 관리: 이전 데이터셋과 달리 PACC 는 물리적으로 무효성을 강제하면서도 시각적 완전성을 보장하여, 모델이 생성형 아티팩트를 단축키로 악용하는 것을 방지합니다.

2.2 시각 기반 추론 체인 (VARC)

VARC 는 모델이 논리적 판단 전에 저수준 시각적 사실에 판단을 근거하도록 강제하는 메커니즘입니다. 이는 추론 과정을 지향성 마르코프 체인으로 재형성합니다.

1. 강제 관찰: 모델은 조기 주관적 판단 없이 저수준 공간 관계와 상태 변화 (예: "공간적 간격") 를 명시적으로 기술해야 합니다.
2. 인과 귀인: 객관적 관찰을 조건으로 하여 모델은 물리 지식 베이스를 쿼리하여 충돌 (예: 열역학적 불가능성 인식) 을 탐지합니다.
3. 증거 기반 판결: 최종 판단은 선행 관찰 및 귀인 노드에 의해 엄격히 제약됩니다.

2.3 학습 전략: PhyAR

저자들은 PACC 데이터셋에서 표준 LoRA 를 사용하여 미세 조정된 PhyAR(물리 기반 추론기) 를 소개합니다.

• 쌍별 기울기 억제: 학습 중 긍정 및 부정 비디오 쌍이 공동 최적화됩니다. 이는 배경, 조명과 같은 공유 시각적 의미에 대해 기울기 억제를 유도하여, 모델이 정적 시각 분포가 아닌 핵심 물리적 불일치에 엄격하게 수렴하도록 강제합니다.
• 아키텍처: 비전 인코더는 고정되며, LoRA 는 비전 프로젝터와 LLM 백본에만 적용되어 아키텍처에 구애받지 않는 경량 솔루션을 보장합니다.

3. 주요 기여

1. 통합 귀인 이론: 이 논문은 이중 실패 (반물리 및 반직관) 가 내부 서사 스크립트가 추론 메커니즘을 장악하여 객관적 시각적 증거를 무효화하는 의미적 사전 지식 지배의 발현이라고 제안합니다.
2. 프로그래밍적 적대적 커리큘럼 (PACC): 생성형 아티팩트를 실제 물리적 오류와 분리하는 758 개의 고정밀 적대적 비디오 쌍으로 구성된 새로운 데이터셋으로, 엄격한 진단 벤치마크를 제공합니다.
3. 시각 기반 추론 체인 (VARC): 명시적 시각 근거를 강제함으로써 사전 지식 장악을 기계적으로 차단하는 추론 프레임워크입니다.
4. 실증적 검증: PACC 와 VARC 를 통한 표준 LoRA 미세 조정이 SOTA 모델에서 사전 지식 간섭을 효과적으로 중화시켜, 아키텍처 수정 없이 물리적 추론에서 상당한 도약을 이룸을 입증했습니다.

4. 실험 결과

실험은 PACC 테스트 세트 (154 개의 비디오 쌍) 에서 SOTA 독점 (GPT-4o, Gemini 2.5 Flash) 및 오픈소스 비디오-LLM 을 대상으로 수행되었습니다.

• 쌍별 일관성 정확도 (PCA): PhyAR 는 평균 PCA **41.56%**를 달성하여 모든 베이스라인을 크게 능가했습니다. 특히 GPT-4o 와 같은 독점 모델은 38.31% 를 기록한 반면, 더 작은 오픈소스 모델들은 심각한 의미적 관성과 '예스 편향'으로 인해 거의 제로에 가까운 성능 (예: Video-ChatGPT-7B 의 0.65%) 으로 무너졌습니다.
• 추론 정렬 점수 (RAS): PhyAR 는 1-5 척도에서 평균 RAS 2.036을 달성하여 오픈소스 베이스라인 (1.0 부근에 정체됨) 을 능가하고 독점 모델 성능에 근접했습니다. 특히 PhyAR 는 반직관 카테고리에서 모든 베이스라인을 능가하여 통계적 사전 지식에 저항하는 능력을 입증했습니다.
• 의미적 사전 편향 (RPB): 상대적 사전 편향 지표는 기본 모델 (VideoLLaMA3) 의 **79.1%**에서 PhyAR 의 **24.9%**로 감소하여 사전 지식 의존성 억제를 확인했습니다.
• 절대 연구: VARC 를 제거하면 PCA 가 28.57% 로 떨어졌고, 쌍별 최적화를 제거하면 29.22% 로 떨어져 시각 근거와 쌍별 기울기 억제가 모두 의미적 사전 지식을 극복하는 데 필수적임을 검증했습니다.

5. 의의 및 주장

이 논문은 비디오-LLM 이 물리적 추론에 접근하는 방식에 근본적인 전환을 제공한다고 주장합니다. 이러한 모델들이 지각 결핍이 아닌 의미적 사전 지식의 지배로 고통받고 있음을 드러냄으로써, 더 많은 데이터나 더 큰 모델만으로는 물리적 추론 격차를 해결할 수 없다는 지배적인 관념에 도전합니다.

의의는 진정한 물리적 추론이 다음을 통해 달성될 수 있음을 입증한 데 있습니다.

1. 아티팩트와 논리의 분리: PACC 를 사용하여 생성 노이즈가 아닌 순수 물리적 오류로 모델을 학습시킵니다.
2. 시각 근거 강제: VARC 를 사용하여 모델이 '생각'하기 전에 '보게' 함으로써 서사 스크립트에 대한 단축키 기반 의존성을 해체합니다.

저자들은 이 작업을 신뢰할 수 있는 세계 모델과 구체적 AI 를 향한 필수적인 단계로 위치시키며, 물리적 추론 병목 현상을 깨는 것이 안전한 현실 세계 상호작용에 필요하다고 주장합니다. 그들은 현재 PACC 가 엄격한 인간 - 루프 검증 프로세스로 인해 규모 (758 쌍) 가 제한적임을 인정하며, 양보다 충실도를 우선시한다고 밝히지만, 향후 자동화 합성을 통해 더 넓은 확장성을 모색할 수 있음을 제안합니다.