Which Way Does Time Flow? A Psychophysics-Grounded Evaluation for Vision-Language Models

1. 연구 배경 및 문제 제기 (Problem)

최근 비전 - 언어 모델 (VLMs) 은 비디오 캡셔닝, 검색, 질문 응답 등 다양한 멀티모달 작업에서 뛰어난 성능을 보이고 있습니다. 그러나 이러한 모델들이 인간이 물리적 세계를 해석하는 데 의존하는 암묵적인 물리적 및 인과적 가정 (인덕티브 바이어스), 특히 **'시간의 화살 (Arrow of Time, AoT)'**을 이해하고 있는지 여부는 명확히 평가되지 않았습니다.

• 핵심 문제: VLM 이 단순히 시각적 상관관계 (visual correlations) 만 학습했는지, 아니면 중력, 엔트로피, 인과율과 같은 물리 법칙에 기반하여 시간의 방향성 (정방향/역재생) 을 추론할 수 있는지 확인해야 합니다.
• 현재 한계: 기존 시간 추론 벤치마크는 인간 성능을 기준으로 한 심리물리학적 검증이 부족하거나, 단순히 비디오를 역재생한 데이터만 사용하여 모호한 사례가 포함되는 문제가 있었습니다.

2. 방법론 (Methodology)

2.1. 제안된 벤치마크: AoT-PsyPhyBENCH

저자들은 인간과 직접 비교 가능한 새로운 벤치마크인 AoT-PsyPhyBENCH를 제안했습니다.

• 기반 데이터: Hanyu et al. (2023) 의 심리물리학 연구 데이터를 기반으로 합니다.
• 데이터 구성: 일상적인 활동 (Moments in Time 데이터셋) 에서 추출된 3 초 길이의 비디오 클립 212 개 (정방향/역방향 포함 총 424 개) 를 사용합니다.
• 필터링 기준: 인간의 판단이 명확한 5 가지 카테고리 (Proceed, Fall, Diffusion, Division, Put) 만 포함하고, 양방향으로 모두 자연스러워 보이는 '상호 운동 (Reciprocal motion)' 카테고리는 제외하여 모호성을 제거했습니다.
  • Fall (자유 낙하), Diffusion (확산/폭발): 중력과 엔트로피에 의해 비가역적인 과정.
  • Division/Put (분할/추가): 에이전트에 의한 인과적 서열.
• 평가 지표: 전체 정확도 (Accuracy) 와 정방향 (Forward)/역방향 (Backward) 별 F1 점수를 사용하여 모델의 편향 (Bias) 을 분석합니다.

2.2. 실험 설정

다양한 유형의 VLM 을 평가 대상으로 선정했습니다.

• 모델 분류:
  • 소유형 (Proprietary): GPT-4o, GPT-4.1, o3, o4-mini, GPT-5, Gemini-2.5-Pro 등.
  • 오픈 가중치 (Open-weight): Qwen2-VL, Qwen2.5-VL, Cosmos-Reason1, QVQ-72B 등.
  • 추론 유무: 추론 모델 (Chain-of-Thought 등) 과 비추론 모델 비교.
• 실험 조건:
  1. Zero-shot: 기본 프롬프트로 평가.
  2. Few-shot: 정방향/역방향 예시 2~4 개 포함.
  3. Reasoning Effort Ablation: 추론 모델의 '추론 노력 (Reasoning Effort)' 파라미터 조절 및 Chain-of-Thought (CoT) 프롬프팅 적용.
  4. Supervised Fine-Tuning (SFT): 시간 방향 레이블이 있는 데이터 (1,000~5,000 개) 로 미세 조정.
  5. FPS Ablation: 프레임 레이트 (2~30 FPS) 변화에 따른 성능 분석.

3. 주요 결과 (Key Results)

3.1. 인간 vs 모델 성능 격차

• 인간: AoT-PsyPhyBENCH 에서 **89.2%**의 높은 정확도를 보이며, 특히 비가역적 과정 (낙하, 폭발 등) 에서 거의 완벽하게 역재생을 감지했습니다.
• VLM 성능: 모든 모델이 인간보다 현저히 낮은 성능을 보였습니다.
  • 가장 성능이 좋았던 모델 (GPT-4.1) 도 **60.1%**의 정확도에 그쳤으며, 인간 대비 약 29% 포인트의 격차가 존재했습니다.
  • 대부분의 오픈 모델은 무작위 추측 (50%) 수준에 머물렀습니다.

3.2. 추론 능력의 부재

• 추론 모델의 한계: 추론 기능 (CoT, o3/o4-mini 등) 을 가진 모델이 비추론 모델보다 우월하지 않았습니다. 오히려 GPT-4.1(비추론) 이 GPT-5(추론) 보다 성능이 좋았습니다.
• 추론 노력 증가의 역효과: 추론 노력 (Reasoning Effort) 을 높이거나 CoT 를 적용하면 성능이 개선되지 않고, 오히려 **정방향 편향 (Forward Bias)**이 심화되는 경향이 있었습니다. 모델은 역재생된 비디오를 보더라도 "물리 법칙을 위반하지 않는다"고 잘못 추론하여 정방향이라고 결론 내렸습니다.

3.3. 편향 (Bias) 문제

• 정방향 편향: 대부분의 모델이 역재생 비디오를 정방향으로 잘못 분류하는 경향이 강했습니다 (예: GPT-4o 는 87% 를 정방향으로 예측).
• 역방향 편향: Cosmos-Reason1 은 역재생 데이터로 강화학습을 받아 역방향 편향을 보였으나, 전체적인 물리 이해도는 여전히 부족했습니다.

3.4. SFT 및 프레임 레이트 분석

• SFT 실패: 시간 방향 레이블로 미세 조정 (SFT) 을 수행했으나, 정확도는 여전히 무작위 수준 (~50%) 에 머물렀습니다. 편향은 줄어들었으나 실제 과업 수행 능력은 향상되지 않았습니다.
• 프레임 레이트: 프레임 수를 늘려도 (30 FPS) 성능은 미미하게만 개선되었으며, 이는 모델이 시간적 정보 부족이 아닌 물리적 인과 관계 이해의 부재가 문제임을 시사합니다.

4. 주요 기여 (Key Contributions)

1. 포괄적 평가: 제로샷, 퓨샷, CoT, SFT 등 다양한 설정에서 현대 VLM 들의 시간 추론 능력을 체계적으로 평가한 최초의 연구입니다.
2. 심리물리학 기반 벤치마크 (AoT-PsyPhyBENCH): 인간의 행동 기준 (Behavioral Baseline) 과 명확한 물리 법칙 위반 사례를 포함하여, 모델과 인간의 성능을 직접 비교할 수 있는 신뢰할 수 있는 벤치마크를 구축했습니다.
3. 오픈 리소스: 벤치마크 데이터, 평가 스크립트, 모델 출력을 공개하여 VLM 의 물리적 및 시간적 추론 능력 향상을 위한 연구 기반을 마련했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 현재 VLM 이 풍부한 시각 - 의미적 상관관계 (Visual-Semantic Correlations) 는 학습했지만, 시간의 연속성, 인과성, 물리적 비가역성에 대한 인덕티브 바이어스 (Inductive Biases) 가 결여되어 있음을 명확히 증명했습니다.

• 핵심 통찰: 모델이 단순히 데이터 패턴을 통계적으로 맞추는 것을 넘어, 인간처럼 물리 세계의 기본 법칙을 내재화 (Internalize) 하기 위해서는 데이터 양이나 추론 깊이의 문제가 아니라, 근본적인 물리 이해 메커니즘의 재설계가 필요함을 시사합니다.
• 향후 방향: 단순한 멀티모달 인식에서 벗어나, 실제 물리 세계와 상호작용하는 능력을 갖춘 진정한 지능형 시스템 개발을 위한 중요한 이정표가 될 것입니다.