Beyond Static Vision: Scene Dynamic Field Unlocks Intuitive Physics Understanding in Multi-modal Large Language Models

1. 문제 정의 (Problem Definition)

• 배경: 멀티모달 대형 언어 모델 (MLLMs) 은 이미지 및 비디오 이해 분야에서 괄목할 만한 성과를 보였으나, 실제 세계의 **직관적 물리 (Intuitive Physics)**를 이해하는 능력에는 심각한 한계가 존재합니다.
• 핵심 문제:
  • 기존 벤치마크 (ContPhy, PhysBench 등) 는 고수준의 물리 추론을 평가하지만, 시각, 언어, 상식, 논리 등 여러 능력이 얽혀 있어 (Entanglement), 모델이 물리 법칙을 모르고 있는지, 아니면 다른 인지 능력 (언어 이해 등) 이 부족해서인지 구분하기 어렵습니다.
  • MLLM 은 비디오를 단순한 프레임 시퀀스로 처리하거나, 인간 중심 행동에 초점을 맞춘 데이터로 학습되어 유체 (Fluid), 천 (Cloth), 연기 (Smoke) 와 같은 연속체 (Continuum) 객체의 역학적 변화를 포착하지 못합니다.
  • 현황: 최신 SOTA 모델 (Qwen2.5-VL, GPT-4o 등) 도 직관적 물리 이해를 평가하는 기초 작업에서 무작위 추측 수준에 가까운 낮은 성능을 보입니다. 모델 규모 (Scale) 를 키우는 것만으로는 이 문제가 해결되지 않습니다.

2. 제안 방법론 (Methodology)

저자들은 물리 추론의 첫 단계인 '직관적 물리 이해'를 격리하여 평가하고 향상시키기 위해 다음과 같은 접근법을 제안합니다.

가. 새로운 벤치마크 구축 (Benchmark Construction)

물리 역학 이해 능력을 분리하여 평가하기 위해 두 가지 저수준 (Low-level) 태스크를 도입했습니다.

1. 다음 프레임 선택 (Next Frame Selection, NFS): 비디오 시퀀스의 다음 프레임으로 올바른 이미지를 4 가지 선택지 중에서 고르는 작업.
2. 시간적 일관성 검증 (Temporal Coherence Verification, TCV): 비디오 시퀀스 중 비자연스럽거나 일관성이 없는 프레임이 있는지 'Yes/No'로 판단하는 작업.

• 데이터: 합성 시뮬레이션 데이터 (ContPhy, PhysBench) 와 웹 마이닝을 통해 수집된 실제 유체 비디오를 결합하여 구성했습니다.

나. 장면 동적 필드 (Scene Dynamic Field, SDF)

MLLM 이 물리 역학을 시각적으로 이해할 수 있도록 돕는 새로운 표현 기법입니다.

• 개념: 물리 시뮬레이터 (Blender, Unity 등) 를 사용하여 생성된 시퀀스에서 입자의 속도 벡터를 추출하고, 이를 **색상 그라데이션 (주로 파란색 계열)**으로 매핑하여 시각적 프롬프트로 변환합니다.
  • 수식: $v_{proj,i} = \|v_i\| \cos \theta_i$ 를 기반으로 속도가 빠른 영역일수록 짙은 파란색으로 표현됩니다.
• 효과: 복잡한 물리 법칙을 직접 계산하지 않고도, 모델이 운동의 흐름과 역학적 추이를 직관적으로 파악할 수 있는 '시각적 힌트'를 제공합니다.

다. 멀티 태스크 파인튜닝 전략 (Multi-Task Fine-Tuning Strategy)

SDF 를 활용하여 MLLM 을 학습시키는 3 단계 프레임워크를 제안합니다.

1. 동적 지각 (Dynamic Perception): RGB 비디오와 후보 이미지 중 올바른 SDF 표현을 식별하는 작업.
2. SDF 유도 체인 오브 씽킹 (SDF-Guided CoT): 마지막 프레임의 SDF 를 시각적 프롬프트로 제공하여, 모델이 단계별 추론 (유체 역학 분석 -> SDF 통합 -> 다음 프레임 예측) 을 수행하도록 유도합니다.
3. 원본 태스크 (Original Tasks): NFS 및 TCV 태스크 자체를 학습에 포함시킵니다.

• 데이터 혼합: 전문가 모델 (Gemini-2.5-Pro) 이 생성한 데이터와 모델 자체의 자기 증류 (Self-distillation) 데이터를 1:10 비율로 혼합하여 학습합니다.

3. 주요 기여 (Key Contributions)

1. 직관적 물리 이해 평가를 위한 새로운 벤치마크: 기존 벤치마크의 복잡성을 해소하고, 물리 역학 이해의 핵심인 '직관적 물리 이해'를 격리하여 평가하는 NFS와 TCV 태스크를 최초로 제안했습니다.
2. Scene Dynamic Field (SDF) 제안: 물리 시뮬레이터와 MLLM 간의 간극을 메우는 중간 표현 (Intermediate Representation) 으로, 명시적인 동적 단서를 제공하여 모델의 물리 이해 능력을 획기적으로 향상시켰습니다.
3. 강력한 일반화 능력 입증: SDF 를 통해 학습된 모델은 학습 데이터 (유체) 를 넘어, 천 (Cloth), 모래 (Sand), 연기 (Smoke) 등 다른 연속체 물리 현상에도 우수한 성능을 보이며 **도메인 간 일반화 (Generalization)**가 가능함을 증명했습니다.

4. 실험 결과 (Results)

• 기초 성능 한계 확인: 기존 SOTA 모델들 (Qwen2.5-VL, GLM-4.1V 등) 은 NFS 태스크에서 무작위 추측 (25%) 보다 약간 높은 수준 (약 30% 대) 의 정확도만 보였습니다. 모델 규모를 키우거나 CoT(Chain-of-Thought) 프롬프팅만으로는 성능 향상이 제한적이었습니다.
• SDF 의 성능 향상:
  • NFS 태스크: Qwen2-VL 기준 14.4%, GLM-4.1V 기준 **20.7%**의 정확도 향상을 기록했습니다.
  • TCV 태스크: 시간적 일관성 검증 능력도 크게 개선되었습니다.
• 전송 학습 (Transfer Learning): 유체 데이터로만 학습된 SDF 모델이 천, 모래, 연기 등 다른 물리 영역으로 전이되었을 때, 일반 파인튜닝 (Zero-Shot 수준) 에 비해 일관된 성능 향상을 보였습니다. 이는 모델이 특정 도메인의 패턴을 외우는 것이 아니라, 물리 역학의 본질을 학습했음을 시사합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 커리큘럼 학습의 필요성 강조: 고수준 추론을 가르치기 전에, 먼저 모델이 물리적 운동과 변화를 지각할 수 있도록 하는 '커리큘럼 벤치마킹'이 필수적임을 주장했습니다.
• 비용 효율적인 접근: 고비용의 물리 엔진을 직접 모델에 통합하는 대신, 시뮬레이터에서 생성된 SDF 데이터를 활용하여 MLLM 의 지각 능력을 향상시키는 비용 효율적이고 확장 가능한 방법을 제시했습니다.
• 미래 방향: 이 연구는 MLLM 이 단순한 이미지 인식 단계를 넘어, 실제 세계의 물리 법칙을 내재화하여 로봇 제어, 과학적 발견 등 더 복잡한 물리 기반 작업에 적용될 수 있는 토대를 마련했습니다.

요약하자면, 이 논문은 MLLM 이 직관적 물리 이해에 취약하다는 문제를 규명하고, 물리 시뮬레이터 기반의 시각적 표현 (SDF) 을 통해 모델의 역학 이해 능력을 획기적으로 개선하는 새로운 패러다임을 제시했습니다.