Thinking in Dynamics: How Multimodal Large Language Models Perceive, Track, and Reason Dynamics in Physical 4D World

1. 문제 제기 (Problem Statement)

현재의 멀티모달 대규모 언어 모델 (MLLM) 은 정적 이미지에서의 시각적 이해와 공간 추론 능력은 탁월하지만, **물리적 4D 세계 (공간 + 시간)**에서의 역동적인 변화를 이해하는 능력은 여전히 부족합니다.

• 한계점: 기존 모델들은 프레임 간의 일관된 객체 표현 유지, 가림 (occlusion) 처리, 자기관성 (ego-motion) 및 의미론적 모호성으로 인해 움직이는 객체를 추적하고 상호작용을 추론하는 데 어려움을 겪습니다.
• 현황: 기존 벤치마크들은 주로 장면 수준의 모델링이나 단순한 모션 이해에 집중하여, **객체 중심의 역동성 (Dynamic Object-centric Dynamics)**을 체계적으로 평가하지 못했습니다. 이는 모델이 실제 4D 환경에서 운동, 인과관계, 장면 진화에 대해 일관된 추론을 할 수 있는지 평가하는 데 한계가 있습니다.

2. 방법론 (Methodology)

가. Dyn-Bench (Dynamics Benchmark) 구축

이 논문의 핵심은 MLLM 의 시공간 추론 및 역동적 객체 그라운딩 (grounding) 능력을 평가하기 위한 대규모 벤치마크 Dyn-Bench를 제안하는 것입니다.

• 데이터 구성: 8 개의 실사 및 합성 데이터셋 (DAVIS, SA-V, DynamicReplica 등) 에서 수집된 1,000 개의 동영상을 기반으로 합니다.
• 다단계 필터링: 기하학적 안정성, 모션 부드러움, 이미지 선명도, 깊이 일관성 등을 평가하는 다중 기준 필터링과 VLM 기반 품질 평가를 통해 고품질 데이터를 선별했습니다.
• 세 가지 평가 차원:
  1. Dynamic Inter-Object Perception: 여러 움직이는 객체 간의 공간적 관계 및 상호작용 (접근, 가림, 추월 등) 인식.
  2. Dynamic Object-Scene Tracking: 변화하는 장면 내에서 개별 객체의 시간적 추적 및 진화 (진입, 퇴장, 기능 전환 등) 모델링.
  3. Dynamic Camera-Object Reasoning: 카메라 운동이 객체의 기하학, 깊이, 시간적 일관성에 미치는 영향 분석.
• 데이터 규모: 1,000 개 비디오, 7,000 개의 시각적 질문 응답 (VQA) 쌍, 3,000 개의 역동적 객체 그라운딩 (마스크) 쌍.

나. 시공간 텍스트 인지 지도 (Spatio-Temporal Textual Cognitive Map, ST-TCM)

모델의 추론 능력을 향상시키기 위해 제안된 새로운 프레임워크입니다.

• 구조: RGB-D 입력과 세그멘테이션 마스크를 기반으로 3D 객체 궤적, 카메라 운동, 객체 간 관계를 재구성하여 구조화된 텍스트 설명으로 변환합니다.
• 기능: 객체의 기하학적 속성 (위치, 크기), 운동 상태 (속도, 방향, 가속도), 관계적 역동성 (거리, 상호작용 유형) 을 통합하여 MLLM 이 이해할 수 있는 일관된 시공간 서사를 생성합니다. 이는 모델이 물리적 세계를 추론할 때 필요한 명시적인 시공간 단서를 제공합니다.

다. 시각적 가이드 (Mask-Guided Input)

모델이 역동적인 영역에 주의를 기울이도록 유도하기 위해 두 가지 시각적 전략을 실험했습니다.

• Masked Frames Only: 각 프레임에 객체 세그멘테이션 마스크를 오버레이하여 움직이는 엔티티에 집중하게 함.
• Mask-Guided Fusion: 원본 프레임과 해당 마스크를 결합하여 외관 (appearance) 과 운동 (motion) 의 보완적 단서를 통합.

3. 주요 기여 (Key Contributions)

1. Dyn-Bench 제안: MLLM 의 역동적 이해 능력 (시공간 추론 및 역동적 객체 그라운딩) 을 포괄적으로 평가하는 최초의 벤치마크.
2. 고품질 데이터셋: 2D 및 4D 데이터 소스에서 다단계 필터링을 거쳐 구축된 1,000 개 비디오, 7,000 VQA, 3,000 그라운딩 쌍의精心 (세심하게) 선별된 데이터셋.
3. ST-TCM 프레임워크: 공간, 시간, 운동 정보를 단일 텍스트 표현으로 통합하여 MLLM 의 역동적 추론 능력을 획기적으로 향상시키는 새로운 방법론.
4. 심층 분석: 기존 MLLM 이 역동적 환경에서 직면하는 한계 (일관성 없는 모션 추적, 그라운딩 실패) 를 규명하고, 체인 오브 씽킹 (CoT) 과 같은 기존 프롬프트 전략의 한계를 지적하며, 구조화된 통합 접근법의 우수성을 입증했습니다.

4. 실험 결과 (Results)

가. 벤치마크 성능 (Dyn-Bench Evaluation)

• 모델 비교: 일반 MLLM (GPT-4o, Qwen3-VL 등), 공간 특화 MLLM, 지역 수준 (Region-level) MLLM 을 평가했습니다.
• 주요 발견:
  • Proprietary Models: GPT-4o, GPT-5 등 상용 모델은 객체 간 관계 및 모션 추론에서 강력한 성능을 보였습니다.
  • Open-source Models: Qwen3-VL-235B 등 대규모 오픈소스 모델이 상용 모델과 유사하거나 더 나은 종합 성능을 보이며 격차를 좁혔습니다.
  • Region-level Models: UniPixel-7B, Sa2VA 기반 모델들은 객체 중심의 시공간 추론과 동적 객체 그라운딩에서 가장 우수한 성능을 기록했습니다. 이는 세밀한 지역적 단서가 시간적 일관성을 높이는 데 핵심적임을 시사합니다.
  • 공통적 약점: 대부분의 모델은 카메라 - 객체 상호작용 및 모션 중심 추론에서 여전히 약점을 보였습니다.

나. ST-TCM 및 Mask-Guided Input 효과

• ST-TCM: 텍스트 인지 지도를 입력으로 추가한 결과, 모델의 시공간 추론 정확도가 크게 향상되었습니다. 특히 **운동 (Motion)**과 공간 기하학 (Spatial Geometry) 정보가 결합되었을 때 가장 큰 성능 향상을 보였습니다.
• Mask-Guided Fusion: 마스크와 원본 영상을 융합한 입력 방식이 '객체 간 (Inter-Object)' 및 '카메라 - 객체 (Camera-Object)' 추론에서 가장 큰 개선을 이끌어냈습니다. 이는 외관과 운동 정보를 통합하는 것이 객체 그라운딩과 일관된 추론에 필수적임을 증명합니다.

5. 의의 및 결론 (Significance)

이 연구는 MLLM 이 정적 이미지를 넘어 물리적 4D 세계를 어떻게 지각하고 추론해야 하는지에 대한 새로운 패러다임을 제시합니다.

• 이론적 기여: 역동적 이해를 위해서는 고수준의 시간적 의미론 (temporal semantics) 과 지역적 객체 그라운딩 (localized object grounding) 을 결합해야 함을 입증했습니다.
• 실용적 가치: Dyn-Bench 는 향후 자율 주행, 로봇 공학, 증강 현실 등 동적 환경이 필요한 분야에서 MLLM 의 성능을 평가하는 표준 벤치마크로 자리 잡을 것입니다.
• 미래 방향: 역동적 객체 지각, 시간적 추론, 관계적 구조를 통합하는 통합 아키텍처 개발의 필요성을 강조하며, 보다 물리적으로 일관된 추론이 가능한 차세대 MLLM 개발의 방향성을 제시합니다.

요약하자면, 이 논문은 Dyn-Bench를 통해 MLLM 의 역동적 이해 한계를 규명하고, ST-TCM과 Mask-Guided Fusion을 통해 이를 해결하는 효과적인 전략을 제시함으로써, 4D 세계에서의 멀티모달 추론 연구에 중요한 이정표를 세웠습니다.