💻 computer science

LMM-Track4D: Eliciting 4D Dynamic Reasoning in LMMs via Trajectory-Grounded Dialogue

본 논문은 Ray-Time Geometry Encoding 및 Object-Slot Kinematic decoder 와 같은 전용 구성 요소를 활용하여 가려짐 및 시점 변화 하에서 견고한 3 차원 상태 추정을 달성하고, 새로운 궤적 기반 대화 작업 및 벤치마크인 Track4D-Bench 를 통해 대규모 멀티모달 모델의 4 차원 동적 추론 능력을 향상시키는 새로운 프레임워크인 LMM-Track4D 를 소개합니다.

원저자: Chaoyue Li, Yongxue Xu, Jie Feng, Jiayu Ding

게시일 2026-05-20

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chaoyue Li, Yongxue Xu, Jie Feng, Jiayu Ding

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

TV 에서 농구 경기를 보고 있다고 상상해 보세요. 하지만 단순히 경기 장면을 보는 것이 아니라, 그 내용에 대해 초지능 AI 와 대화를 나누고 있다고 가정해 봅시다.

문제: "망각성" AI
현재의 AI 모델 (대규모 멀티모달 모델) 은 단일 사진이나 짧은 비디오 클립을 보고 "그건 공을 드리블하는 선수야"라고 말하는 데는 탁월합니다. 하지만 몇 초 후 "그 선수가 공을 패스한 후 어디로 갔지?" 또는 "다른 선수 뒤에 숨어 있을 때 공이 정확히 어떤 경로를 그렸는지 그려줄 수 있어?"와 같은 후속 질문을 하면, 종종 길을 잃습니다.

현재의 AI 를 한 장의 거리 사진을 찍고 눈을 감은 관광객이라고 생각해 보세요. "다음에 무슨 일이 일어났어?"라고 물으면, 그들은 그 단일 사진에 기반해 추측해야 합니다. 그들의 머리 속에는 연속적인 "정신적 영화"가 재생되지 않습니다. 특히 사물이 시야에서 가려지거나 (가림 현상) 카메라 각도가 변할 때, 움직이는 사물을 시간의 흐름에 따라 추적하는 데 어려움을 겪습니다.

새로운 과제: "궤적 기반 대화"
이 논문의 저자들은 이러한 특정 약점을 테스트하기 위해 새로운 게임을 고안했습니다. 이를 **궤적 기반 다중 턴 시공간 대화 (Trajectory-Grounded Multi-Turn Spatiotemporal Dialogue)**라고 부릅니다.

게임의 진행 방식은 다음과 같습니다:

장면: AI 에게 비디오 클립 (예: 농구 플레이) 을 보여줍니다.
대화: 질문을 합니다: "0.8 초에 3 점 슛을 넣은 선수는 누구야?"
반전: AI 는 말로 답할 뿐만 아니라, 그 선수가 공이 다른 사람 뒤에 숨겨져 있었을지라도 매 순간 어디에 있었는지에 대한 구조화된 3D 지도를 제공해야 합니다.
후속 질문: 첫 번째 답변을 바탕으로 또 다른 질문을 합니다: "자, 이제 0.5 초부터 1.2 초까지 공이 이동한 경로를 보여줘."

AI 는 공이 선수 뒤에 숨어 있을 때도 절대 공을 놓치지 않는 심판처럼 행동해야 하며, 3D 공간에서 그 정확한 경로를 그려낼 수 있어야 합니다.

해결책: LMM-Track4D
이를 해결하기 위해 팀은 LMM-Track4D라는 새로운 AI 시스템을 구축했습니다. 그들은 정신적 영화를 원활하게 유지할 수 있도록 세 가지 특별한 "초능력"을 부여했습니다:

"기하학적 나침반" (RTGE):
- 비유: 지도상의 "어디"에 있는지뿐만 아니라 태양의 정확한 각도와 시간대까지 아는 GPS 를 상상해 보세요.
- 작동 원리: 이 AI 부분은 비디오에 "레이 - 시간 기하학 (Ray-Time Geometry)"을 주입합니다. 이는 AI 가 픽셀뿐만 아니라 방의 3D 형태와 각 프레임이 발생한 정확한 시간을 이해하도록 가르칩니다. 이를 통해 AI 는 평면 이미지가 아닌 깊이와 원근을 이해할 수 있게 됩니다.
"메모리 토큰" (TRK):
- 비유: AI 가 적어 주머니에 넣어두는 포스트잇이라고 생각하세요.
- 작동 원리: AI 가 선수를 보면 그 선수의 정체성과 움직임에 대한 메모를 적습니다. 대화가 다음 턴으로 넘어갈 때, 처음부터 다시 시작하는 대신 그 포스트잇을 꺼냅니다. 이를 통해 카메라 각도가 변하거나 선수가 잠시 가려졌을지라도 "아, 저건 6 번 선수이고 오른쪽으로 움직였었지"라고 기억할 수 있습니다. 이렇게 하여 이야기가 연속적으로 유지됩니다.
"안정적인 스케치러" (OSK-RA 디코더):
- 비유: 흔들리는 배 위에서 매끄러운 선을 그리려고 한다고 상상해 보세요. 대부분의 AI 는 흔들리고 거친 선을 그립니다. 이 디코더는 선을 매끄럽게 유지하는 짐벌 안정장치와 같습니다.
- 작동 원리: 시스템의 이 부분은 AI 의 관찰 결과를 깨끗하고 매끄러운 3D 경로로 변환합니다. "잔여 앵커 (residual anchor)" 기법을 사용하는데, 이는 사물의 위치를 대략적으로 추측한 후 오류를 수정하기 위해 미세하고 정밀한 조정을 가하는 방식입니다. 이를 통해 경로가 wildly(과도하게) 뛰어다니지 않도록 보장합니다.

테스트: Track4D-Bench
시스템이 작동함을 증명하기 위해 Track4D-Bench라는 새로운 테스트를 구축했습니다.

이 테스트에는 7,500 개 이상의 라벨이 지정된 사물이 포함된 526 개의 비디오 클립 (주로 스포츠 및 교통 장면) 이 포함되어 있습니다.
AI 가 질문을 답하고 동시에 3D 경로를 그려야 하는 기말고사와 같습니다.
이 테스트는 사물이 차 뒤에 사라지는 (가림 현상) 같은 까다로운 상황이나, 긴 시간 동안 같은 사물에 대한 질문에 답할 수 있는지 확인합니다.

결과
테스트를 실행했을 때:

기존 AI: 가장 똑똑한 기존 모델들 (GPT-4o 나 전문 비디오 AI 등) 도 텍스트 질문에는 어느 정도 답할 수 있었지만, 3D 경로를 그리는 데는 처참하게 실패했습니다. 그들은 종종 사물의 추적을 잃거나 사물이 가려졌을 때 포기했습니다.
LMM-Track4D: 이 새로운 시스템이 명백한 승자였습니다. 장면의 일관된 "정신적 영화"를 유지했습니다. 공이 선수에 의해 가려졌을 때조차 0.8 초에 공이 정확히 어디에 있었는지 알려주고 매끄러운 경로를 그릴 수 있었습니다.

핵심 교훈
이 논문은 AI 가 4D 세계 (3D 공간 + 시간) 를 진정으로 이해하게 하려면 AI 를 단순히 "더 크게" 만들거나 더 많은 비디오를 공급하는 것만으로는 부족하다고 결론 내립니다. 우리는 사물이 이동함에 따라 그 상태를 명시적으로 추적하도록 AI 를 강요하는 특정 도구 (메모리 토큰과 기하학적 나침반 등) 를 구축해야 합니다. 이는 스냅샷을 찍는 카메라와 영화의 연속적인 대본을 유지하는 감독 사이의 차이와 같습니다.

기술 요약: LMM-Track4D

문제 제기
최근 대규모 멀티모달 모델 (LMM) 은 이미지 및 비디오 이해 분야에서 상당한 능력을 입증해 왔습니다. 그러나 시간, 시점, 다중 턴 상호작용에 걸친 지속적인 4 차원 동적 추론에서는 어려움을 겪습니다. 현재 모델들은 이미 관찰된 콘텐츠를 해석하도록 최적화되어 있으나, 명시적인 동적 상태를 유지할 메커니즘이 부족합니다. 그 결과, 모델들은 고립된 관찰을 인식할 수는 있지만, 새로운 증거가 도착함에 따라 가려짐 (occlusion), 정체성 연속성, 장거리 운동 경향과 같은 상황에서 진화하는 장면 상태에 대한 물리적으로 일관된 설명을 유지하지 못합니다.

방법론: LMM-Track4D
이 격차를 해결하기 위해 저자들은 상호작용 전반에 걸쳐 동적 상태를 유지하고 업데이트하도록 설계된 LMM-Track4D 프레임워크를 제안합니다. 이 시스템은 Low-Rank Adaptation (LoRA) 을 적용한 Qwen3.5-9B 백본을 기반으로 하며, 세 가지 핵심 학습 가능 모듈을 통합합니다:

RTGE (Ray–Time Geometry Encoding, 광선 - 시간 기하학 인코딩): 시각 인코더와 멀티모달 백본 사이에 삽입되어, 시각 토큰에 명시적인 기하학적 및 시간 정보를 주입합니다. RTGE 는 카메라 내부/외부 파라미터로부터 광선 방향과 모멘트를 결합한 6 차원 플뤼커 (Plücker) 기술자를 계산하고, 시간에 대한 푸리에 임베딩을 적용합니다. 이를 패치 특징에 추가함으로써 모델이 시각 토큰을 3 차원 공간과 시간에 기반할 수 있게 합니다.
TRK (Streaming State Token, 스트리밍 상태 토큰): "타겟 슬롯" 역할을 하는 영구적인 상태 - 메모리 토큰입니다. 매 턴마다 원시 히스토리에서 타겟 정체성과 운동을 다시 추론하는 대신, TRK 토큰은 대화 턴을 가로질러 증거를 누적합니다. 그 은닉 상태는 턴 $k$ 에서 $k+1$ 로 전파되어 정체성과 운동 역학의 연속성을 보장합니다.
OSK-RA (Object-Slot Kinematic, Residual-Anchor, 객체 - 슬롯 운동학, 잔차 - 앵커) 디코더: 이 모듈은 최종 3 차원 궤적 디코딩을 처리합니다. 타겟 선택 (시맨틱 쿼리) 과 기하학적 정제 (운동학 쿼리) 를 분리합니다. 디코더는 시각 토큰에 부착된 증거 광선에 점수를 매겨 융합한 후, 가중치 선 교차를 통해 거친 3 차원 앵커를 계산합니다. 그런 다음 잔차 헤드가 이 앵커를 정제하여 최종 3 차원 좌표를 생성합니다. 이 앵커 - 플러스 - 잔차 설계는 1 단계 편향 누적을 완화합니다.

벤치마크: Track4D-Bench
저자들은 검증된 3 차원 궤적, 시각적 증거, 그리고 대화를 연결하는 구조화된 파이프라인을 통해 Track4D-Bench를 소개합니다.

규모: APIDIS, KITTI, WildTrack 에서 출처를 둔 23.5k 프레임과 7.5k 객체 주석을 포괄하는 526 개의 클립 수준 대화 샘플 (단편 428 개, 장편 98 개).
작업: 궤적 기반 다중 턴 시공간 대화. 모델은 질적 시공간 질문에 답변해야 하며, 필요 시 짧은 클립이나 긴 상호작용의 국부적 세그먼트에 대해 구조화된 3 차원 궤적을 출력해야 합니다.
평가: 통일된 대화 턴 프로토콜을 사용합니다. 언어 품질은 CIDEr, BLEU-4, METEOR 로 측정합니다. 기하학적 정확도는 세계 좌표계에서 $SAcc@0.5 $(점 정확도),$ Traj-Acc@1.0 $(궤적 정확도),$ TAcc@0.5$(시간적 점 정확도) 로 측정합니다.

주요 기여

작업 공식화: 현재 LMM 의 지속적 4 차원 추론 한계를 식별하고 이를 연구하기 위해 "궤적 기반 다중 턴 시공간 대화"를 공식화했습니다.
벤치마크: 단편 및 장편 regimes 를 모두 포함하는 4 차원 동적 추론을 위한 학습 가능, 측정 가능, 그리고 진단적으로 해석 가능한 테스트베드인 Track4D-Bench 를 도입했습니다.
모델 아키텍처: 시점, 시간, 대화 턴에 걸쳐 동적 정보를 유지하고 업데이트하기 위해 RTGE, 영구적 TRK 상태 전파, OSK-RA 디코딩을 통합한 LMM-Track4D 를 제안했습니다.
실증적 증거: 명시적 동적 상태 모델링이 4 차원 추론을 이끌어내는 유용한 설계 원칙임을 입증했으며, 밀집된 비-키프레임 추론, 가려짐 복구, 장거리 정체성 보존에서 강력한 베이스라인 대비 일관된 개선을 보여주었습니다.

결과
Track4D-Bench 에 대한 실험은 범용 LMM 과 LMM-Track4D 사이에 상당한 성능 격차가 있음을 보여줍니다:

베이스라인 성능: 강력한 독점 (예: GPT-4o) 및 오픈소스 모델 (예: Qwen3-VL, LLaVA-Video) 은 비자명한 언어 점수를 달성하지만, 비교 가능한 구조화된 3 차원 출력을 제공하지는 못합니다. 심지어 동일 데이터셋 SFT 제어 (파인튜닝된 베이스라인) 도 LMM-Track4D 보다 훨씬 낮은 수준에 머뭅니다.
LMM-Track4D 성능: 모든 지표에서 최상의 결과를 달성했으며, $0.758$ $SAcc@0.5$, $0.626$ $Traj-Acc@1.0$, $0.619$ $TAcc@0.5$를 기록했습니다.
어블레이션 연구:
- OSK-RA를 제거하면 단계별 충실도가 가장 크게 감소했습니다 ($TAcc@0.5$가 0.619 에서 0.425 로 하락).
- RTGE를 제거하면 기하학적 지표에서 두 번째로 큰 저하가 발생했습니다.
- TRK를 제거하거나 (또는 백본만 사용) 하면 안정적인 구조화된 기하학 출력이 완전히 사라져 영구적 상태 전파의 필요성을 확인했습니다.
히스토리 의존성: 분석 결과 "히스토리 없음" 설정이 특히 후기 턴에서 가장 낮은 성능을 보인 반면, "자기 히스토리"(모델의 자체 TRK 상태 사용) 는 일관되게 더 우수한 성능을 발휘하여 "골드 히스토리"(오라클) 상한선에 근접했습니다.

의의 및 주장
본 논문은 LMM 에서 4 차원 동적 추론을 이끌어내는 것이 단순히 비디오 인식의 확장이나 범용 비디오 QA 의 문제가 아니라고 주장합니다. 대신, 시간에 따라 진화하는 장면 동역학을 명시적으로 모델링하는 작업 공식화, 감독, 그리고 아키텍처가 필요합니다. 결과는 명시적 동적 상태 모델링이 이 능력에 대한 효과적인 귀납적 편향으로 작용함을 시사합니다.

저자들은 현재 한계에 대해 겸손하게 언급합니다: 설정은 구조화된 감독에 의존하며, 규모는 일반 비디오 데이터셋에 비해 제한적이고, 시간적 지평과 상호작용의 개방성은 제약받습니다. 그러나 이 연구는 올바른 아키텍처 귀납적 편향을 통해 다중 턴 상호작용 전반에 걸쳐 물리적으로 일관된 상태를 유지하는 것이 명확하고 해결 가능한 과제임을 확립했습니다.

기술 요약: LMM-Track4D

유사한 논문