🤖 AI

HAT-4D: Lifting Monocular Video for 4D Multi-Object Interactions via Human-Agent Collaboration

이 논문은 시각-언어 모델과 인간 참여형(human-in-the-loop) 피드백을 활용하여 단안 비디오로부터 물리적으로 타당한 4D 다중 객체 상호작용을 재구성함으로써 MVOIK-4D 벤치마크 구축을 가능하게 하고 Embodied AI를 위한 데이터 생성을 발전시키는 새로운 인간-에이전트 협업 프레임워크인 HAT-4D를 소개한다.

원저자: Jiaxin Li, Yuxiang Wu, Zhenkai Zhang, Xinrui Shi, Haoyuan Wang, Yichen Zhao, Su Linxiang, Chenyang Yu, Mingyu Zhang, Yifan Ding, Boran Wen, Li Zhang, Ruiyang Liu, Yong-Lu Li

게시일 2026-06-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiaxin Li, Yuxiang Wu, Zhenkai Zhang, Xinrui Shi, Haoyuan Wang, Yichen Zhao, Su Linxiang, Chenyang Yu, Mingyu Zhang, Yifan Ding, Boran Wen, Li Zhang, Ruiyang Liu, Yong-Lu Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 누군가 칼로 바나나를 썰고 있고, 조각들이 사방으로 튀어 오르며, 그 후 손이 그것들을 가려버리는 혼란스러운 장면이 담긴 단 하나의 영상을 가지고 있다고 상상해 보세요. 이제, 이 평면적인 2D 영상을 당신이 바나나 주변을 걸어 다니고, 칼의 뒷모습을 보고, 흩어진 조각들을 슬로 모션으로 관찰할 수 있는 완전히 실제적인 3D 세상으로 바꾸려고 한다고 상상해 보세요.

이것은 컴퓨터에게 매우 어려운 일입니다. 마치 케이크 한 조각만 보고 전체 케이크의 모양을 추측해야 하는 것과 같으며, 특히 누군가 손으로 일부를 계속 가리고 있을 때는 더욱 그렇습니다.

이 논문은 이 문제를 해결하기 위해 설계된 새로운 시스템인 HAT-4D를 소개합니다. 이 시스템이 어떻게 작동하는지 쉽게 설명해 드리겠습니다.

1. 문제점: 싱글 카메라의 "사각지대"

현재의 컴퓨터는 단일 물체(예: 회전하는 장난감)의 3D 모델을 만드는 데는 뛰어나지만, **상호작용(interactions)**에는 어려움을 겪습니다. 칼이 바나나를 자를 때, 컴퓨터는 다음과 같은 부분에서 혼란을 느낍니다:

깊이(Depth): 칼이 바나나 앞에 있는가, 아니면 뒤에 있는가?
폐쇄(Occlusion): 손이 바나나를 가렸을 때, 바나나는 어디로 갔는가? 바나나가 사라진 것인가?
물리 법칙(Physics): 바나나 조각이 자연스럽게 떨어지는가, 아니면 유령처럼 공중에 떠 있는가?

기존 방식들은 값비싸고 거대한 카메라 스튜디오(50대의 카메라가 있는 영화 세트장 같은 곳)가 필요하거나, 혹은 AI가 무작정 추측하게 하여 물체가 공중에 떠 있거나 이상하고 불가능한 물리 현상이 발생하는 결과를 초래합니다.

2. 해결책: "감독"과 "크루"

HAT-4D는 전문화된 에이전트들로 구성된 크루와 함께 일하는 스마트한 영화 감독처럼 작동합니다. 단순히 맹목적으로 추측하는 대신, 이 시스템은 인간 참여형(Human-in-the-Loop) 방식을 사용하여, 컴퓨터가 막힐 때마다 실제 인간이 개입하여 도움을 줍니다.

단계별 과정은 다음과 같습니다:

단계 A: "작가" (지식 그래프)

3D 세계를 구축하기 전에, 시스템은 영상을 읽고 **상호작용 지식 그래프(Interaction Knowledge Graph, IKG)**라는 "대본"을 씁니다.

비유: 스토리보드 작가가 단순히 그림만 그리는 것이 아니라 장면의 규칙을 적어 내려가는 것과 같습니다.
역할: 이 작가는 컴퓨터에게 다음과 같이 알려줍니다: "이 순간, 칼이 바나나에 닿아 있다. 바나나는 노란색이고 부드럽다. 칼은 바나나 위에 있다. 손이 바나나를 가릴 때, 바나나는 사라진 것이 아니라 단지 숨겨진 상태이다."
이 대본은 지도 역할을 하여, 컴퓨터가 바나나를 사과로 바꾸거나 공중에 띄워버리는 등의 환각 현상을 일으키지 않도록 방지합니다.

단계 B: "건축가" (3D 생성)

대본을 바탕으로, 특화된 에이전트들이 3D 물체를 구축합니다.

이들은 바나나와 칼을 3D 형상으로 만듭니다 (수백만 개의 작은 빛나는 픽셀로 조각을 만드는 것과 같은 "가우시안 스플래팅(Gaussian Splatting)" 기술을 사용함).
이들은 칼이 바나나 위에 떠 있는 것이 아니라 실제로 바나나에 닿아 있도록 만듭니다.

단계 C: "애니메이터" (4D 전파)

이제 시스템은 장면이 시간을 따라 움직이게 만들어야 합니다.

비유: 플립북(움직이는 그림책)을 생각해보세요. 시스템은 첫 프레임과 "키 프레임"(자르는 순간처럼 가장 중요한 순간들)을 가지고 있으며, 그 사이의 페이지들을 채워 넣으려고 시도합니다.
기억의 기술: 만약 손이 5초 동안 바나나를 가린다면, 시스템은 (대본에 의해 유도된) 자신의 "기억"을 사용하여 손에 가려지기 전 바나나가 어떤 모습이었는지 기억함으로써, 손이 움직였을 때 바나나의 형태가 변하거나 사라지지 않도록 합니다.

단계 D: "편집자" (인간 피드백)

이것이 바로 핵심 비결입니다. 때때로 컴퓨터가 실수(예: 바나나 조각이 너무 흔들거림)를 할 수 있습니다.

비유: 인간 편집자가 애니메이션을 지켜보고 있다고 상상해 보세요. 만약 오류를 발견하면, 그들은 "그 조각을 수정해" 또는 "칼을 더 날카롭게 만들어"라고 말할 수 있습니다.
시스템은 이러한 작은 인간의 도움으로부터 학습합니다. 모든 것을 고치기 위해 인간이 필요한 것이 아니라, 몇 가지 핵심적인 순간에 대한 교정만으로도 AI가 나머지 부분을 올바르게 수행하도록 가르칠 수 있습니다.

3. 결과: 새로운 놀이터 (MVOIK-4D)

이 시스템이 매우 효과적으로 작동하기 때문에, 저자들은 이를 활용하여 MVOIK-4D라는 거대한 새로운 데이터셋을 구축했습니다.

이것은 다른 연구자들이 자신의 로봇이나 AI를 훈련시키는 데 사용할 수 있는 3D 상호작용 장면(자르기, 껍질 벗기기, 쌓기 등 77가지의 서로 다른 작업)의 거대한 도서관이라고 생각하면 됩니다.
또한, 3D 세계가 얼마나 실감 나는지 확인하기 위한 새로운 "테스트"도 만들었습니다. 물리학이 타당한가? 물체가 가려진 후에도 형태를 유지하는가? 등을 검증합니다.

요 요약

HAT-4D는 다음과 같은 과정을 통해 평면 영상을 3D 세계로 바꾸는 스마트한 시스템입니다:

대본을 작성하여(지식 그래프) 상호작용의 규칙을 이해합니다.
특화된 AI 에이전트를 사용하여 장면을 구축하고 애니메이션화합니다.
상황이 혼란스러울 때만 인간에게 도움을 요청하여, 최종 결과물이 물리적으로 실제와 같고 일관되게 만듭니다.

이 시스템은 값비싼 영화 스튜디오 카메라와 신뢰할 수 없는 AI의 추측 사이의 간극을 메우며, 컴퓨터가 실제 물리적 세계가 어떻게 작동하는지를 배우는 새로운 방법을 제시합니다.

기술 요약: HAT-4D

문제 정의
단안 비디오로부터 동적인 4D 다중 객체 상호작용을 재구성하는 것은 Embodied AI를 확장하고 시각-언어-행동(VLA) 모델을 학습시키기 위한 핵심적인 능력이다. 그러나 이 작업은 심각한 깊이 모호성, 격렬한 상호 가려짐(mutual occlusions), 그리고 실제 세계의 상호작용에 내재된 복잡한 위상 변화로 인해 근본적으로 난해한 문제(ill-posed problem)이다. 기존의 접근 방식은 두 가지 극단에 치우쳐 있다: 고가의 하드웨어가 필요한 멀티 카메라 리그는 비용이 많이 들고 오픈 월드 데이터에 확장하기 어렵고, 생성 모델(예: 확산 기반 모델)은 도메인 간극으로 인해 복잡한 실제 객체 상호작용에 적용될 때 물리적으로 불가능한 변형, 객체의 공중 부양 현상, 시간적 지터링(jitter) 등을 발생시키며 물리적 타당성을 유지하는 데 어려움을 겪는다.

방법론: HAT-4D 프레임워크
저자들은 단안 비디오를 물리적으로 타당한 4D 다중 객체 상호작용으로 끌어올리기 위해 설계된 저비용, 인간 참여형(human-in-the-loop, HITL) 에이전트 프레임워크인 HAT-4D를 제안한다. 이 시스템은 세 가지 핵심 구성 요소로 작동한다:

상호작용 지식 그래프 (Interaction Knowledge Graph, IKG):
프레임워크의 "인과성 엔진" 역할을 하는 IKG는 시각-언어 모델(VLM, 구체적으로 Qwen3-VL)에 의해 생성되는 동적이고 시간적으로 조건화된 유향 그래프( $G = \{O, E, R\}$ )이다.
- 객체 엔티티 ( $O$ ): 의미론적 메타데이터와 물리적 속성(예: 변형 가능성, 색상)을 캡슐화한다.
- 이벤트 세그먼트 ( $E$ ): 상태 전이(예: 접촉, 절단, 분리)를 기준으로 비디오를 분할하여 메모리를 고정하고 시간적 일관성을 보장한다.
- 시공간 관계 ( $R$ ): 생성 과정을 가이드하기 위해 상호작용의 의미론, 깊이 순서 및 상대적 위치(예: 비침투 제약, 운동 결합)를 정의한다.
다중 에이전트 생성 및 전파 (Multi-Agent Generation and Propagation):
IKG의 안내에 따라 특화된 에이전트들이 재구성 파이프라인을 실행한다:
- 3D 생성 및 합성: 에이전트들은 SAM3D를 사용하여 키프레임에서 씬을 초기화하고 엔티티를 3D 가우시안 스플랫(Gaussian Splats)으로 재구성한다. 합성 기술은 물리적 타당성을 확보하기 위해 6DoF 포즈와 접촉점을 정교화한다.
- 메모리 증강 4D 전파: 세그먼트 단위 전파 연산자(L4GM 기반)는 정교화된 키프레임의 메모리 뱅크를 조건으로 하여 3D 씬을 시간 축으로 확장하며, 이를 통해 가려짐 상황에서도 객체의 정체성과 안정성을 유지한다.
- 평가 및 롤백: 전용 평가 에이전트가 동적 타당성(예: 상호 침투)과 정적 충실도를 평가한다. 오류가 감지되면, 4D 전파 단계 또는 3D 생성 단계 중 하나로 선택적 롤백을 트리거하여 재최적화를 수행한다.
다단계 인간 참여형 (HITL) 협업:
VLM이 실패할 수 있는 모호성을 해결하기 위해, 프레임워크는 희소한 키프레임에서 인간의 피드백을 통합한다:
- 온라인 미세 조정: 인간의 수정 사항은 에이전트의 행동을 적응시키기 위한 시스템 프롬프트로 공식화된다.
- 정교화 연산자: 사용자는 세 가지 수준에서 정교화를 수행할 수 있다:
  - 가우시안 수준 (Gaussian-level): 특정 스플랫의 위치, 방향 또는 색상을 수정한다.
  - 영역 수준 (Region-level): 잠재 디노이징(latent denoising)을 통한 국부적 재생성을 수행한다.
  - 객체 수준 (Object-level): SAM3D를 사용하여 특정 객체를 재구성하고 포즈를 조정한다.
    이러한 정교화된 출력은 밑바닥의 생성 연산자를 오프라인 미세 조정하기 위한 고충실도 의사 정답(pseudo-ground-truth)으로 사용된다.

벤치마크: MVOIK-4D
HAT-4D를 데이터 엔진으로 활용하여, 저자들은 77개 태스크에 걸친 112개의 독특한 상호작용 시나리오를 포함하는 MVOIK-4D(Multi-View Object Interaction Knowledge 4D) 벤치마크를 구축하였다. 이 데이터셋은 다음을 포함한다:

ToolOIK-4D: 복잡한 변형을 동반한 도구 기반 상호작용(예: 슬라이싱, 액체 튀김)에 초점을 맞춘다.
MemoryOIK-4D: 동적 가려짐 상황에서의 시공ial 추론(예: 셸 게임, 숨겨진 물체 찾기)에 초점을 맞춘다.
이 벤치마크에는 전체적인 생성 품질(CLIP, LPIPS, FVD), 상호작용 재구성(변형의 사실성, 관계적 일관성), 그리고 시간적 메모리 안정성(프레임 간 연속성 및 장기적 객체 영속성)을 평가하는 새로운 다차원 평가 프로토콜이 수반된다.

결과
MVOIK-4D 벤치마크에 대한 광범적인 실험 결과, HAT-4D는 L4GM, SV4D, FB4D와 같은 베이스라인 모델들과 비교하여 대부분의 지표에서 SOTA(State-of-the-Art) 성능을 달자했다:

생성 품질: HAT-4D는 가장 낮은 LPIPS(0.1433)와 경쟁력 있는 FVD 점수를 달성하여, 우수한 지각적 품질과 시간적 사실성을 입증했다.
상호작용 품질: 이 방법은 변형 정확도(3.4487 vs ~2.5)와 관계적 일관성(2.5737 vs ~1.9) 측면에서 베이스라인을 크게 능가하며, 물리적으로 타당한 상호작용을 포착한다.
메모리 일관성: HAT-4D는 가장 높은 장기 메모리 점수(0.0901)를 기록하여, 확장된 시퀀스와 뷰포인트 전반에 걸쳐 객체 상태를 견고하게 보존함을 보여주었다.
절제 연구 (Ablation Studies):
- IKG 모듈은 상호작용 재구성과 메모리 일관성을 개선하는 데 결정적이지만, 문맥 복잡성 증가로 인해 CLIP/FVD 점수는 약간의 트레이드오프가 발생한다.
- 인간의 개입은 낮은 빈도(예: 시퀀스당 3~5개의 어노테이션)에서도 재구성 품질과 상호작용 정확도를 실질적으로 향상시키며, 개입 빈도가 증가함에 따라 성능 이득이 포화 상태에 이른다.
- 객체 수준의 정교화가 가장 큰 이득을 제공하며, 영역 및 가우시안 정교화는 국부적인 아티팩트를 개선하는 보완적인 효과를 제공한다.

의의 및 주장
본 논문은 HAT-4D가 고비용의 멀티 뷰 캡처와 순수 생성 모델의 신뢰할 수 없는 품질 사이의 교착 상태를 깨뜨린다고 주장한다. VLM을 다단계 HITL 피드백 메커니즘과 통합함으로써, 이 프레임워크는 값비싼 하드웨어 없이도 깊이 모호성과 상호작용으로 인한 가려짐 문제를 효과적으로 해결한다. 저자들은 HAT-4D를 단순한 재구성 도구가 아니라, 다운스트림 Embodied AI 연구를 위한 고충실도 물리적 사전 지식(physical priors)을 생성할 수 있는 확장 가능한 데이터 엔진으로 포지셔닝한다. 이 연구는 희소한 인간의 지식이 에이전트 루프 내에 통합될 때 복잡한 4D 상호작용을 안정적으로 가이드할 수 있음을 강조하며, 이는 오픈 월드 시나리오에서 더 강력한 학습 데이터를 위한 길을 열어준다. 저자들은 복잡한 유연한 변형과 빠른 비강체 운동을 처리하는 데 있어 현재의 한계를 인정하며, 이를 향후 연구 과제로 남겨두었다.