💻 computer science

Embodied Multimodal Grounding for Open-Vocabulary Mobile Manipulation via Semantic 3D Gaussian Splatting

본 논문은 능동적 다중 뷰 시맨틱 3D 가우시안 스플래팅(Semantic 3D Gaussian Splatting)을 확산 기반 시각-언어-행동 정책과 결합하여, 기존의 최첨단 방식들과 비교했을 때 어수선하고 가려짐이 있으며 관점이 가변적인 가정 환경 내에서 개방형 어휘 모바일 조작 성공률을 유의미하게 향상시키는 체화된 멀티모달 그라운딩 프레임워크를 제시한다.

원저자: Huosen Ou, Dongni Song, Yuncong Wang, Tao Zhou, Yiding Ji

게시일 2026-08-12

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Huosen Ou, Dongni Song, Yuncong Wang, Tao Zhou, Yiding Ji

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

지저분한 거실에서 당신을 도우려는 로봇을 상상해 보세요. 이것은 단순히 팔을 움직이는 문제가 아닙니다. 당신의 목소리를 들으면서 3차원 세계를 이해하는 것에 관한 문제입니다. 이것이 바로 '체화된 AI(Embodied AI)'의 핵심입니다. 이는 로봇이 단순히 화면상의 데이터를 처리하는 것을 넘어, 물리적 공간과 상호작용하는 법을 배우는 분야입니다. 이를 위해 로봇은 세 가지를 결합해야 합니다. 바로 언어(당신이 말하는 것), 시각(그들이 보는 것), 그리고 기하학(물건이 3D 공간의 실제 어디에 있는지)입니다. 어둡고 어질러진 주방에서 항아리 속의 특정 쿠키를 집으려는 상황을 생각해 보세요. 만약 주방의 2D 사진만 가지고 있다면, 엉뚱한 항아리를 잡거나 주변의 물건들을 쓰러뜨릴 수도 있습니다. 하지만 움직임에 따라 업데이트되는 정신적 3D 지도를 가지고 있다면, 장애물을 피해 다니며 손이 정확히 어디로 가야 하는지 파악하고, 우유를 쏟지 않고도 정확한 쿠키를 잡을 수 있습니다. 이것이 바로 연구자들이 해결하고자 하는 과제입니다. 즉, 로봇이 단순히 깨끗하고 완벽한 실험실이 아니라, 우리의 지저고 예측 불가능한 현실을 다룰 수 있을 만큼 똑똑해지도록 만드는 것입니다.

당신이 읽고 있는 이 논문 "Embeded Multimodal Grounding for Open-Vocabulary Mobile Manipulation via Semantic 3D Gaussian Splatting"은 로봇에게 이런 종류의 '슈퍼 시력'을 부여하는 새로운 방법을 제안합니다. 저자들은 팔이 달린 실제 로봇 개와 함께 작업하며, 현재의 많은 로봇이 평면적인 2D 사진에 너무 많이 의존하기 때문에 실패한다고 주장합니다. 예를 들어, 로봇이 태블릿 화면 위에 놓인 바나나 사진을 본다면, 2D에 집중하는 로봇은 그 평면 이미지를 진짜 바나나라고 생각하여 잡으려고 시도할 수 있습니다. 또는, 로봇이 잘못된 위치에 서 있다면, 실제로 만질 수 없는 물체를 향해 손을 뻗을 수도 있습니다.

이를 해결하기 위해 연구팀은 "새로 고침이 가능한 3D 스케치패드"처럼 작동하는 시스템을 구축했습니다. 로봇은 단 하나의 사진만 보는 대신, 물체를 중심으로 카메라를 능동적으로 움직여 서로 다른 각도에서 네 번의 빠른 스냅샷을 찍습니다. 그런 다음, 이 사진들을 **세만틱 3D 가우시안 스플래팅(Semantic 3D Gaussian Splatting)**이라는 기술을 사용하여 흐릿하게 빛나는 3D 점 구름(point cloud)으로 변환합니다. 하지만 이것은 단순히 예쁜 그림이 아닙니다. 이 구름 속의 모든 점은 자신이 무엇인지(예: "바나나" 또는 "의자")와 공간의 어디에 있는지 알고 있습니다. 이 구름은 로봇이 서 있을 위치를 정하고, 장애물이 경로를 가로막는지 확인하며, 팔을 정확히 어떻게 움직여야 할지 지시하는 데 사용하는 공유 지도 역할을 합니다.

연구진은 실제 환경에서 로봇 개를 이용해 이 시스템을 테스트했습니다. 그들은 로봇이 이 3D 구름 지도를 사용했을 때 까다로운 상황을 훨씬 더 잘 처리한다는 것을 발견했습니다. 긴 단계의 복합 작업(서랍을 열고, 바나나를 꺼내서, 의자 위에 놓는 과정 등)에서, 3D 지도를 사용하지 않은 시스템은 40%의 성공률을 보인 반면, 전체 시스템은 60%의 성공률을 기록했습니다. 더욱 인상적인 점은, 목표 물체가 다른 물건들 사이에 숨겨진 "복잡한(cluttered)" 시나리오에서, 새 시스템은 74%의 성공률을 보인 반면 기존 방식들은 28%까지 낮은 성공률로 고전했다는 것입니다. 또한 이 시스템은 속임수에 쉽게 속지 않는다는 것을 증명했습니다. 실제 바나나가 사실적인 바나나 사진으로 교체되었을 때, 3D 지도를 가진 로봇은 가짜를 올바르게 무시했지만, 지도가 없는 로봇들은 평면 화면을 잡으려고 시도했습니다.

하지만 저자들은 이것이 모든 상황에 적용되는 마법의 해결책은 아니라는 점을 주의 깊게 언급합니다. 이 시스템은 물체가 매우 빠르게 움직이지 않는 "준정적(quasi-static)" 환경, 즉 거실 같은 곳에서 가장 잘 작동합니다. 로봇은 팔을 움직이기 전에 3D 지도를 구축하는 데 몇 초의 시간이 필요하므로, 공중에 날아가는 공을 잡도록 설계된 것은 아닙니다. 또한, 지도를 구축하는 데 필요한 복잡한 수학 연산은 로봇 자체가 아닌 외부의 강력한 컴퓨터에서 수행됩니다. 연구진은 이 접근 방식이 로봇이 주변 환경을 처리하는 능력을 크게 향상시키지만, 로봇이 스스로 휴대할 수 있을 만큼 더 빠르고 가볍게 만들기 위해서는 여전히 할 일이 남아 있다고 제안합니다. 궁극적으로, 이 논문은 로봇에게 주변 환경에 대한 명확하고 업데이트 가능한 3D 이해력을 부여하는 것이, 로봇을 우리의 실제적이고 지저분한 세상에서 유용하고 신뢰할 수 있는 조력자로 만드는 데 있어 중요한 단계임을 보여줍니다.

기술 요약: Semantic 3D Gaussian Splatting을 통한 개방형 어휘 모바일 조작을 위한 체화된 멀티모달 그라운딩 (Embodied Multimodal Grounding for Open-Vocabulary Mobile Manipulation via Semantic 3D Gaussian Splatting)

문제 정의

본 논문은 구조화되지 않은 가정 환경에서의 개방형 어휘 모바일 조작(open-vocabulary mobile manipulation) 과제를 다룹니다. 최근의 시각-언어-행동(Vision-Language-Action, VLA) 모델들이 언어 가이드 기반 인지 능력을 발전시켰음에도 불구하고, 실제 환경에서의 견고한 실행은 다음과 같은 몇 가지 실패 모드 때문에 여전히 어렵습니다:

취약한 그라운딩(Brittle Grounding): 2D 외관 단서에 의존하는 방식은 부분적 폐쇄(occlusion), 혼잡(clutter), 또는 "사진적 기만(photo deception)"(예: 타겟 물체를 사실적으로 보여주는 태블릿 화면) 상황에서 타겟 식별을 취약하게 만듭니다.
체화 제약(Embodiment Constraints): 물체를 정확히 국지화(localization)하더라도, 특히 장기 실행(long-horizon) 작업이나 타겟의 높이가 변하는 경우, 모바일 베이스가 팔의 작업 공간(workspace)과 관련하여 부적절하게 위치하면 조작이 실패할 수 있습니다.
교차 모달 정렬(Cross-Modal Alignment): 언어, 시각적 관측, 3D 기하학, 그리고 로봇 상태를 하나의 일관된 그라운딩된 행동으로 융합하는 것은 복잡한 과정입니다.

저자들은 본 연구의 범위를 임의의 기술을 제로샷(zero-shot)으로 습득하는 것이 아니라, 국부 작업 공간 내에서의 개방형 어휘 타겟 그라운딩에 초점을 맞춘 퓨샷 조작(few-shot manipulation)(제한된 데모를 통해 새로운 물체 인스턴스에 적응하는 것)으로 정의합니다.

방법론

제안된 프레임워크는 전체 인지-실행 파이프라인의 공유 인터페이스 역할을 하는 갱신 가능한 타겟 중심 Semantic 3D Gaussian Splatting (Semantic-3DGS) 표현을 중심으로 합니다.

1. 시스템 개요

시스템은 6-DoF 암(arm)과 손목 장착형 RGB 카메라가 장착된 Unitree Go2 Edu 사족 보행 로봇에서 작동합니다. 워크플로우는 다음과 같습니다:

능동적 다시점 센싱(Active Multi-View Sensing): 언어 지시를 받으면, 로봇은 국부 3D 장면을 구축하기 위해 손목 카메라 뷰 4개를 능동적으로 획득합니다.
Semantic-3DGS 구축: 이 뷰들을 사용하여 기하학적 구조와 의미론(semantics)이 통합된 국부 3D 필드를 구축합니다.
도달 가능성을 고려한 베이스 포지셔닝(Reachability-Aware Base Positioning): 타겟의 3D 위치와 팔의 작업 공간 제약 조건을 기반으로 최적의 베이스 스탠스(위치 및 높이)를 계산합니다.
Semantic-Conditioned VLA 실행: 사전 훈련된 확산 기반(diffusion-based) VLA 정책이 3D 시맨틱 단서에 따라 조건화되어 조작을 실행합니다.

2. 핵심 구성 요소

능동적 다시점 Semantic-3DGS

뷰 획득: 초기 이미지에서 시작하여 시스템은 타겟 구절을 추출하고 언어 관련성 맵(language relevance map)을 계산합니다. 시맨틱 커버리지, 뷰포인트 상보성, 모션 비용을 기준으로 후보 손목 카메라 포즈를 점수화하여, 정보 이득을 극대화할 다음 뷰를 선택합니다.
기하학 및 시맨틱스:
- 기하학: 사전 훈련된 VGGT 모델을 사용하여 카메라 파라미터와 조밀한 기하 구조를 예측함으로써 초기화됩니다.
- 시맨틱스: CLIP 및 DINOv2 특징이 가우시안 필드에 증류(distilled)됩니다. 마스크 인식 평균 풀링(mask-aware average pooling)을 통해 CLIP 특징을 정교화하며, 추출된 특징들과의 코사인 정렬을 통해 렌더링된 가우시안 특징을 최적화합니다.
개방형 어휘 국지화: 타겟 구절은 동결된(frozen) CLIP 텍스트 인코더를 통해 인코딩됩니다. 각 가우시안은 언어 관련성 점수를 부여받습니다. 3D 물체 위치와 6D 포즈는 단일 뷰의 외관 단서에 대한 의존도를 줄이기 위해, 선택된 고득점 가우시안 서포트를 활용한 PCA를 통해 추정됩니다.

도달 가능성을 고려한 베이스 자세 제어

타겟이 베이스 프레임 내에 국지화되면, 시스템은 사전 조작 스탠스( $x^*, y^*, \psi^*, h^*$ )를 계산합니다.

포지셔닝: 베이스는 타겟으로부터 고정된 오프셋( $d_x=0.35m, d_y=0.20m$ ) 위치에 배치됩니다.
높이 적응: 로봇은 타겟의 높이에 따라 서기(standing) 모드와 웅크리기(crouching) 모드 중 하나를 선택합니다 ( $z_{obj} < 0.30m$ 인 경우 웅크리기 트리거).
제어: Isaac Lab에서 시뮬레이션된 PPO 훈련 정책이 원하는 스탠스를 달성하기 위해 다리 관절 잔차(leg-joint residuals)를 출력합니다.

Semantic-3DGS-Conditioned VLA 정책

조작 정책은 DexVLA 스타일의 아키텍처(Qwen2-VL 백본 + ScaleDP 액션 엑스퍼트)를 기반으로 합니다.

입력 단서: 시스템은 언어 조건부 타겟 히트맵, 장애물 인식 점유(occupancy) 단서, 시맨틱 필드의 3채널 PCA 렌더링, 그리고 타겟 상대적 포즈 벡터를 결합합니다.
Late-Block Injection: 결정적으로, 3D 시맨틱 단서는 네트워크의 초기 레이어에 주입되지 않습니다. 대신, 경량화된 제로 초기화 어댑터를 통해 최종 5개의 디퓨전 블록(late action-expert blocks)에만 주입됩니다.
근거: 이 설계는 백본의 사전 훈련된 시각-운동(visuomotor) 프라이어를 보존하면서, 실행을 위한 명시적인 3D 그라운딩 및 장애물 인식을 추가합니다. 시맨틱 인코더, 투영 레이어, 그리고 어댑터만이 실제 데모(태스크당 10회)를 통해 퓨샷 학습됩니다.

주요 기여

체화된 멀티모달 그라운딩 정식화: 저자들은 국부 영역 모바일 조작을 체화된 멀티모달 그라운딩 문제로 정식화하였으며, 능동적으로 획득한 4개의 뷰로부터 타겟 중심의 Semantic-3DGS를 구축합니다.
공유된 인지-실행 인터페이스: 국부 Semantic-3DGS 필드는 능동적 센싱, 언어 그라운딩, 장애물 인식 추론, 타겟 상대적 포즈 추출, 그리고 VLA 정책의 late-block 컨디셔닝을 위한 통합된 인터페이스 역할을 합니다.
통합 검증: 시스템은 명시적인 3D 그라운딩을 도달 가능성 기반의 스탠스 준비와 결합하며, 장기 실행, 높이 변화, 사진적 기만, 심한 혼잡 상황을 포함하는 확장된 실제 로봇 실험(최대 50회 시행)을 통해 검증되었습니다.

실험 결과

시스템은 10회의 실제 데모를 사용하여 적응하는 방식으로, PointVLA 및 DexVLA와 같은 베이스라인 모델들과 함께 Unitree Go2 사족 보행 로봇을 대상으로 평가되었습니다.

장기 실행 조작: 50회의 시행 결과, 전체 시스템은 **60%**의 성공률을 달ей, PointVLA(40%)와 DexVLA(28%)를 능가했습니다. Base-RL 모듈을 제거했을 때 성능이 22%로 떨어졌으며, 이는 스탠스 준비의 필요성을 강조합니다.
높이 적응: 타겟 플랫폼 높이가 최대 75cm까지 변했을 때, 전체 시스템은 **75~80%**의 성공률을 유지했습니다. 베이스 재배치 기능이 없는 변형 모델들은 높은 높이 변화에서 완전히 실패했습니다(0% 성공률).
사진적 기만: 시스템은 태블릿 상의 사진처럼 사실적인 방해물을 성공적으로 거부했습니다(0% 오탐지 파지). 반면, RGB 전용 베이스라인(DexVLA, Single-View)은 높은 오탐지 파지율(최대 76%)을 보였습니다.
혼잡한 조작: 심한 혼잡 상황(50회 시행)에서 전체 시스템은 **74%**의 성공률을 기록하여, 단일 뷰 변형 모델(52%) 및 PointVLA(46%)보다 높은 성능을 보였습니다. 또한 충돌 없는 실행을 70%에서 88%로 개선했으며, 오탐지 파지를 18%에서 6%로 줄였습니다.
Ablation Study (소거 연구):
- CLIP/DINO 특징 또는 장애물 단서를 제거하면 성능이 크게 저하되었습니다.
- Late-block injection(최종 5개 블록)은 모든 블록에 주입하는 것보다 우수한 성공/지연 시간 트레이드오프(82% 대 75% 성공률)를 제공하며, 사전 훈련된 프라이어를 더 잘 보존하는 것으로 입증되었습니다.
- 능동적 다시점 센싱은 작업 시간에 약 3.7초를 추가하지만, 단일 뷰 방식에 비해 성공률을 22% 높였습니다.

의의 및 주장

본 논문은 명시적이고 갱신 가능한 3D 시맨틱 그라운딩이 혼잡, 폐쇄, 뷰포인트 변화 및 체화 제약 조건 하에서 모바일 조작의 견고성을 크게 향상시킨다고 주장합니다.

저자들이 강조한 핵심 요점은 다음과 같습니다:

2D를 넘어: 2D 외관 단서에서 3D 시맨틱 필드로 이동함으로써 폐쇄와 사진적 기만을 효과적으로 처리할 수 있습니다.
전체론적 협업: 성공은 단순히 팔의 정책뿐만 아니라, 인지(3D 그라운딩), 베이스 포지셔닝(도달 가능성), 그리고 행동 실행 간의 협업에 달려 있습니다.
프라이어 보존: 사전 훈련된 VLA의 후기 블록에만 3D 시맨틱을 주입함으로써, 시스템은 사전 훈련된 시각-운동 프라이어의 일반화 능력을 저하시키지 않으면서 공간적 그라운딩 능력을 얻습니다.
실용적 범위: 본 연구는 실시간 동적 상호작용이나 제로샷 기술 습득을 주장하기보다는, 짧은 능동적 그라운딩 단계가 허용되는 준정적(quasi-static) 가정 내 조작에 초점을 맞춥니다.

결과적으로, 공유된 객체 중심 3D 표현이 복잡한 실제 환경에서 상위 수준의 언어 지시와 하위 수준의 반응적 제어 사이의 간극을 메우는 강력한 멀티모달 인터페이스가 될 수 있음을 시사합니다.