💻 computer science

Dynamic Resilient Spatio-Semantic Memory with Hybrid Localization for Mobile Manipulation

본 논문은 하이브리드 SLAM 백엔드를 동적 시공간-의미론적 복셀 메모리 및 언어 조건부 타겟 국지화와 결래어 통합함으로써, 계산 효율성을 유지하면서도 장기 과업 성공률을 크게 향상시켜 동적이고 지도가 없는 실내 환경에서 신뢰할 수 있는 운용을 가능하게 하는 실로봇 모바일 조작 프레임워크인 DREAM을 제시한다.

원저자: Zhijie Yan, Shufei Li, Ze Zhang, Xin Liu, Yuhang Zheng, Zuoxu Wang

게시일 2026-06-02

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhijie Yan, Shufei Li, Ze Zhang, Xin Liu, Yuhang Zheng, Zuoxu Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

한 로봇이 한 번도 본 적 없는 방에 들어가는 상황을 상상해 보세요. 설계도도, 지도도 없습니다. 로봇의 임무는 간단합니다. "저 오렌지를 집어서 초록색 그릇에 담아라." 하지만 여기 함정이 있습니다. 로봇이 위치를 파악하는 동안, 사람이 몰래 들어와 오렌지를 다른 곳으로 옮길 수도 있다는 점입니다.

대부분의 로봇은 혼란에 빠질 것입니다. 오렌지가 원래 있었던 자리를 찾아 헤매다 결국 실패하게 됩니다. 이 논문은 사전 제작된 지도 없이도 이런 혼란스러운 상황을 처리할 수 있도록 특별히 설계된 로봇 시스템인 DREAM을 소개합니다.

DREAM이 어떻게 작동하는지 쉬운 개념으로 나누어 설명하겠습니다.

1. "살아있는" 기억 (동적 시공간-의미 기억)

표준적인 로봇 지도는 사진과 같습니다. 사진을 찍고 나면 그것은 정지된 상태입니다. 만약 사진 속의 의자를 움직인다고 해도 사진은 변하지 않으며, 로봇은 여전히 의자가 예전 위치에 있다고 생각합니다.

DREAM은 3D 복셀(voxel) 메모리를 사용하는데, 이는 마치 살아 움직이는 레고 구조물과 같습니다.

구축 방식: 로봇이 움직임에 따라 사진을 찍고 레이저(LiDAR)로 방을 스캔합니다. 로봇은 모든 작은 블록(복셀)이 단순히 형태뿐만 아니라, 그것이 무엇처럼 보이는지(예: "이 블록은 주황색이다")까지 기억하는 3D 그리드를 구축합니다.
마법 같은 업데이트: 만약 사람이 오렌지를 옮기면, 로봇의 센서가 새로운 위치를 포착합니다. DREAM은 단순히 새로운 블록을 추가하는 것에 그치지 않고, 오렌지가 원래 있던 자리의 예전 블록들을 능동적으로 삭제합니다. 이는 마치 우리가 그림을 지우면 자동으로 이전 그림을 지워주는 화이트보드처럼, 그림을 정확하게 유지하는 것과 같습니다.

2. "시간 여행" 수정 (하이브리드 위치 추정 및 RMP)

로봇은 종종 자신의 위치를 추적하는 과정에서 작은 실수를 범하곤 합니다. 시간이 흐르면서 이러한 작은 오류들이 쌓여, 로봇이 실제 위치와 다른 곳에 있다고 착각하게 만듭니다. 만약 로봇의 내부 지도가 현실과 어긋나게 되면, 오렌지는 주방에 있는데 로봇은 거실에 있다고 생각할 수도 있습니다.

DREAM에는 **중복성 인지 메모리 가지치기(Redundancy-Aware Memory Pruning, RMP)**라는 특별한 "시간 여행" 메커니즘이 있습니다.

비유: 당신이 길을 걸으며 일기를 쓰고 있다고 상상해 보세요. 만약 10분 전에 길을 잘못 들었다는 것을 깨달았다면, 단순히 앞으로 계속 써 내려가는 것이 아니라, 현재의 올바른 경로에 맞추기 위해 지난 10페이지를 되돌아가서 다시 쓰는 것과 같습니다.
결과: 로봇의 내부 GPS(SLAM)가 위치를 수정하면, DREAM은 즉시 메모리 블록을 새로운 올바른 위치로 재정렬합니다. 또한 메모리가 너무 가득 차면(하드 드라이브가 꽉 차는 것처럼), 효율적인 작동을 위해 오래되고 불필요한 세부 정보를 똑똑하게 삭제합니다.

3. "탐정"식 탐색 (하이브리드 위치 추정)

로봇은 물체를 찾을 때 단순히 추측하지 않습니다. 마치 3단계 탐정처럼 행동합니다.

대략적인 탐색: 로봇은 기억에 대고 "오렌지는 보통 어디에 보였지?"라고 물으며 유망한 3D 지점을 찾아냅니다.
시각적 확인: 카메라로 줌인하여 스마트 AI 탐지기를 통해 "그래, 저것은 오렌지처럼 보인다"라고 확정합니다.
최종 검증: 때때로 빨간 피망이 빨간 사과처럼 보일 수도 있습니다. 실수를 피하기 위해, DREAM은 멀티모달 거대 언어 모델(mLLM)—즉, 매우 똑똑한 AI 브레인—을 사용하여 사진을 보고 "잠깐, 저건 사과가 아니라 피망이야"라고 판단합니다. 로봇이 엉뚱한 것을 잡으려 하기 전에 가짜 경보를 거절하는 것입니다.

4. "스마트한" 움직임 (내비게이션 및 파지)

로봇은 물체의 위치를 알게 되면 단순히 그곳으로 직진하지 않습니다.

탐사: 만약 물체를 찾지 못한다면, 무작정 돌아다니지 않습니다. 로봇은 "가치 지도(value map)"를 사용하여, (얼마나 오랫동안 그곳을 확인하지 않았는지, 그리고 그 구역이 타겟과 얼마나 닮았는지에 기반하여) 물체가 있을 가능성이 가장 높은 미탐사 구석이 어디인지 결정합니다.
잡기: 물체에 가까워지면 2단계 접근 방식을 사용합니다. 먼저, 최적의 각도를 계획하기 위해 물체 위에서 안전하게 머뭅로니다. 그다음 천천히 움직입니다. 만약 물체가 미끄럽거나 로봇의 AI가 확신이 없다면, 물체를 위에서부터 잡는 "플랜 B"(단순한 기하학적 규칙)를 사용하여 물체를 떨어뜨리지 않고 확실히 잡습니다.

결과: 왜 중요한가

연구진은 물체가 끊임없이 움직이는 네 곳의 실제 실험실 환경에서 DREAM을 테스트했습니다.

성공률: 이전 시스템(DynaMem)과 비교했을 때, DREAM은 상황이 변하더라도 전체 작업(찾기, 잡기, 이동하기)을 완수하는 데 훨씬 뛰어난 성능을 보였습니다. 성공률이 약 40~~60%에서 **55~~70%**로 향상되었습니다.
효율성: 이 모든 복잡한 사고 과정을 수행함에도 불구하고, DREAM은 느려지거나 메모리가 부족해지지 않았습니다. DREAM은 "두뇌"를 작게 유지하며(0.6 GB 미만 사용), 지도를 업데이트하는 데 0.5초도 걸리지 않아 부드럽게 계속 움직일 수 있었습니다.

요약하자면: DREAM은 단순히 방을 한 번 외우는 것이 아니라, 정신적 지도를 끊임없이 업데이트하고, 자신의 실수를 바로잡으며, 자신이 보는 것을 재차 확인함으로써, 변화무쌍하고 어지러운 세상 속에서도 훨씬 더 신뢰할 수 있게 집안일을 수행하는 로봇입니다.

기술 요약: DREAM – 모바일 조작을 위한 하이브리드 로컬라이제이션 기반의 동적 회복 탄력적 시공간-시맨틱 메모리

1. 문제 정의

동적이고 이전에 본 적 없는 실내 환경에서 신뢰할 수 있는 모바일 조작(Mobile Manipulation)은 기하학적으로 일관되고, 시맨틱 쿼리가 가능하며, 환경 변화에 따라 계산량이 제한된 장면 표현을 유지해야 한다는 결정적인 과제에 직면해 있다. 기존 시스템들은 종종 사전에 구축된 지도, 정적 장면 가정, 또는 드리프트가 없는 카메라 포즈에 의존한다. 인간에 의해 대상 물체가 위치를 옮기거나, 루프 클로저(loop closure)를 통해 SLAM 포즈 추정이 수정될 때, 이러한 시스템들은 빈번하게 오래되거나 정렬이 어긋난 장면 정보 위에서 작동하게 된다. 이는 특히 로봇이 대상을 탐지하고, 그곳으로 이동한 뒤, 실행 도중 대상이 이동했을 때 다시 이를 재포착해야 하는 상황에서 취약한 내비게이션 및 조작 실패로 이어진다. 핵심 과제는 사전 지도가 없는 상태에서 포즈 그래프 업데이트와 물체 재배치 상황에서도 일관성을 유지하며, 장기적 과업(long-horizon tasks)을 지원할 수 있는 실행 가능한 장면 메모리를 온라인으로 구축하는 것이다.

2. 방법론

DREAM 프레임워크는 인지, 메모리, 로컬라이제이션, 내비게이션, 그리고 조작을 폐쇄 루프(closed-loop) 실로봇 시스템으로 통합하여 이 문제를 해결한다. 아키텍처는 세 가지 주요 모듈로 구성된다.

A. 다중 센서 SLAM 및 동적 시공간-시맨틱 메모리

DREAM은 시간적으로 일관된 카메라 포즈를 제공하기 위해 LiDAR-관성-시각 SLAM 백엔드(오도메트리를 위한 Fast-LIO2 및 루프 클로저 및 포즈 그래프 최적화를 위한 RTAB-Map)를 활용한다.

복셀 기반 메모리 (Voxel-Based Memory): 시스템은 RGB-D 관측으로부터 온라인 형태의 희소(sparse) 3D 시공간-시맨틱 복셀 메모리를 구축한다. 각 비어 있지 않은 복셀은 3D 위치, 관측 횟수, 소스 이미지 ID, 시맨틱 특징 벡터(SigLIP을 통해 추출), 그리고 최신 관측 타임스탬프를 저장한다.
동적 업데이트 (Dynamic Updates): 메모리는 새로운 관측을 추가(깊이 역투영 및 시맨틱 특징 연관)하고 오래된 복셀을 제거함으로써 업데이트된다. 제거는 레이 캐스팅(ray casting)을 통해 수행된다. 만약 복셀이 카메라와 새로 관측된 표면 사이의 프러스트럼(frustum) 내에 있고 3m 이내에 있다면, 해당 복셀은 빈 공간으로 표시된다.
중복 인식 메모리 프루닝 (Redundancy-Aware Memory Pruning, RMP): 포즈 그래프 수정(예: 루프 클로저) 시 오래된 데이터가 축적되는 것을 방지하기 위해, DREAM은 RMP를 채택한다. 이 메커니즘은 두 가지 결합된 동작을 수행한다:
1. 포즈 그래프 인식 재통합 (Pose-Graph-Aware Reintegration): 원래의 통합 포즈와 포즈 그래프에서 최적화된 포즈를 비교한다. 상당한 불일치(변위 또는 회전 임계값 초과)가 감지되면, 시스템은 수정된 포즈를 사용하여 과거 관측치의 "글로벌(Global)", "리전(Regional)", 또는 "로컬(Local)" 재통합을 트리거한다.
2. 키프레임 가이드 프루닝 (Keyframe-Guided Pruning): 메모리 용량을 제한하기 위해, 시스템은 고정된 용량( $l_{mc}$ )을 유지한다. 히스토리가 이 용량을 초과하면, 키프레임보다 중간 프레임을 우선적으로 제거하여 가장 오래된 관측치를 프루닝한다. 시맨틱 특징은 키프레임과 최근 관측치에 대해서만 유지되며, 오래된 비-키프레임은 기하학적 데이터만을 저장한다.

B. 하이브리드 로컬라이제이션 및 과업 지향형 내비게이션

하이브리드 로컬라이제이션 (Hybrid Localization): 오픈 보캐블러리 시나리오에서 대상을 찾기 위해, DREAM은 3단계 파이프라인을 사용한다:
1. 조粗한 검색 (Coarse Retrieval): 언어 쿼리를 인코딩하여 복셀 메모리의 시맨틱 특징과 매칭함으로써 신뢰도가 높은 복셀과 그에 연관된 RGB 이미지를 검색한다.
2. 오픈 보캐블러리 탐지 (Open-Vocabulary Detection): 오픈 보캐블러리 탐지기(OWL-v2)가 검색된 이미지를 처리하여 3D 객체 가설을 생성한다.
3. mLLM 검증 (mLLM Verification): 멀티모달 대규모 언어 모델(Qwen-VL-Max)이 탐지 결과를 검증하여, 시각적 또는 시맨틱 측면에서 일관성이 없는 후보(예: "핫도그"와 "햄버거"를 구분)를 거부한다.
내비게이션 및 탐사 (Navigation and Exploration): 시스템은 그리드 기반 A* 플래너를 사용한다. 대상이 로컬라이제이션되면 직접 이동한다. 그렇지 않으면 가치 유도형 탐사(value-guided exploration) 모드로 전환한다. 이 모드는 최신성(Recency)(미관측 영역 우선)과 시맨틱 유사도(Semantic Similarity)(쿼리와 일치하는 영역 우선)의 결합 점수를 바탕으로 프런티어 셀을 선택한다. 내비게이션은 장면 변화에 강건하게 대응하기 위해 후퇴 지평선(receding-horizon) 방식(1~1.5m 앞을 계획)으로 실행된다.

C. 파지 및 배치 전략 (Grasping and Placement Strategy)

파지 (Grasping): 시스템은 후보 생성용 AnyGrasp와 반사적이거나 노이즈가 심한 표면을 위한 휴리스틱 폴백(fallback)을 결합한 모듈형 스택을 사용한다. 2단계 실행 정책(프리-그라스 접근 후 최종 접근)은 충돌 없는 접촉을 보장한다.
배치 (Placement): 대상 컨테이너(예: 그릇)에 도달하면, 시스템은 컨테이너 내부의 포인트 클라우드 분석을 통해 안전한 배치 포즈를 추정하고, 측면 충돌을 최소화하기 위해 2단계 배치 동작을 실행한다.

3. 주요 기여

폐쇄 루프 실로봇 프레임워크: DREAM은 사전 구축된 지도 없이 동적인 실내 환경에서 모바일 조작을 수행하는 완전한 시스템으로 제시되며, SLAM, 시맨틱 메모리, 대상 재포착, 조작을 통합한다.
RMP를 갖춘 동적 시공간-시맨틱 메모리: 포즈 그래프 인식의 과거 관측치 재통합과 키프레임 가이드 프루닝을 지원하는 메모리 메커니즘을 소개한다. 이를 통해 포즈 수정 시에도 3D 시맨틱 증거가 정렬된 상태를 유지하면서 관측 히스토리를 제한된 범위 내로 유지할 수 있다.
하이브리드 로컬라이제이션 파이프라인: 언어 조건부 3D 검색, 오픈 보캐블러리 이미지 탐지, mLLM 기반 검증을 결합하여 언어 쿼리를 견고하게 접지(grounding)하고 재배치된 대상을 재포착하는 새로운 파이프라인을 개발하였다.
시스템 레벨 평가: 네 가지 동적 실내 장면에서 실제 모바일 조작 플랫폼을 통해 프레임워크를 평가하였으며, 강력한 베이스라인 대비 장기 과업 성공도 측면에서 개선된 성능을 입증하였다.

4. 실험 결과

실험은 다양한 장애물 밀도와 복도 너비를 가진 네 가지 실제 실험실 장면(S1–S4)에서 수행되었다. 로봇에게는 자연어 지시(예: "오렌지를 집어서 초록색 그릇에 담아줘")가 주어졌으며, 실행 도중 대상이 수동으로 재배치되었다.

과업 성공도: DREAM은 네 가지 장면에서 DynaMem 베이스라인의 40%–60% 성공률을 55%–70%로 향상시켰다. 구체적으로, DREAM은 80회 시도 중 50회 성공(62.5%)을 기록하여, DynaMem의 39회 성공(48.8%)보다 높은 종합 성공률을 달eric했다.
하위 과업 성능: DREAM은 내비게이션(최대 89.2% vs 85.7%), 픽업(최대 94.4% vs 92.9%), 배치(최대 93.3% vs 92.3%) 성공률에서 일관된 이득을 보였다.
메모리 및 효율성: DREAM은 모든 장면에서 0.37–0.63 GB의 컴팩트한 메모리 풋프린트를 유지하였는데, 이는 최대 10.43 GB에 달했던 DynaMem보다 현저히 작은 수치이다. 온라인 메모리 업데이트 시간은 프레임당 0.43–0.53초로, DynaMem보다 약 2~4배 빠르며 110초/프레임을 초과했던 DovSG보다 훨씬 효율적이다.
절제 연구 (Ablation Studies):
- 파지: 전체 구성(AnyGrasp + 휴리스틱 + 2단계 실행)은 94%의 픽업 성공률을 달성하여, 휴리스틱 전용(67%) 및 AnyGrasp 전용(79%) 변형 모델보다 우수한 성능을 보였다.
- 로컬라이제이션: 전체 하이브리드 로컬라이제이션 파이프라인(SigLIP + OWL-v2 + mLLM 검증)은 83%의 객체 로컬라이제이션 성공률을 달성하였으며, 이는 mLLM 검증이 없는 변형 모델(75–77%)보다 높은 수치로, 시맨틱 검증이 방해 요소를 거부하는 데 유효함을 입증하였다.

5. 의의 및 주장

본 논문은 물체가 빈번하게 이동하고 SLAM 포즈가 정교화되는 동적 환경에서 모바일 조작을 위한 견고한 솔루션을 DREAM이 제공한다고 주장한다. LiDAR-관성-시각 SLAM 백엔드를 동적 시공간-시맨틱 메모리 및 중복 인식 메모리 프루닝과 결 결합함으로써, 시스템은 컴팩트하고 시간적으로 일관된 3D 표현을 유지한다. 본 연구의 의의는 사전 지도나 정적 가정에 의존하지 않고도 빈번한 환경 변화 속에서 일관된 장면 이해와 신뢰할 수 있는 조작을 수행할 수 있다는 점에 있다. 저자들은 시스템이 반복적인 경험적 이득을 달성했음에도 불구하고, 현재는 픽 앤 플레이스(pick-and-place) 과업에 국한되어 있으며 모듈형/휴리스틱 설계가 매우 긴 호라이즌에서 오류를 누적할 수 있음을 언급하며, 향에 대한 작업으로 능동적 재감지(active re-sensing) 및 촉각 인지 조작을 제안하였다.