ObsGraph: Hierarchical Observation Representation for Embodied Reasoning and Exploration

기술 요약: ObsGraph

문제 정의

복잡하고 낯선 환경에서 작동하는 자율 로봇은 근본적인 과제에 직면합니다. 즉, 과제 완수에 필요한 정보를 식별하고 획득하기 위해 능동적으로 탐색해야 한다는 것입니다. 기존 방식들은 **장면 표현(scene representation)**과 과제 조건부 접근(task-conditioned access) 사이의 트레이드오프(trade-off) 문제로 어려움을 겪고 있습니다.

• 조밀한 3D 표현(예: 복셀 맵)은 풍부한 기하학적 및 의미론적 정보를 보존하지만, 명시적인 추상화가 부족하여 과제와 관련된 영역을 선택적으로 추출하기 어렵고, 탐색이 확장됨에 따라 확장성(scalability)이 제한됩니다.
• **장면 그래프(Scene graphs)**는 압축된 구조적 추상화를 제공하지만, 과제가 지정되기 전에 성급하게 추상화를 수행하는 경향이 있어, 향후 과제에 결정적인 역할을 할 수 있는 시각적 증거를 버릴 위험이 있습니다.
• **이미지 기반 추론(Image-based reasoning)**은 풍부한 시각적 세부 사항을 보존하지만 명시적인 구조적 조직이 부족하여, 추가 정보가 어느 수준까지 필요한지를 추론하기 어렵게 만듭니다.

나아가, 기존 방법들은 **탐색 범위(exploration scope)**를 적응적으로 선택하는 데 실패하는 경우가 많습니다. 로봇은 무엇이 누락되었는지뿐만 아니라, 정보 격차를 효율적으로 해결하기 위해 추가 정보가 어느 수준의 추상화 단계(방, 뷰, 또는 객체)에서 필요한지도 추론할 수 있어야 합니다.

방법론: ObsGraph

저자들은 관측 중심 장면 표현(observation-centric scene representation), 계층적 검색(hierarchical retrieval), 그리고 **적응형 탐색(adaptive exploration)**을 긴밀하게 통합한 통합 프레임워크인 ObsGraph를 제안합니다. 핵심 혁신은 시각적 관측치를 방(Room), 뷰(View), **객체(Object)**라는 세 가지 뚜렷한 계층으로 조직하는 계층적 장면 그래프입니다.

1. 관측 중심 장면 그래프 (Observation-Centric Scene Graph)

환경을 추상적인 속성으로 요약하는 방식과 달리, ObsGraph는 시각적 관측치 자체를 유지하며 이를 계층적으로 조직합니다:

• 방 계층 (Room Layer): 거친 공간적 앵커 역할을 합니다. 추론된 방 유형을 저장하고 뷰를 방 단위로 조직합니다. 방 할당은 VLM의 방 유형 및 객체 소속 예측을 사용한 베이지안 추론을 통해 업데이트되며, 직접적인 예측과 객체 수준의 단서를 결합하여 견고성을 확보합니다.
• 뷰 계층 (View Layer): 객체의 공동 가시성(co-visibility)을 문맥 정보로 보존합니다. 모든 이미지를 저장하는 대신, 저자들은 **정보가 풍부한 뷰 선택 전략(informative view selection strategy)**을 제안합니다. 이 방법은 객체의 공동 가시성을 기반으로 한 응집 클러스터링(agglomerative clustering)을 사용하여, 시각적 중복을 피하면서 다양한 객체 관계를 포착하는 뷰의 하위 집합을 선택합니다. 대표 뷰는 CLIP 유사도에 따라 클러스터에 할당되어, 압축적이면서도 문맥이 풍부한 계층을 보장합니다.
• 객체 계층 (Object Layer): 감지된 각 객체에 대한 객체 중심 크롭(crop) 이미지를 저장합니다. 이는 더 넓은 뷰 계층에서 모호하거나 손실될 수 있는 미세한 시각적 세부 사항을 제공합니다.

그래프는 새로운 관측치가 들어옴에 따라 점진적으로 업데이트되며, 새로운 객체를 통합하고 클러스터를 정교화하는 동시에 안정적인 상위 수준의 추상화를 유지합니다.

2. 계층적 검색 (Hierarchical Retrieval)

과제가 주어지면, 시스템은 제한된 쿼리 예산을 가진 대규모 언어 모델(LLM)을 사용하여 거친 수준에서 미세한 수준으로의 검색(coarse-to-fine retrieval) 과정을 수행합니다.

• 검색은 계층 구조(방 $\to$ 뷰 $\to$ 객체)를 따라 진행되며, 탐색 공간을 점진적으로 좁힙니다.
• 각 계층에서 LLM은 과제 관련성에 따라 최대 $k$개의 관련 노드를 선택합니다.
• 다음 계층을 위한 후보 공간은 선택된 노드들과 구조적으로 연결된 노드로 제한되어, 전수 조사를 위한 LLM 호출 없이도 다중 분기 추론을 가능하게 합니다.
• 이 과정은 특정 방 유형, 뷰, 객체 크롭을 검색하여 과제를 위한 증거 기반을 형성합니다.

3. 적응형 탐색 전략 (Adaptive Exploration Strategy)

검색 결과는 **탐색 후보 공간(exploration candidate space)**을 직접적으로 구조화합니다. 만약 검색된 증거가 과제를 완수하기에 불충분하다면, 시스템은 정보 격차가 식별된 추상화 수준에 해당하는 탐색 옵션을 활성화합니다:

• 방 탐색 (Room Exploration): 관련 있는 방은 식별되었으나 해당 방 내에 탐색되지 않은 영역이 존재하는 경우 트리거됩니다. 에이전트는 해당 방 내의 탐색되지 않은 클러스터를 목표로 합니다.
• 뷰 정교화 (View Refinement): 관련 있는 뷰는 식별되었으나 관측이 불충분한 경우(예: 규모, 폐쇄, 또는 각도 문제) 트리거됩니다. 에이전트는 더 풍부한 증거를 얻기 위해 "더 가까운 뷰", "더 넓은 문맥", 또는 "다른 각도"와 같은 전략을 선택합니다.
• 경계 탐색 (Frontier Exploration): 특정 수준에서 유효한 정보를 제공하지 못할 때, 더 넓은 장면 관측을 수집하기 위한 기본 옵션으로 작동합니다.

VLM은 구조화된 옵션과 검색된 증거를 바탕으로 추론하여 가장 적절한 탐색 대상을 선택하며, 이를 통해 고수준의 의미론적 추론을 저수준의 좌표 계산으로부터 분리합니다.

4. 종료 체크 (Termination Check)

별도의 VLM 쿼리가 축적된 증거가 과제에 답하기에 충분한지를 결정하여, 불필요한 탐색을 방지합니다.

주요 기여

1. 과제 불가지론적 관측 중심 장면 그래프: 풍부한 시각적 증거를 보존하면서 과제 지향적 추론을 위해 구조화된 계층적 표현(방-뷰-객체)을 제공합니다.
2. 정보가 풍부한 뷰 선택: 다양한 객체의 공동 가시성 패턴을 보존하면서 중복을 최소화하는, 클러스터링 기반의 압축된 뷰 계층 구축 전략을 제시합니다.
3. 장면 그래프 가이드 검색: 계층적 구조 및 의미론적 문맥을 활용하여 누락된 과제 관련 정보를 식별하는 거친 수준에서 미세한 수준으로의 검색 체계를 활용합니다.
4. 적응형 탐색: 식별된 정보 격차의 추상화 수준에 따라 탐색 규모(방, 뷰 정교화, 또는 경계)를 동적으로 조정하는 전략을 제공합니다.

실험 결과

저자들은 EM-EQA(에피소딕 메모리), A-EQA(능동적 탐색), GOAT-Bench(목표 지향적 내비게이션)의 세 가지 벤치마크에서 ObsGraph를 평가했습니다.

• EM-EQA (표현력): ObsGraph는 **61.5%**의 LLM-Match 정확도를 달 기록하며, SOTA인 3D-Mem(57.2%) 및 기타 베이스라인을 능가했습니다. 이는 시각적 증거와 구조적 문맥을 모두 보존하는 것이 우수한 성능을 낸다는 것을 입증했습니다. 특히, 평균 쿼리 프레임 수를 0.2만큼만 증가시키면서도 3D-Mem보다 4.3포인트 높은 정확도를 보였습니다.
• A-EQA (탐색): ObsGraph는 **LLM-Match (54.5%)**와 **LLM-SPL (45.0)**에서 최고치를 기록하며, 3D-Mem(49.6% / 37.0%)을 앞질렀습니다. 이는 본 프레임워크가 정보를 더 잘 검색할 뿐만 아니라 탐색을 더 효율적으로 가이드한다는 것을 나타냅니다.
• GOAT-Bench (내비게이션): 목표 지향적 내비게이션에서 ObsGraph는 **72.7%의 성공률(SR)**과 51.5 SPL을 달성하여, 3D-Mem(69.1% SR)을 포함한 모든 베이스라인을 능가했습니다.

**어블레이션 연구(Ablation Studies)**를 통해 각 계층(방, 뷰, 객체)과 각 탐색 옵션(방, 뷰 정교화, 경계)이 정확도와 효율성 모두에 유의미하게 기여함을 확인했습니다. 뷰 선택 전략이나 계층 구조를 제거했을 때 성능이 눈에 띄게 하락했습니다.

의의 및 주장

본 논문은 ObsGraph가 장면 표현, 검색, 탐색을 하나의 과제 지향적 루프로 성공적으로 통합했음을 주장합니다. 검색된 추상화 수준에 따라 탐색 후보 공간을 구조화함으로써, 시스템은 표적화된 정보 수집을 가능하게 합니다.

저자들은 다음과 같은 방식으로 기존 연구의 한계를 해결했다고 강조합니다:

• 유용한 시각적 증거를 버리는 성급한 추상화를 피합니다.
• 추가 정보가 어느 수준까지 필요한지를 추론할 수 있는 명시적인 메커니즘을 제공합니다.
• 로봇이 거친(방) 탐색과 미세한(뷰/객체) 탐색 규모 사이를 적응적으로 전환할 수 있게 합니다.

결론적으로, 이 접근 방식은 VLM 추론(지각 또는 언어 오류에 민데할 수 있음)에 의존하지만, 구조화된 장면 표현이 복잡한 환경에서의 체화된 추론(embodied reasoning) 및 탐색의 성공과 효율성을 크게 향상시킨다는 것을 보여줍니다. 향후 연구로는 더 견고한 기하학적 추론 통합 및 장기적(long-horizon) 과제로의 확장이 제안되었습니다.