ExPrIS: Knowledge-Level Expectations as Priors for Object Interpretation from Sensor Data

기술 요약: ExPrIS – 객체 해석을 위한 지식 수준의 기대치(Expectations)로서의 사전 지식(Priors)

문제 정의
딥러닝은 데이터 기반 접근 방식을 통해 로봇의 객체 인식 기술을 크게 발전시켰으나, 이러한 방법들은 의미론적 일관성이 부족하며 환경에 대한 가치 있는 기존 지식을 활용하지 못하는 경우가 많다. 순수하게 데이터에만 의존하는 모델은 환경적 맥락, 특히 가려진 영역이나 최근에 관찰되지 않은 객체에 대한 정보 처리에 어려움을 겪는다. 기존의 오픈셋(open-set) 3D 시맨틱 씬 그래프(3DSSG) 구축 방식은 대개 하위 단계의 심층 신경망 성능에만 의依存하며, 센서 데이터 스트림으로부터 얻은 이전 관측값이나 상위 수준의 지식을 무시한다. 본 연구가 다루는 핵심 연구 질문은 지식 수준의 기대치를 현대적인 씬 그래프 생성 방법 내에서 사전 지식(priors)으로서 어떻게 효과적으로 처리할 것인가이다.

방법론
ExPrIS 프로젝트는 지식 수준의 기대치를 통합하기 위해 3D 시맨틱 씬 그래프(3DSSG)의 점진적 구축을 기반으로 한 아키텍처를 제안한다. 방법론은 다음 세 가지 주요 구성 요소로 구조화된다:

1. 동적 3DSSG 아키텍처:

   • 시스템은 저수준 객체부터 고수준 개념(방, 건물)에 이르기까지 다양한 노드 및 엣지 유형을 가진 다층 구조의 계층적 이종 그래프(heterogeneous graph)를 활용한다.
   • 고정된 객체-장소-방 구조와 같은 경직된 계층 구조나 단순한 거리 휴리스틱 연결과 달리, 제안된 설계는 모듈식이며 확장 가능하다. 이는 공간적 관계와 의미론적 관계를 분리하며, 복합 개념의 동적 추론을 지원한다.
   • 기하학적 표현을 위해, 시스템은 TSDF(Truncated Signed Distance Function) 메쉬 대신 바운딩 볼륨(bounding volumes)과 희소 복셀 그리드(sparse voxel grids)를 채택한다. 이 선택은 의미론적 추론 및 다운스트림 작업에 충분한 수준의 정밀도를 유지하면서도, 조밀한 재구성(dense reconstruction)에 따르는 높은 계산 오버헤드 없이 효율적인 저장, 조작 및 PyTorch 통합을 통한 빠른 GPU 가속 처리를 우선시한다.
   • 그래프는 RGB-D 센서 데이터로부터 물리적 접촉 및 지지 관계를 바탕으로 하향식(bottom-up) 방식으로 점진적으로 구축된다.

2. 지식 기반 기대치 생성:

   • 시스템은 "기대치(expectations)"를 추론 단계 이전에 가용할 수 있는 추가 정보로 정의한다. 두 가지 유형이 통합된다:
     • 맥락(Context): 이전 프레임으로부터 구축된 글로벌 3DSSG를 포함한 이전 관측으로부터 얻은 동적 정보.
     • 지식(Knowledge): 외부 지식 그래프, 구체적으로는 ConceptNet에서 추출한 정적이고 일반적인 도메인 정보.
   • ConceptNet의 노이즈와 규모를 관리하기 위해, 시스템은 특정 노드 클래스와 관계 유형을 기반으로 한 너비 우선 탐색(breadth-first search)을 사용하여 관련 서브그래프를 추출한다. 또한, 메시 전달(message passing)을 위한 특징 벡터를 생성하기 위해 그래프 임베딩 알고리즘을 구현하여 사전 계산된 임베딩의 대안을 제공한다.

3. 기대치 편향 머신러닝(Expectation-Biased Machine Learning):

   • 핵심 학습 메커니즘은 GraphSAGE 또는 HGT와 같은 이종 그래프 신경망(Heterogeneous GNN)을 사용한다.
   • 아키텍처는 글로벌 레이어(과거 관측값과 의미론적 사전 지식을 집계)와 로컬 레이어(현재 프레임을 표현)로 구성된다.
   • 교차 레이어 엣지(Cross-layer edges)는 정보 흐름을 촉진하여, 모델이 축적된 맥락을 활용함으로써 부분적으로 관찰된 객체에 대한 예측을 정교화할 수 있도록 한다.
   • 글로벌 노드는 사전 지식 기반 특징(예: 이전에 예측된 라벨, CLIP 임베딩)으로 풍부해진다. 이러한 사전 지식은 고정된 벡터로 인코딩되는 것이 아니라 그래프 구조 내에 직접 통합된다.
   • 학습 목표는 로컬 그래프의 노드 및 엣지 예측에 대한 복합 손실(composite loss)에 집중한다. 결정적으로, 글로벌 그래프는 손실 함수에 대한 직접적인 감독 신호(supervision signal)가 아니라 추론 과정에서의 편향(biasing) 메커즘 역할을 한다.

주요 기여

• 지식 사전 지식의 통합: 본 논문은 맥락적 사전 지식(과거 센서 데이터로부터의 정보)과 의미론적 지식(ConceptNet과 같은 외부 그래프)을 3DSSG 생성의 추론 과정에 직접 임베딩하는 새로운 접근 방식을 제시한다.
• 모듈형 3DSSG 설계: 경직된 계층 구조와 단순한 거리 휴리스틱을 넘어, 동적 추론과 도메인 특화 추상화를 지원하는 유연하고 확장 가능한 3DSSG 레이어 설계를 도입한다.
• 효율적인 기하학적 표현: TSDF 메쉬 대신 바운딩 볼륨과 희소 복셀 그리드를 채택함으로써, 의미론적 작업을 위한 충분한 충실도를 유지하면서도 실시간 로봇 인지에 적합한 확장 가능하고 효율적인 처리를 가능하게 한다.
• 기대치 편향 GNN: 글로벌 그래프가 추론 중에 능동적이고 동적인 편향 메커니즘으로 작용하여, 시간 경과에 따른 의미론적 일관성과 안정성을 향상시키는 학습 프레임워크를 개발한다.

결과 및 평가
본 논문은 현재 아키텍처 설계 및 오프라인 분석 단계에 있으므로, 실제 배치된 로봇으로부터의 최종 실험 결과는 제시하지 않는다.

• 현재 상태: 3DSSG 구현은 모듈식으로 구성되어 있다. 기대치 편향 GNN 모델은 제안된 아키텍처의 맥락에서 평가되었으며, 상세한 결과와 코드는 별도의 출판물 [15] 및 GitHub에서 확인할 수 있다.
• 계획된 평가: 저자들은 Mobipick 모바일 매니퓰레이터 플랫폼에서 수행될 종합적인 평가 계획을 설명한다. 시스템은 실험실 환경에서의 "정리(tidy-up)" 시나리오를 수행하게 된다. 여기에는 다음이 포함된다:
  1. 환경을 탐색하여 시맨틱 맵 구축.
  2. "제자리에 있지 않은" 객체를 식별하고 재배치.
  3. 모호성을 해결하기 위해 현재 및 올바른 의미론적 맥락 모두에 대해 추론.
• 가설적 결과: 저자들은 기대치 편향 접근 방식이 맥락이 없는 프레임 단위 모델에 비해, 특히 부분적 관찰이나 지각적 모호함이 존재하는 상황에서도 장기 운영 시 의미론적 일관성과 안정성 측면에서 명확한 우위를 보일 것이라고 가설을 세운다.

의의
ExPrIS 프로젝트의 의의는 순수 데이터 기반 딥러닝과 지식 기반 추론 사이의 간극을 메우려는 시도에 있다. 지식 수준의 기대치를 사전 지식으로 취급함으로써, 이 접근 방식은 정적인 프레임 단위 분석을 넘어 시간에 따라 더 견고하고 의미론적으로 일관된 장면 이해를 구축하는 것을 목표로 한다. 이러한 통합은 지식이 로컬 예측에 미치는 영향을 추적 가능하게 함으로써, 장기 자율 운영, 대규모 시맨틱 매핑, 그리고 설명 가능한 AI(XAI)를 지원하도록 설계되었다. 이 프로젝트는 비전-언어 모델을 활용하여 오픈 보캐블러리(open-vocabulary) 쿼리를 수행하는 자매 프로젝트인 LIEREx와 협력하며, 이를 통해 심볼릭 지식과 멀티모달 오픈셋 인식을 결합하는 것을 목표로 한다.