기술 요약: 설명 가능한 로봇 학습을 위한 구조적 이미지 표현 (SIR)

문제 정의

학습된 시각적 임베딩에 기반한 기존 로봇 정책은 명시적인 구조가 부족하고 시각적 방해 요소에 민감합니다. 이러한 임베딩은 시각적 정보의 압축된 인코딩을 제공하지만, 여전히 불투명하여 의사결정 과정을 해석하기 어렵습니다. 또한, 실제 환경의 수많은 관찰된 객체들 속에서 작동하는 실제 로봇 에이전트의 경우, 성능과 설명 가능성을 모두 촉진할 수 있는 구조적이고 표현력 있는 장면 표현(scene representation)에 대한 요구가 커지고 있습니다. 현재의 접근 방식들은 종종 비구조적인 시각적 특징에 의존하거나 복잡한 계획 알고리즘을 필요로 하며, 이는 명시적인 키포인트(key-points) 없는 단계별 학습에 적용하는 데 한계가 있습니다.

방법론: 구조적 이미지 표현 (SIR)

저자들은 로봇 정책 학습을 위한 중간 표현으로서 **장면 그래프(Scene Graphs, SGs)**를 활용하는 구조적 이미지 표현(Structured Image Representations, SIR) 프레임워크를 제안합니다. 사후 분석적(post-hoc) 설명 방법과 달리, SIR은 희소 그래프(sparse graph)가 동작 생성 과정 중 학습된 중간 상태로서 역할을 하기 때문에 본질적으로 설명 가능합니다.

아키텍처는 네 가지 핵심 구성 요소로 이루어집니다:

1. 장면 그래프 생성:

   • 시스템은 객체들이 장면 내에서 노드로 표현되는 초기 **완전 연결 그래프(Fully-Connected Graph, FC-Graph)**를 구축합니다 (지면 참조(ground-truth) 또는 예측된 세그멘테이션 마스크를 통해 객체 탐지).
   • 초기 노드 표현은 다음과 같은 다양한 이미지 모달리티로부터 유도됩니다:
     • Label: 원-핫 인코딩된 객체 레이블.
     • Cropped-Image-Feature: 객체 바운딩 박스 크롭(crop)에 적용된 사전 학습된 네트워크(예: ResNet18)로부터 얻은 시각적 임베딩.
     • BB-Coordinates: 정규화된 2D 바운딩 박스 좌표.
     • Point-Cloud-Feature: 객체 포인트 클라우드에 적용된 사전 학습된 네트워크(예: PointNet)로부터 얻은 임베딩.
   • 엣지(edge) 특징은 기하학적 거리를 기반으로 초기화되거나 1로 설정됩니다.

2. 학습 가능한 그래프 희소화 (Learnable Graph Sparsification):

   • FiLMDecoder(언어 목표에 따라 조건화된 적응형 레이어 정규화를 갖춘 2계층 트랜스포머 디코더)라고 불리는 학습 가능한 모듈이 모든 노드에 대한 점수를 예측합니다.
   • 시스템은 **지시문 기반 노드 선택(instruction-grounded node selection)**을 사용하여 가장 높은 점수를 받은 상위 $k$개의 노드만을 유지함으로써, 최소한의 작업 관련 서브 그래프(sub-graph)를 생성합니다.
   • 희소화가 학습 가능하고 미분 가능하도록 보장하기 위해, 저자들은 다음을 도입했습니다:
     • 노드 점수의 균등 분포를 장려하고 붕괴를 방 ngăn하기 위한 소프트 히스토그램 손실(soft histogram loss).
     • 지시문과 관련된 노드를 선택하도록 유도하는 노드 가중치에 대한 L1 손실.
     • 노드 가중치($NW$)가 엣지 가중치와 풀링(pooling) 단계에 포함되는 메커니즘. 이는 "제거된" 노드의 정보가 최종 그래프 임베딩으로 전파되지 않도록 보장하여, 희소화가 진정으로 엔드 투 엔드(end-to-end)로 이루어지게 합니다.

3. 장면 그래프 임베딩 생성:

   • 희소 서브 그래프는 잔차 연결(residual connections)을 가진 2계층 **그래프 어텐션 네트워크(GATv2)**에 의해 처리됩니다.
   • 전역 평균 풀링 레이어가 유지된 노드들의 특징을 집계하여 최종 장면 표현(그래픽 임베딩)을 생성합니다.

4. 동작 생성:

   • 생성된 그래프 임베딩은 CLIP을 통해 임베딩된 언어 목표와 결려 하위 단계의 동작 생성기를 위한 상태 입력으로 사용됩니다. 저자들은 두 가지 생성기인 **멀티모달 디퓨전 트랜스포머(MDT)**와 행동 복제(BC)-트랜스포머를 평가합니다.

주요 기여

1. GCIL에서의 SG 조사: 본 논문은 장면 그래프를 로봇 학습을 위한 직접적인 상태 표현으로 사용하는 것에 대한 철저한 조사를 제공하며, 어떤 이미지 모달리티(상징적, 기하학적, 시각적)가 효과적인 초기 노드 특징 역할을 하는지 체계적으로 분석합니다.
2. 학습 가능한 희소화: 저자들은 엔드 투 엔드로 학습 가능한 SG 희소화 방법을 제안합니다. 이는 모델의 의사결정 과정에 대한 직접적인 설명을 제공하는 희소 서브 그래프를 생성하며, 어떤 객체와 상호작용이 결정적인지를 밝혀냅니다.
3. 본질적 설명 가능성: 학습된 서브 그래프와 인간의 기대치(예: 방해 요소의 포함 또는 핵심 객체의 누락) 사이의 편차를 분석함으로써, 이 방법은 데이터셋의 편향(예: 가짜 상관관계 및 위치 편향)을 탐지할 수 있게 합니다.

실험 결과

이 방법은 RoboCasa 및 CALVIN 벤치마크에서 구성당 100회의 롤아웃(rollout)을 사용하여 평가되었습니다.

• 성능: RoboCasa에서 SIR은 평균 성공률 **19.5%**를 달성하여, 이미지 기반 베이스라인(14.81%)과 희소화가 없는 완전 연결 그래프 모델(16.98%)을 능가했습니다.
• 모달리티 통합: 그래프 기반 모델은 다양한 모달리티를 통합하는 데 탁월한 능력을 보여주었습니다. 예를 들어, 포인트 클라우드 전용 베이스라인은 성능이 저조했던 반면(4.13%), 포인트 클라우드 특징을 활용한 그래프 기반 모델은 훨씬 높은 성공률(11.08% ~ 15.04%)을 달-성했습니다.
• 방해 요소에 대한 강건성: 추론 중에 새로운 방해 객체가 도입되었을 때, 이미지 기반 베이스라인은 약 3.3%의 성능 저하를 겪었습니다. 반면, SIR 및 기타 그래프 기반 모델은 성능 저하가 거의 나타나지 않아 시각적 방해에 대한 높은 강건성을 입증했습니다.
• 절제 연구(Ablation Studies): 연구를 통해 소프트 히스토그램 손실을 동반한 지시문 기반 희소화가 무작위 제거, 단순 제거 또는 임계값 기반 방법보다 최상의 성능을 낸다는 것을 확인했습니다.

의의 및 주장

본 논문은 SIR이 불투명한 시각적 임베딩을 넘어 구조적이고 관계적인 표현으로 나아감으로써 설명 가능한 로봇 학습의 중요한 진전을 제공한다고 주장합니다.

• 본질적 vs 사후 분석적: 저자들은 SIR이 (VLM을 사용하여 학습 후 객체를 필터링하는 것과 같은) 사후 분석적 설명 방법이 아니라는 점을 강조합니다. 대신, 희소 그래프는 학습된 중간 표현입니다. 이를 통해 모델의 실제 의사결정 로직(잠재적 결함 포함)을 드러낼 수 있습니다.
• 편향 탐지: 학습된 서브 그래프를 분석함으로써 데이터셋의 편향을 찾아낼 수 있다는 것이 핵심적인 발견입니다. 예를 들어, 특정 작업에서 모델이 타겟 객체를 무시하고 로봇 자신의 상태(위치 편향)에만 의존하거나, 무관한 배경 객체와의 가짜 상관관계를 이용해 작업을 수행하는 것을 관찰했습니다.
• 해석 가능성: "작업 설명" 서브 그래프를 시각화하는 능력은 모델이 올바른 이유로 성공하고 있는지, 아니면 훈련 데이터의 지름길(shortcut)을 이용하고 있는지를 직접적으로 통찰할 수 있게 해줍니다.

저자들은 SIR이 성능과 강건성을 개선할 뿐만 아니라, 학습된 희소 그래프를 모델의 행동과 데이터셋 품질 모두를 위한 디버깅 도구로 사용할 수 있다는 점에서 가장 가치 있는 기여를 한다고 결론짓습니다.