기술 요약: SlotVLA – 로봇 조작에서의 객체 - 관계 표현 모델링을 위한 시도

문제 제기

최근 비전 - 언어 - 행동 (VLA) 모델의 발전은 언어 조건과 시각적 단서를 통합함으로써 로봇 조작을 개선해 왔습니다. 그러나 현재 최첨단 아키텍처 (예: OpenVLA, $\pi^0$) 는 사전 훈련된 인코더 (예: DINOv2, SigLIP) 가 생성한 **밀집 시각 임베딩 (dense visual embeddings)**에 의존합니다. 이러한 인코더는 프레임당 수백 개의 시각 토큰 (일반적으로 256~512 개) 을 생성하여 토큰 수가 증가함에 따라 prohibitive 한 계산 비용을 초래합니다. 또한, 밀집 임베딩은 종종 객체 특징을 배경 단서 및 중복 정보와 얽히게 만들어 해석 가능성을 제한하고 행동 디코더를 위한 작업 관련 신호를 흐리게 합니다.

컴퓨터 비전의 객체 중심 학습은 분리된 표현을 제공하지만, 이를 로봇 공학에 직접 적용하는 것은 최적이지 않습니다. 순수한 객체 중심 접근법은 그립퍼 - 객체 상호작용과 같은 필수적인 관계 단서를 포착하지 못하는 경우가 많으며, 이는 체화된 조작에 중요합니다. 기존 방법들은 이러한 관계를 무시하거나 유연성을 제한하는 외부 주석 (바운딩 박스/키포인트) 에 의존합니다. 따라서 다중 작업 추론을 지원하는 컴팩트하고 토큰 효율적인 표현을 사용하여 객체와 그 상호작용을 모두 모델링하는 프레임워크가 필요합니다.

방법론: SlotVLA

저자들은 밀집 시각 임베딩을 컴팩트하고 구조화된 객체 - 관계 표현으로 변환하도록 설계된 SlotVLA 프레임워크를 제안합니다. 이 접근법은 세 가지 주요 구성 요소로 이루어져 있습니다:

1. 작업 인식 객체 중심 인코더

이 모듈은 언어 기반 작업 필터링에 guided 된 소수의 객체 중심 슬롯 ($S_t$) 으로 밀집 시각 토큰을 압축합니다.

• 시간적 일관성을 갖춘 슬롯 어텐션: 인코더는 슬롯 어텐션 (GRU 사용) 을 사용하여 밀집 시각 패치를 학습 가능한 슬롯으로 매핑합니다. "슬롯 캐리오버 (slot carryover)" 메커니즘은 $t=0$에서 슬롯을 무작위로 초기화하고 이전 시간 단계에서 이를 전파하여 프레임 간 일관된 객체 정체성을 보장합니다.
• 작업 인식 슬롯 필터링: 감지된 모든 객체가 특정 작업과 관련된 것은 아닙니다. 양방향 교차 어텐션 (BCA) 메커니즘은 객체 슬롯과 작업 설명 임베딩 간의 관련성 점수를 계산합니다. Top-$k$ 선택은 가장 관련성 높은 슬롯 (일반적으로 2~4 개) 만 유지하고 배경 및 관련 없는 객체를 필터링합니다.

2. 관계 중심 인코더

표준 객체 중심 접근법의 관계 모델링 부족을 해결하기 위해 SlotVLA 는 관계 토큰 ($R_t$) 을 생성하는 관계 중심 인코더를 도입합니다.

• 상호작용 모델링: 학습 가능한 관계 쿼리는 교차 어텐션 블록 (CAB) 을 통해 밀집 시각 패치 ($V_t$) 와 필터링된 객체 슬롯 ($S_t$) 에서 정보를 통합합니다.
• 출력: 이 과정은 그립퍼 - 객체 관계 및 객체 - 배경 컨텍스트와 같은 상호작용을 명시적으로 포착하여 객체 슬롯을 보완하는 관계 토큰 세트를 생성합니다.

3. 행동 디코딩

최종 표현은 작업 인식 객체 슬롯 ($S_t$), 관계 토큰 ($R_t$), 언어 임베딩 ($P$), 그리고 로봇 고유 감각 ($o_t$) 을 결합합니다.

• LLM 통합: 이러한 다중 모달 입력은 행동 디코딩을 위해 LoRA(저랭크 적응) 가 장착된 대규모 언어 모델 (LLM) 디코더에 입력됩니다.
• 토큰 효율성: 토큰의 총 수 ($N_S + N_R$) 는 밀집 입력 ($N$) 보다 훨씬 작아 효율적인 하류 추론을 가능하게 합니다.

훈련 전략

모델은 두 단계로 훈련됩니다:

1. 1 단계 (인코더 훈련): 바운딩 박스, 객체성, 마스크 손실 (Hungarian 매칭) 을 사용하여 작업 인식 객체 중심 인코더를 감독하며, 시간적 일관성을 위한 추적 손실 및 작업 관련성을 위한 클래스 불균형 손실이 함께 사용됩니다.
2. 2 단계 (파인튜닝): 인코더 파라미터는 고정됩니다. 관계 중심 인코더와 행동 디코더는 행동 로짓에 대한 교차 엔트로피 손실을 사용하여 공동으로 파인튜닝됩니다.

주요 기여

1. LIBERO+ 데이터셋

저자들은 기존 LIBERO 스위트를 확장한 세분화된 벤치마크인 **LIBERO+**를 소개합니다.

• 주석: 원래 LIBERO 와 달리 LIBERO+ 는 2D 바운딩 박스, 픽셀 단위 객체 마스크, RGB-D 모달리티 전반의 인스턴스 단위 시간적 ID 를 포함한 명시적인 객체 수준 감독을 제공합니다.
• 작업 관련성: 활성 작업 관련 객체를 식별하기 위한 작업별 자연스러운 명사를 포함하여 객체 - 관계 추론 평가를 가능하게 합니다.
• 하위 집합: 이 데이터셋은 다양한 객체 수와 레이아웃 복잡성을 가진 네 가지 하위 집합 (LIBERO-Goal, LIBERO-Object, LIBERO-Spatial, LIBERO-Long) 으로 구성됩니다.

2. SlotVLA 프레임워크

SlotVLA 는 로봇 조작을 위해 객체 중심 슬롯과 관계 중심 토큰을 결합한 최초의 VLA 프레임워크입니다.

• 작업 관련성을 필터링하고 상호작용을 명시적으로 모델링함으로써 컴팩트한 표현을 달성합니다.
• 경쟁력 있는 성능을 유지하면서 밀집 베이스라인 대비 시각 토큰 수를 한 자릿수 (order of magnitude) 줄입니다.

실험 결과

실험은 LIBERO+ 벤치마크에서 수행되었으며, SlotVLA 변형들을 밀집 토큰 베이스라인 OpenVLA와 비교했습니다.

• 토큰 효율성: SlotVLA 는 토큰 수를 256 개 (OpenVLA) 에서 약 428 개로 줄여 GFLOPs 를 34 배 감소시킵니다.
• 단순 작업에서의 성능: 레이아웃이 단순하고 객체가 적은 하위 집합 (LIBERO-Goal 및 LIBERO-Object) 에서 SlotVLA 는 OpenVLA 와 비교해 경쟁력 있거나 우수한 성공률을 달성합니다.
  • LIBERO-Goal: OpenVLA (0.77) 대 SlotVLA-ORC (0.86).
  • LIBERO-Object: OpenVLA (0.70) 대 SlotVLA-ORC (0.91).
• 복잡한 작업에서의 성능: 복잡한 공간 레이아웃과 높은 객체 수를 가진 하위 집합 (LIBERO-Spatial 및 LIBERO-Long) 에서 성능이 저하됩니다.
  • LIBERO-Long: OpenVLA (0.56) 대 SlotVLA-ORC (0.31). 저자들은 최대 29 개의 객체가 있는 장면을 표현하기 위해 슬롯이 너무 적음 (예: 4 개) 으로 인해 밀집 베이스라인이 더 많은 글로벌 컨텍스트를 포착한다는 점을 그 원인으로 꼽습니다.
• 애블레이션 연구:
  • 작업 인식 필터링: 관련 없는 슬롯을 필터링하는 것이 중요하며, 이를 제거할 경우 특히 복잡한 환경에서 성능이 크게 저하됩니다.
  • 시간적 일관성: 시간적 일관성을 제거하면 성능이 급격히 떨어집니다 (예: LIBERO-Goal 에서 ORC 가 0.86 에서 0.40 으로 하락), 이는 안정적인 슬롯 정체성의 필요성을 강조합니다.
  • 슬롯 수: 최적의 작은 수 (4 개) 를 초과하여 슬롯 수를 늘리는 것은 성능을 향상시키기보다는 노이즈를 도입하거나 관계적 기반을 희석시키는 경우가 많습니다.

중요성과 주장

이 논문은 객체 - 관계 중심 토큰화가 다중 작업 로봇 조작을 위한 효율성, 해석 가능성, 효과성의 유망한 균형을 제공한다고 주장합니다.

• 효율성: 시각 토큰 수를 극적으로 줄임으로써 SlotVLA 는 제한된 계산 예산 하에서도 로봇 제어를 가능하게 합니다.
• 해석 가능성: 슬롯 기반 접근법은 엔티티를 분리하고 작업 관련성을 필터링하여 밀집되고 얽힌 임베딩에 비해 모델의 추론 과정을 더 투명하게 만듭니다.
• 한계: 저자들은 레이아웃이 단순한 경우에는 효과적이지만, 객체 수가 슬롯 용량을 초과하는 매우 혼잡하고 장기적인 작업으로 확장하는 데는 어려움을 겪는다고 겸손하게 인정합니다. 또한, 훈련을 위한 감독된 바운딩 박스와 마스크에 대한 의존성은 이러한 주석이 없는 실제 환경에서의 즉각적인 적용을 제한할 수 있다고 지적합니다.

결론적으로, 저자들은 LIBERO+ 와 SlotVLA 가 밀집 인식에서 컴팩트하고 관계 인식 추론으로의 패러다임 전환을 이루는 구조화되고 효율적이며 설명 가능한 체화 AI 를 향한 기초적인 단계라고 주장합니다.