Thinking in Text and Images: Interleaved Vision--Language Reasoning Traces for Long-Horizon Robot Manipulation

"텍스트와 이미지를 통한 사고: 장기 로봇 조작을 위한 인터리브드 비전–언어 추론 흔적"에 대한 상세한 기술 요약입니다.

1. 문제 제기

장기 로봇 조작은 인과적 일관성(하위 목표의 논리적 순서 유지) 과 기하학적 정렬(정밀한 공간 위치 지정) 이라는 두 가지 상충되는 요구 사항을 충족하는 정책을 필요로 합니다.

• 현재 방법의 한계:
  • 표준 VLA(비전–언어–행동) 정책: 일반적으로 잠재 상태에 계획을 숨깁니다. 이로 인해 종종 '시간적 근시안'을 겪어 긴 시퀀스 동안 상태를 유지하지 못하거나 단계를 순서 없이 실행하는 문제가 발생합니다.
  • 텍스트 전용 사고의 사슬 (CoT): 인과적 순서는 잘 인코딩하지만, 저수준 제어가 필요한 구체적인 공간 자세, 접촉 기하학, 목표 배치 세부 사항을 결여합니다.
  • 시각 예측/세계 모델: 기하학적 단서를 제공하지만 종종 국소적이며 의미론적으로 불충분하게 제약되어, 타당하지만 작업과 일치하지 않는 시각적 미래를 생성합니다.
• 격차: 전체 작업 지평에 걸쳐 의미론적 논리 (텍스트) 와 기하학적 상태 (비전) 를 동시에 포착하는 명시적 중간 표현이 부족합니다.

2. 방법론: 인터리브드 비전–언어 추론 (IVLR)

저자들은 IVLR-Trace를 중심으로 한 IVLR 프레임워크를 제안합니다. 이는 텍스트 하위 목표와 시각적 키프레임을 교차시키는 명시적 중간 표현입니다.

A. 핵심 표현: IVLR-Trace

이 흔적은 $z = [(c^{(1)}, k^{(1)}), \dots, (c^{(N)}, k^{(N)})]$ 형태의 단계 시퀀스이며, 여기서:

• $c^{(i)}$: 단계의 인과적 역할을 설명하는 텍스트 하위 목표(캡션) 입니다.
• $k^{(i)}$: 해당 단계의 의도된 공간 상태를 고정하는 시각적 키프레임(RGB 이미지) 입니다.
  이는 로봇의 추론을 가시화하고 제거 가능하게 만드는 '전체 지평 스토리보드'를 생성합니다.

B. 아키텍처

시스템은 두 가지 명확한 단계를 가진 단일 네이티브 멀티모달 트랜스포머(Show-o2 1.5B 에서 초기화됨) 를 활용합니다:

1. 추론 단계 (t=0):
   • 입력: 초기 관찰 ($o_0$) 과 작업 지시 ($I$).
   • 과정: 모델이 완전한 IVLR-Trace 를 생성합니다.
   • 메커니즘: 텍스트는 언어 헤드를 통해 자기회귀적으로 디코딩되고, 시각적 키프레임은 플로우 매칭 헤드(노이즈를 목표 잠재 공간으로 운반하기 위한 벡터장 예측) 를 통해 생성됩니다.
2. 실행 단계 (t>0):
   • 입력: 현재 관찰 ($o_t$), 원래 지시 ($I$), 그리고 캐시된 흔적($z$).
   • 과정: 폐루프 액션 디코더가 연속적인 행동 ($a_t$) 을 예측합니다.
   • 메커니즘: 액션 토큰은 전체 캐시된 흔적과 실시간 관찰에 주의를 기울여, 하드코딩된 단계 포인터 없이 현재 상태에 기반하여 계획의 관련 부분을 동적으로 선택할 수 있게 합니다.

C. 유사-지도 학습 파이프라인

표준 로봇 데이터셋에는 인터리브드 흔적이 없으므로, 저자들은 학습을 위한 유사 흔적을 생성하는 파이프라인을 구축했습니다:

1. 분할: **범용 시각 분해기 (UVD)**를 사용하여 시각적 임베딩의 단조성 붕괴를 기반으로 데모 트래젝토리를 단계로 분할합니다.
2. 키프레임 선택: 각 세그먼트의 마지막 프레임이 시각적 키프레임 ($k^{(i)}$) 이 됩니다.
3. 캡션 생성: 비전–언어 모델 (Qwen3-VL) 이 각 단계의 그리퍼–객체 상호작용 및 공간 관계를 설명하는 구조화된 텍스트 캡션 ($c^{(i)}$) 을 생성합니다.

D. 학습 목적 함수

총 손실은 세 가지 구성 요소를 결합합니다:

• $L_{text}$: 캡션에 대한 다음 토큰 교차 엔트로피.
• $L_{flow}$: 시각적 키프레임에 대한 플로우 매칭 손실.
• $L_{action}$: 연속 행동 예측에 대한 L1 손실.
• 강건성: 완벽한 흔적에 대한 과도한 의존을 방지하기 위해 학습 중 무작위 흔적 노이즈와 동적 컨텍스트 마스킹이 적용됩니다.

3. 주요 기여

1. 명시적 IVLR-Trace: VLA 제어를 위한 의미론–기하학 인터페이스로 기능하는 전체 지평의 인터리브드 텍스트 및 RGB 키프레임 시퀀스 정립.
2. 통합 아키텍처: 한 번 계획을 생성하고 캐시된 흔적에 기반하여 폐루프 실행을 조건 짓는 단일 네이티브 멀티모달 트랜스포머 내 구현.
3. 확장 가능한 유사 흔적 구축: UVD 와 VLM 을 사용하여 비구조화된 로봇 데모를 단계별 멀티모달 지도 학습으로 개조하는 파이프라인.
4. 실증적 검증: 인터리브드 흔적이 장기 작업에서 단모달 베이스라인을 크게 능가하며, moderate 한 실행 드리프트와 흔적 손상에도 강건함을 입증.

4. 실험 결과

이 방법은 LIBERO(시뮬레이션 조작) 와 SimplerEnv-WidowX(시각 분포 이동) 에서 평가되었습니다.

• 주요 성능 (LIBERO):

  • IVLR: 평균 성공률 95.5% 달성.
  • LIBERO-Long(장기): 92.4% 달성으로 CoT-VLA(69.0%) 와 VLA-0(87.6%) 보다 크게 우세함.
  • SimplerEnv-WidowX: 전체 성공률 59.4% 달성으로 SpatialVLA(42.7%) 를 능가함.

• 절제 연구 (인터리빙의 필요성):

  • 흔적 없음: LIBERO-Long 에서 성공률이 **37.7%**로 하락.
  • 텍스트 전용 흔적: 62.0%(순서에는 좋으나 공간적 앵커 부재).
  • 비전 전용 흔적: 68.4%(기하학에는 좋으나 의미론적 시퀀스 부재).
  • 완전 IVLR: 92.4% (텍스트와 비전이 상호 보완적이지 대체 가능하지 않음을 입증).

• 강건성 스트레스 테스트:

  • 실행 교란: 엔드 이펙터에 무작위 2cm 변위가 발생했을 때 성공률이 **95.5% → 92.1%**로 소폭 하락하여, 폐루프 특성이 작은 실수를 복구할 수 있음을 보여줌.
  • 흔적 손상: 텍스트 또는 시각 토큰의 30% 를 마스킹했을 때 moderate 한 저하 (~90-92%) 만 발생하여, 시스템이 국소적 누락 내용을 견딜 수 있음을 시사.

5. 의의 및 한계

의의:

• 명시적 추론: 암시적 잠재 계획에서 명시적이고 검사 가능하며 제어 가능한 멀티모달 추론으로의 패러다임 전환.
• 확장성: 인간이 레이블링한 기호 계획 없이도 복잡한 다단계 작업을 위한 정책을 효과적으로 훈련할 수 있는 유사 지도 학습 흔적의 가능성 입증.
• 상호 보완성: 장기 성공을 위해 의미론적 논리 (텍스트) 와 기하학적 정렬 (비전) 의 결합이 필수적임을 검증.

한계:

• 지연 시간: 실행 시작 전 전체 흔적 생성에 약 10 초 (H20 GPU 기준) 가 소요되어 동적 환경에서는 병목 현상이 됨.
• 정적 가정: $t=0$에서 완전히 관찰된 정적 작업 공간을 가정함. 계획 후 장면이 급격히 변경되는 경우 (예: 객체 제거, 가림), 캐시된 흔적은 낡아짐.
• 시뮬레이션 전용: 현재 결과는 시뮬레이션 벤치마크로 제한됨; 실제 로봇 배포에는 추가 검증 필요.

향후 방향:
저자들은 동적 장면 변경을 처리하기 위해 비동기적 실행 중 계획(현재 단계 실행 중 미래 흔적 단계 생성) 과 자기 유발 재계획을 탐구할 것을 제안합니다.