기술 요약: DeMiAn – 로봇 정책 학습을 위한 밀집 다면 주석

1. 문제 제기

현재 로봇 정책 학습의 확장성은 숙련된 운영자의 시연 데이터 수집에 따른 높은 비용에 의해 병목 현상을 겪고 있습니다. 현대의 데이터셋은 전용 하드웨어에서 수천 시간의 원격 조작을 필요로 하지만, 이러한 시연과 짝을 이루는 언어는 종종 충분히 활용되지 못하고 있습니다. 일반적인 데이터셋은 "서랍을 열기"와 같은 짧고 고수준의 지시문으로 클립을 라벨링하는데, 이는 시각 픽셀에 이미 존재하는 풍부한 공간적 관계, 접촉 전환, 신체화 상태, 그리고 하위 목표 구조를 명시적으로 포착하지 못합니다.

로봇공학에서의 "밀집 언어 (dense language)"에 대한 기존 접근법들은 대개 단일 캡션 스타일 (예: 모션 프라미티브, 사고의 사슬, 또는 장면 기반화) 에만 의존하여 이를 균일하게 적용합니다. 본 논문은 단일 주석 스타일이 모든 작업에서 우위를 점하지 않으며, 오히려 최적의 언어 구조는 조작 프라미티브의 구체적인 요구 사항에 달려 있다고 주장합니다. 과제는 새로운 데이터 수집의 지연 시간이나 비용을 발생시키지 않으면서, 고정된 시연 코퍼스에서 신호를 증폭시키기 위해 밀집 언어 생성의 낮은 비용을 활용하는 것입니다.

2. 방법론: DeMiAn

저자들은 **DeMiAn(밀집 다면 주석)**을 제안합니다. 이는 학습 시 주석 파이프라인과 추론 시 학습된 인스트럭터로 작동하는 두 단계의 엔드-투-엔드 프레임워크입니다.

2.1 네 가지 보완적 주석 측면

DeMiAn 은 기존 비디오 세그먼트를 네 가지 서로 다른 차원에서 재라벨링하여, 표준 작업 라벨이 누락한 구조적 정보를 드러냅니다:

1. 물리적 운동: 시간적 행동과 접촉 기반화 (예: 도달하기, 잡기, 들어 올리기, 물체 상호작용) 를 설명합니다.
2. 장면 구성: 공간적 기반화 (예: 작업 공간 레이아웃, 가시적 물체, 방해 요소, 공간적 관계) 를 제공합니다.
3. 팔 자세: 신체화와 접촉 상태 기반화 (예: 팔 자세, 그리퍼 상태, 환경에 대한 방향) 에 초점을 맞춥니다.
4. 추론: 인과적 및 하위 목표 기반화 (예: 세그먼트의 목적, 인접 세그먼트에 대한 의존성, 준비 대 실행 단계) 를 포착합니다.

2.2 학습 시 파이프라인

Qwen3-VL-30B를 포함한 비전 - 언어 모델 (VLM) 을 사용하는 자동 파이프라인이 기존 데이터셋 (RoboCasa 365, MolmoBot, EgoVerse) 을 재주석합니다. 각 비디오 세그먼트에 대해, VLM 은 샘플링된 프레임과 컨텍스트를 프롬프트로 받아 네 가지 측면 각각에 대한 두 문장짜리 캡션을 생성합니다. 이 과정은 새로운 시연을 수집하지 않고 100 만 개 이상의 클립에 적용됩니다.

2.3 추론 시 학습된 인스트럭터

서로 다른 작업이 서로 다른 주석 유형에서 혜택을 받는다는 사실을 해결하기 위해, DeMiAn 은 Qwen3.5-2B에서 **지도 미세 조정 (Supervised Fine-Tuning)**을 통해 학습된 소규모 학습된 인스트럭터를 사용합니다.

• 학습: 인스트럭터는 주어진 작업에 대한 최적의 주석 측면을 예측하도록 학습됩니다. 목표 분포는 네 가지 정답 주석 각각으로 행동 정책을 실행하고 성공률 (SR) 을 기록하여 구성된 "보상 테이블"에서 파생됩니다. 인스트럭터는 이러한 보상에 대한 소프트맥스를 통해 표본을 추출하며, 작업별 오라클을 근사하도록 학습합니다.
• 배포: 인스트럭터는 행동 정책과 비동기적으로 실행됩니다. 초기 장면 스냅샷과 작업 설명을 입력으로 받아 적절한 밀집 주석을 생성한 후, 다음 행동 청크 경계에서 정책의 프롬프트에 주입합니다. 이 설계는 생성 지연 시간을 롤아웃 뒤에 숨겨 로봇의 제어 리듬에 추가 지연이 발생하지 않도록 합니다.

2.4 정책 아키텍처

이 방법은 두 가지 다른 아키텍처에서 평가됩니다:

• DeMiAn VLA: openpi 0.5(플로우 매칭 행동 전문가가 있는 PaliGemma 백본) 를 기반으로 구축되었으며, 밀집 주석을 보조 공동 학습 신호로 활용합니다.
• DeMiAn WAM: Cosmos-Predict 2.5(DiT 백본) 를 사용하는 비디오 기반 세계 - 행동 모델로, 밀집 언어는 중간 학습 중 비디오 예측 목표와 사후 학습 중 행동 헤드를 조건화합니다.

3. 주요 기여

1. 자동 다면 파이프라인: 기존 로봇 및 인간 시연에서 네 가지 보완적 구조적 측면 (운동, 장면, 자세, 추론) 을 드러내는 VLM 기반 시스템.
2. 학습된 비동기 인스트럭터: 배포 시 작업에 적합한 주석 측면을 선택하는 소규모 모델로, 고정 측면 베이스라인과 작업별 오라클 간의 격차를 추론 지연 시간 도입 없이 해소합니다.
3. 일반화 증거: 이 접근법이 하위 목표 기반 프롬프트 전환을 통해 복합 작업과 분포 외 (OOD) 장면 및 물체에 대해 일반화됨을 실증적으로 보여줍니다.
4. 연산 - 성능 프론티어: 주석 생성에 소요되는 FLOPs 를 예산에서 차감하더라도, 밀집 재주석이 WAM 중간 학습과 VLA 사후 학습 모두에서 연산 - 성능 트레이드오프를 개선한다는 통제된 비교 결과.

4. 실험 결과

RoboCasa 365(17 개의 원자 주방 작업)와 MolmoSpaces(4 개 작업 계열에 걸친 9 개 벤치마크) 에서 평가되었습니다:

• 오라클 격차: 단일 고정 주석 측면이 우위를 점하지 않습니다. 작업별 오라클 (작업별 최상 측면 선택) 은 RoboCasa VLA 에서 작업 전용 베이스라인 대비 평균 성공률 (SR) 을 8 퍼센트 포인트 향상시킵니다 (44% 대비 52% 도달).
• 인스트럭터 성능: 학습된 인스트럭터는 평균 SR 을 **49%**로 끌어올려 오라클과의 격차를 2~3 포인트 이내로 좁힙니다. 이는 베이스라인 대비 +5 퍼센트 포인트의 상승으로, 무작위 측면 선택보다 현저히 우수합니다.
• 일반화:
  • 복합 작업 (예: "커피 준비") 에서 인스트럭터를 갖춘 DeMiAn-VLA 정책은 **18%**의 전체 작업 성공률을 달성하여 베이스라인 (13%) 을 능가하고 정답 원자 프롬프트 (22%) 의 성능에 근접합니다.
  • 시스템은 작업 전용 베이스라인에 비해 MolmoSpaces 장면 및 물체에서 더 강력한 OOD 일반화를 보입니다.
• 연산 효율성:
  • WAM 중간 학습(50K EgoVerse 클립 기준) 에서 밀집 주석은 베이스라인 대비 낮은 연산 예산에서 더 높은 하류 SR 에 도달할 수 있게 합니다.
  • VLA 사후 학습(1M MolmoBot 클립 기준) 에서 DeMiAn 은 특정 작업 (NextTo, Color) 에서 베이스라인 성능을 유지하면서 약 62% 적은 연산 (약 1.3 × 10²⁰ FLOPs 절감) 으로 달성합니다.

5. 중요성 및 주장

본 논문은 언어 밀도가 로봇 정책 학습을 확장하기 위한 저렴하고 실용적인 레버라고 주장합니다. 주석 유형을 고정된 프롬프트 형식이 아닌 학습 가능한 설계 선택으로 간주함으로써, DeMiAn 은 기존 데이터셋에서 훨씬 더 많은 신호를 추출합니다.

저자들은 다음과 같이 주장합니다:

• 재주석의 실현 가능성: 밀집 주석 생성은 새로운 시연 수집보다 수배 더 저렴하며, 계산 비용은 향상된 샘플 효율성으로 회수됩니다.
• 작업 의존성의 중요성: 밀집 언어에 대한 "일률적" 접근법은 비최적입니다. 작업별 최적의 주석 측면을 동적으로 선택할 수 있는 능력이 최고 성능 달성에 필수적입니다.
• 확장성: 이 방법은 다양한 모델 계열 (VLA 및 WAM) 과 데이터 규모 (11k 클립에서 1M 클립까지) 에서 효과적으로 확장되어, 시연 확장을 보완하는 전략임을 시사합니다.

한계점: 저자들은 주석이 고정된 VLM 에서의 편향을 계승하며, 현재 평가는 시뮬레이션만 (RoboCasa/MolmoSpaces) 수행되었고, 네 가지 측면 스키마는 휴리스틱임을 지적합니다. 또한 인스트럭터가 모든 작업, 특히 복합 작업의 최종 단계에서 오라클 격차를 완전히 해소하지는 못함을 인정합니다.