기술 요약: DISC – 정책 생성을 통한 언어 지시와 상태 조건부 제어의 분리

1. 문제 제기

본 논문은 현재 언어 조건부 로봇 조작 정책에서 발생하는 근본적인 한계인 **작업 - 상태 얽힘 (task-state entanglement)**을 다룹니다. 기존 아키텍처 (예: Transformer, Diffusion Policies) 는 자연어 지시와 시각적 관찰을 공유 네트워크 매개변수를 통해 처리합니다. 저자들은 이러한 설계가 두 가지 치명적인 실패를 초래한다고 주장합니다:

1. 최적화 긴장 (Optimization Tension): 공유 매개변수는 추상화가 필요한 의미론적 언어 이해와 공간 민감도가 필요한 정밀한 시지각 - 운동 제어 (visuomotor control) 를 동시에 학습해야 하므로, 상충되는 최적화 목표를 갖게 됩니다.
2. 관찰 누출 (Observation Leakage): 제한된 로봇 데이터셋에서 시각적 맥락은 종종 작업 식별과 강하게 상관관계를 가집니다. 얽힌 아키텍처는 이를 악용하여 "장면 - 행동" 단축 경로를 학습함으로써 언어 지시를 완전히 우회합니다. 결과적으로 정책들은 익숙한 장면에서는 성공하지만, 지시가 변경되거나 시각적 모호성이 발생할 때 실패합니다. 이는 언어적 작업 명세를 기반으로 하는 것이 아니라 시각적 사전 지식에 의존하기 때문입니다.

2. 방법론: DISC 아키텍처

제안된 솔루션인 DISC는 작업 명세 (언어) 와 상태 조건부 제어를 구조적으로 분리합니다. 언어에 기반한 보편적 정책을 조건화하는 대신, DISC 는 **하이퍼네트워크 (hypernetwork)**를 사용하여 오직 지시에 기반하여 작업별 시지각 - 운동 정책의 전체 매개변수 세트를 생성합니다.

핵심 구성 요소

• 하이퍼네트워크 ($H_\phi$): 언어 지시 임베딩 ($e_l$) 을 입력받아 타겟 정책의 가중치 ($\theta_\pi$) 를 출력합니다. 타겟 정책 ($\pi_{\theta_\pi}$) 은 오직 시각적 관찰 ($o_t$) 만을 입력받고 행동 ($a_t$) 을 출력합니다. 타겟 정책이 언어에 직접 접근할 수 없기 때문에, 작업 의미론은 생성된 가중치 내부에 완전히 인코딩되어야 하며, 이로써 관찰 누출이 구조적으로 제거됩니다.
• 2 단계 생성: 일관된 고차원 가중치를 생성하는 것은 어렵습니다. DISC 는 매개변수 품질을 보장하기 위해 2 단계 프로세스를 사용합니다:
  1. 가중치 초기화 네트워크 (WIN): 언어 임베딩을 매개변수 공간의 거칠고 의미론적으로 정보화된 지점으로 매핑합니다 (예: 잡기 (grasping) 와 밀기 (pushing) 구분).
  2. 반복 정제 모듈 (Iterative Refinement Module): $T$개의 학습 단계를 통해 초기화를 정제합니다. 이 모듈은 경사 기반 최적화 (순전파, 유사 경사 추정, 매개변수 업데이트) 의 구조를 모방하지만, 추론 시 실제 경사 하강의 계산 비용을 들이지 않고 완전한 순방향 신경망으로 작동합니다. 이는 실제 경사 하강의 계산 비용 없이 최적화를 위한 귀납적 편향을 내포합니다.
• 타겟 정책: 생성된 가중치로 구성되는 컴팩트한 작업별 제어기 (가벼운 MLP 로 구현됨).

학습 및 적응

• 학습: 시스템은 행동 복제 (behavior cloning) 를 통해 엔드 - 투 - 엔드로 학습됩니다. 손실 함수는 타겟 정책과 하이퍼네트워크를 통해 역전파되어 하이퍼네트워크 매개변수 ($\phi$) 를 업데이트합니다.
• 소수 샷 적응 (Few-Shot Adaptation): 새로운 작업의 경우, 하이퍼네트워크는 새로운 지시에 기반한 초기화를 생성합니다. 이 초기화는 이미 작업 다양성 (manifold) 과 의미론적으로 정렬되어 있으므로, 소수의 데모에서 미세 조정됩니다. 이는 적응을 전역 탐색에서 국소 정제로 변환하여 샘플 효율성을 크게 향상시킵니다.

3. 주요 기여

• 아키텍처적 분리: 작업 의미론이 공유 처리 계층을 통해가 아닌 생성된 정책 매개변수를 통해서만 행동에 영향을 미치도록 보장함으로써 관찰 누출에 대한 구조적 보장을 제공합니다.
• 최적화에서 영감을 받은 하이퍼네트워크: 표현력과 제어 정밀도 사이의 간극을 메우는 일관된 고차원 정책 가중치를 생성하기 위해 학습된 순방향 정제 프로세스를 사용하는 새로운 하이퍼네트워크 설계.
• 의미론적 매개변수 다양성 (Semantic Parameter Manifold): 이 방법은 의미론적으로 유사한 작업들이 기하학적으로 군집하는 매개변수 공간을 학습하여, 재구문 지시 (paraphrased instructions) 에 대한 견고한 소수 샷 적응과 일반화를 가능하게 합니다.

4. 실험 결과

저자들은 시뮬레이션 벤치마크 (LIBERO-90, Meta-World) 와 실제 세계의 조합 벤치마크에서 DISC 를 평가했습니다.

• 다중 작업 성능:
  • LIBERO-90에서 DISC 는 전체 성공률 **94.3%**를 달성하여, 처음부터 훈련된 가장 강력한 얽힌 베이스라인 (OTTER, 86.6%) 보다 7.7% 더 높은 성능을 보였습니다.
  • 성능 격차는 작업 복잡도가 증가함에 따라 확대되었습니다: DISC 는 장기 작업 (long-horizon tasks) 에서 베이스라인보다 +8.4% 더 높은 성능을 보였습니다.
  • DISC 는 처음부터 훈련되었음에도 대규모 사전 훈련 모델 $\pi_0$(91.6%) 을 능가하며, $\pi_{0.5}$(95.7%) 와도 경쟁력을 유지했습니다.
  • Meta-World에서 DISC 는 전체 **92.2%**를 달성하여 모든 베이스라인을 능가했습니다.
• 관찰 누출 완화 (실제 세계):
  • 9 개의 작업이 동일한 시각적 맥락을 공유하고 (지시어만 다름) 실제 세계 벤치마크에서 DISC 는 **86.4%**의 성공률을 달성했습니다.
  • 얽힌 베이스라인 (예: Octo) 은 **78.5%**로 떨어졌으며, 종종 동일한 시각적 설정이지만 다른 지시를 가진 작업들을 구분하지 못해 실패했습니다. 이는 DISC 의 분리가 시각적 단축 경로를 방지함을 확인시켜 줍니다.
• 소수 샷 적응:
  • DISC 는 우수한 샘플 효율성을 입증했습니다. 단 1~3 개의 데모만으로도, 확산 기반 방법들이 0% 근처에서 어려움을 겪는 곳에서 의미 있는 성공률을 달성했습니다.
  • 더 긴 "워밍업" 단계가 필요한 베이스라인에 비해 빠르게 (200 단계 이내) 수렴했습니다.
• 언어 기반 (Language Grounding):
  • 언어적 변형 (재구문 지시) 하에서 DISC 는 높은 성능 (LIBERO-90 에서 85.4%) 을 유지하는 반면, 얽힌 모델들은 상당한 성능 저하를 보였습니다. 이는 DISC 가 특정 문구를 암기하는 것이 아니라 작업 의미를 기반으로 한다는 것을 나타냅니다.

5. 중요성과 주장

본 논문은 정책 아키텍처에 언어가 어떻게 들어가는지가 어떻게 인코딩되는지보다 더 중요하다고 주장합니다. 저자들은 작업 - 상태 얽힘이 데이터나 모델 크기만 늘린다고 완전히 해결될 수 없는 구조적 결함이라고 논증합니다.

• 구조적 보장: 작업별 매개변수를 생성함으로써 DISC 는 작업 의미론이 전체 제어기에 내재되도록 하는 구조적 보장을 제공하여, 네트워크가 언어를 우회하는 단축 경로를 학습하는 것을 방지합니다.
• 효율성 vs 사전 훈련: 결과는 아키텍처적 귀납적 편향 (분리) 이 대규모 사전 훈련에 기인한 많은 이점을 회복할 수 있음을 시사하며, 처음부터 훈련된 모델이 대규모 사전 훈련된 비전 - 언어 - 행동 (VLA) 모델을 능가하거나 능가할 수 있게 합니다.
• 견고성: 분리된 아키텍처는 얽힌 정책들이 누적된 기반 오류로 인해 실패하는 복잡하고, 장기적이며, 시각적으로 모호한 시나리오에서 특히 가치가 있습니다.

저자들은 대규모 사전 훈련된 VLA 가 데이터가 풍부한 설정에서는 보완적이지만, DISC 는 신뢰할 수 있는 기반, 효율적인 제어, 제한된 로봇 데이터에서의 적응이 필요한 시나리오에 더 우월한 접근법을 제공한다고 결론지었습니다.