기술 요약: DyGRO-VLA

1. 문제 제기

본 논문은 범용 로봇 조작을 위한 비전 - 언어 - 행동 (VLA) 모델 학습에서 발생하는 중요한 확장성 병목 현상을 다룹니다. 최근 강화학습 (RL) 의 발전은 개별 작업의 제어 정밀도와 성공률을 향상시켰지만, 다중 작업 설정에 RL 을 사후 학습으로 적용할 경우 **파괴적 망각 (catastrophic forgetting)**과 **작업 간 간섭 (cross-task interference)**이 자주 발생합니다.

LIBERO 벤치마크에 대한 실증 분석 결과, 작업 수가 증가함에 따라 표준 RL 최적화기 (예: Soft Actor-Critic) 의 성능이 저하되는 것이 확인되었습니다. 구체적으로:

• 표현 왜곡: 단일 작업 RL 미세 조정은 사전 학습 동안 학습된 공유 특징 공간을 왜곡시켜 작업별 경험을 고립시키고 다른 작업과의 정렬을 감소시킵니다.
• 성능 저하: 특정 작업에 최적화된 모델은 종종 관련 없는 작업에서 상당한 성능 감소를 겪으며, 작업 수가 증가함에 따라 다중 작업 RL 학습은 점점 더 불안정해집니다.
• 트레이드오프: 특정 작업에서의 높은 민첩성과 범용 로봇에 필요한 작업 간 일반화 능력 사이에는 근본적인 충돌이 존재합니다.

2. 방법론: DyGRO-VLA

민첩성과 일반화 능력 사이의 트레이드오프를 해결하기 위해, 저자들은 DyGRO-VLA(Dynamic Grouped Residual Optimization, 동적 그룹화 잔차 최적화) 라는 2 단계 최적화 프레임워크를 제안합니다.

1 단계: 정보 병목 (IB) 을 통한 오프라인 사전 학습

첫 번째 단계는 오프라인 시연 데이터로부터 견고한 공유 작업 간 잠재 표현 $p(z|o)$를 학습하는 데 중점을 둡니다.

• 아키텍처: 시각 관찰과 언어 지시를 인코딩하고 고유 감각 데이터와 융합하기 위해 VLM 백본 (DINOv2, SigLIP, Qwen2.5-0.5B) 을 활용합니다.
• 목적: 모델은 변분 정보 병목 (VIB) 목적 함수를 사용하여 학습됩니다. 목표는 잠재 표현 $Z$와 행동 $A$ 사이의 상호 정보량 ($I(Z; A)$) 을 최대화하면서, 관찰 $O$와 $Z$ 사이의 상호 정보량 ($I(O; Z)$) 을 최소화하는 것입니다.
• 메커니즘: 이는 인코더가 작업 관련 정보 (예: 물체 기하학, 공간 관계) 만 유지하고 불필요한 요인 (예: 배경 잡음, 조명) 은 제거하도록 강제하여 일반화에 적합한 컴팩트한 잠재 공간을 생성합니다.
• 손실 함수: IB 목적 함수를 실용적으로 만들기 위해 신경 크리틱 $T_\psi$를 사용하여 상호 정보량 항을 추정하는 변분 하한이 유도됩니다.

2 단계: RL 잔차 혼합 (MoRR) 을 통한 온라인 미세 조정

두 번째 단계는 1 단계에서 학습된 공유 표현을 방해하지 않으면서 다중 작업 성능을 위한 정책을 최적화합니다.

• 잔차 학습: 기본 정책을 직접 업데이트하는 대신, RL 최적화기는 기본 행동 조각 ($a_{base}$) 을 정제하기 위해 잔차($\Delta a$) 를 예측합니다. 이는 작업별 수정을 허용하면서도 사전 학습된 사전 지식을 유지합니다.
• 동적 라우팅 (MoE): 여러 작업을 처리하기 위해, 프레임워크는 $N$개의 잔차 전문가를 가진 전문가 혼합 (MoE) 아키텍처를 사용합니다.
  • 작업 임베딩: 대비 학습 목적 함수 ($L_{CL}$) 는 결정 관련 잠재 $z$와 구별되는 작업 식별 패턴을 인코딩하는 작업 임베딩 ($\tilde{z}_T$) 을 학습합니다.
  • 라우터: 게이트 네트워크는 작업 임베딩에 조건을 두어 주어진 작업에 대해 상위 $m$개의 전문가를 동적으로 선택하고 가중치를 부여합니다.
• 학습 목적 함수: 총 손실은 다음을 결합합니다:
  1. RL 손실 ($L_{RL}$): 증강된 정책을 위한 표준 액터 - 크리틱 손실.
  2. 대비 손실 ($L_{CL}$): 라우팅을 위해 작업 임베딩이 구별 가능하도록 보장합니다.
  3. 부하 균형 ($L_{LB}$): 전문가 붕괴를 방지하고 MoE 의 균등한 활용을 보장하기 위한 엔트로피 기반 정규화 항.
• 난이도 인식 샘플링: 학습 과정은 해결되지 않은 작업으로의 샘플링을 편향시켜 어려운 시나리오에 학습을 집중시킵니다.

3. 주요 기여

1. RL 한계 분석: 본 논문은 표준 RL 사후 학습이 다중 작업 VLA 설정에서 파괴적 망각과 표현 왜곡을 초래한다는 실증적 증거를 제공하여, 작업 간 특징 보존의 필요성을 강조합니다.
2. DyGRO-VLA 프레임워크: 정보 병목 사전 학습과 온라인 미세 조정을 위한 동적 RL 잔차 혼합을 결합한 새로운 2 단계 프레임워크를 도입합니다.
3. 동적 그룹화 최적화: 작업 임베딩에 기반하여 전문화된 RL 전문가를 동적으로 구성하는 라우팅 메커니즘을 설계하여 다양한 작업 간의 그래디언트 충돌을 효과적으로 완화합니다.
4. 종합적 검증: LIBERO(130 개 작업), RoboTwin2(이중 팔), 그리고 실제 세계 Sim2Real 전이에 대한 광범위한 평가를 통해 최첨단 베이스라인 대비 일관된 개선을 입증했습니다.

4. 실험 결과

저자들은 DyGRO-VLA 를 LIBERO 와 RoboTwin2 벤치마크에서 평가하였으며, Octo, OpenVLA, $\pi_0$, 그리고 다양한 RL 미세 조정 방법을 포함한 강력한 베이스라인과 비교했습니다.

• LIBERO 벤치마크:
  • DyGRO-VLA 는 모든 스위트에서 **97.1%**의 평균 성공률을 달성하여 오프라인 기본 모델보다 +4.4% 더 높은 성능을 보였습니다.
  • 특히 까다로운 LIBERO-Long 스위트에서 눈에 띄는 개선이 관찰되었으며, 성공률은 85.2% 에서 **95.0%**로 증가하여 절대적 이득이 **9.8%**였습니다.
  • 다중 작업 공동 학습에 어려움을 겪었던 다른 RL 기반 베이스라인 (예: TGRPO, VLA-RL, RIPT-VLA) 보다 우수한 성능을 발휘했습니다.
• 그래디언트 충돌 분석: 그래디언트 코사인 유사도 시각화는 표준 MLP 잔차가 작업 그룹 간 강한 음의 상관관계 (충돌) 를 보이는 반면, DyGRO-VLA 의 MoRR 는 이러한 충돌을 크게 줄이면서 그룹 내 시너지를 유지함을 보여주었습니다.
• Ablation 연구:
  • IB 목적 함수나 대비 학습 목적 함수를 제거하면 성능이 저하되어, 공유 표현 학습과 구별 가능한 라우팅의 필요성이 확인되었습니다.
  • 전문가 수를 1 개에서 8 개로 늘리면 성능이 지속적으로 향상되었으며, 8 개의 전문가가 가장 좋은 결과를 제공했습니다.
• 실제 세계 (RoboTwin2):
  • Sim2Real 전이에서 DyGRO-VLA 는 최고의 전체 시뮬레이션 성공률 (79.2%) 을 달성했으며, 특히 복잡한 양손 작업과 장기 작업에서 RFT 베이스라인을 실제 세계 실험에서 능가했습니다.

5. 중요성과 주장

본 논문은 DyGRO-VLA 가 효율적인 다중 작업 강화 미세 조정을 위한 확장 가능하고 견고한 솔루션을 제공한다고 주장합니다. 그 주요 중요성은 다음과 같습니다:

• 일반화 능력 보존: 잔차 학습을 통해 공유 표현 학습과 작업별 정제를 분리함으로써, 일반적으로 다중 작업 VLA 학습을 괴롭히는 RL 최적화기의 "과적합"을 방지합니다.
• 격차 해소: 고성능 단일 작업 제어와 범용 로봇에 필요한 일반화 능력 사이의 격차를 성공적으로 연결합니다.
• 실용적 적용 가능성: 이 방법은 복잡한 다중 작업 RL 정책이 파괴적 망각 없이 실제 세계 로봇 시스템으로 효과적으로 전이될 수 있음을 입증합니다.

저자들은 온라인 학습 중 보상 희소성에 대한 민감성, 라우팅을 위한 알려진 작업 신원에 대한 의존성, 그리고 다양한 구현체에 대한 광범위한 실제 세계 평가의 필요성 등 한계를 인정합니다. 그러나 그들은 DyGRO-VLA 를 통합된 모델로 다양한 실제 세계 작업을 처리할 수 있는 범용 로봇 시스템으로 나아가는 기초적인 단계로 위치시킵니다.