Policy Contrastive Decoding for Robotic Foundation Models

"로봇 파운데이션 모델을 위한 정책 대비 디코딩 (Policy Contrastive Decoding for Robotic Foundation Models)" 논문에 대한 상세한 기술적 요약은 다음과 같습니다:

1. 문제 제기

로봇 파운데이션 모델 (범용 로봇 정책) 은 유연하고 범용적인 조작에 큰 잠재력을 보여 왔습니다. 그러나 저자들은 이러한 모델이 사전 학습 궤적에서 ** spurrious correlation (허위 상관관계)**을 학습한다는 치명적인 결함을 지적합니다. 정책들은 작업과 관련된 객체 특징에 집중하기보다는, 조명, 질감, 또는 특정 배경 객체와 같은 작업과 무관한 배경 단서에 의존하여 행동을 예측합니다.

• 결과: 배포 환경이 변화할 때 (예: 배경 변경, 조명 조정, 또는 객체 재배치), 학습된 "단서"가 더 이상 유효하지 않기 때문에 정책의 성능이 크게 저하됩니다.
• 현재의 한계: 기존 해결책들은 종종 재학습이나 미세 조정을 필요로 하며, 이는 계산 비용이 많이 들고 모델 가중치에 대한 접근이 필요합니다. 추론 시 실패를 수정하기 위한 학습이 필요 없는 (training-free), 플러그 앤 플레이 방식의 방법이 부족합니다.

2. 방법론: 정책 대비 디코딩 (PCD)

저자들은 로봇 정책의 주의를 허위 특징에서 객체 관련 시각적 단서로 전환하도록 설계된, 학습이 필요 없는 추론 시 플러그인인 **정책 대비 디코딩 (Policy Contrastive Decoding, PCD)**을 제안합니다.

핵심 메커니즘

PCD 는 두 가지 다른 시각 입력에서 생성된 행동 확률 분포를 대비함으로써 작동합니다:

1. 원본 관찰 ($o_i$): 표준 시각 입력.
2. 객체 마스킹 관찰 ($\hat{o}_i$): 대상 작업 관련 객체가 마스킹 (제거/인페인팅) 된 동일한 시각 입력.

이 방법은 다음 공식을 사용하여 새로운 대비 행동 확률 분포 ($\pi^*$) 를 계산합니다:
$$\pi^*_\theta(a_i | \ell, o_i) = \frac{1}{C} \cdot \pi_\theta(a_i | \ell, o_i) \cdot \left( \frac{\pi_\theta(a_i | \ell, o_i)}{\pi_\theta(a_i | \ell, \hat{o}_i)} \right)^\alpha$$

• 논리: 정책이 허위 특징 (배경) 에 의존하는 경우, $o_i$와 $\hat{o}_i$에 대한 확률 분포는 유사하여 비율이 1 에 가까워집니다 (변화 없음). 정책이 객체에 의존하는 경우, $\hat{o}_i$에 대한 분포는 크게 달라지므로 최종 출력에서 올바른 행동 확률이 증폭됩니다.
• 하이퍼파라미터 ($\alpha$): 대비의 강도를 조절합니다. $\alpha=0$인 경우 기준 정책이 복원됩니다.

주요 기술 구성 요소

PCD 를 다양한 로봇 정책에 적용 가능하게 하기 위해 저자들은 두 가지 구체적인 전략을 도입합니다:

1. 트래킹 - 투 - 마스킹 (Tracking-to-Mask, Track2Mask):

   • 목표: 수동 개입 없이 궤적의 모든 프레임에 대해 객체 마스킹 관찰을 자동으로 생성합니다.
   • 과정:
     • 주석: 초기 프레임의 대상 객체는 인간 프롬프트 (포인트/박스) 또는 오프 - 더 - 쉘 오픈 - 보카불러리 감지기 (예: Grounding DINO) 를 사용하여 식별됩니다.
     • 트래킹: **SAM2 (Segment Anything Model 2)**가 후속 프레임에서 이러한 객체를 추적하고 분할합니다.
     • 인페인팅: 분할된 객체가 인페인팅 (제거) 되어 마스킹 관찰 $\hat{o}_i$가 생성됩니다.

2. KDE 기반 확률 모델링 (KDE-PM):

   • 과제: 자기회귀 정책 (예: OpenVLA) 은 토큰 확률을 직접 출력하지만, 확산 기반 정책 (예: Octo, $\pi_0$) 은 디노이징 과정을 통해 행동을 생성하며 본질적으로 확률 분포 $\pi_\theta(a|o)$를 출력하지 않습니다.
   • 해결책: 저자들은 **커널 밀도 추정 (Kernel Density Estimation, KDE)**을 사용하여 행동 확률 분포를 근사화합니다. 확산 정책에서 $N$개의 후보 행동을 샘플링하고 이러한 샘플에 가우시안 커널 밀도를 적합시켜 $\pi_\theta(a|o)$와 $\pi_\theta(a|\hat{o})$를 추정함으로써, 대비 디코딩 공식이 확산 모델과 작동할 수 있도록 합니다.

3. 주요 기여

1. 최초의 학습이 필요 없는 솔루션: PCD 는 추론 중 로봇 정책의 허위 상관관계를 완화하기 위한 플러그 앤 플레이 방식의 학습이 필요 없는 접근법을 제안한 최초의 연구입니다.
2. 모델 중립성: 사전 학습된 가중치에 대한 접근이나 미세 조정이 필요 없이 자기회귀 (OpenVLA) 및 확산 기반 (Octo, $\pi_0$) 정책 모두와 호환되는 블랙박스 플러그인으로 작동합니다.
3. 분포 변화에 대한 강건성: 객체 관련 입력과 객체 무관 입력을 명시적으로 대비함으로써, PCD 는 정책이 인과적 특징에 집중하도록 강제하여 보지 못한 시나리오에 대한 일반화를 크게 향상시킵니다.

4. 실험 결과

저자들은 OpenVLA, Octo, $\pi_0$라는 세 가지 최첨단 정책을 사용하여 **시뮬레이션 (SIMPLER)**과 실제 세계 환경의 15 가지 다양한 작업에서 PCD 를 평가했습니다.

• 시뮬레이션 성능:
  • OpenVLA: 평균 성공률이 50.6% 향상되었습니다.
  • Octo: 평균 성공률이 29.7% 향상되었습니다.
  • $\pi_0$: 이미 강력한 기준선임에도 불구하고 평균 성공률이 8.9% 향상되었습니다.
• 실제 세계 성능:
  • 실제 세계 조작 작업에서 $\pi_0$ 정책을 사용할 때, PCD 는 기준선 대비 성공률에서 **108%**라는 막대한 개선을 달성했습니다.
  • 이 방법은 다양한 방해 요소 (조명 변화, 배경 혼란, 객체 위치 이동) 에 대해 강건함이 입증되었습니다.
• 애블레이션 연구:
  • 이 방법은 다양한 객체 감지 전략 (인간 프롬프트 vs Grounding DINO vs YOLO World) 에 대해 강건합니다.
  • 다양한 인페인팅 알고리즘 (LaMa 가 가장 우수함) 에 대해 강건합니다.
  • 하이퍼파라미터 $\alpha$는 $>0$일 때 명확한 긍정적 영향을 보입니다.

5. 중요성과 한계

• 중요성: PCD 는 재학습의 높은 비용 없이 현재 로봇 파운데이션 모델의 근본적인 약점 (허위 상관관계에 대한 의존성) 을 해결합니다. 단순한 추론 시 개입이 실제 세계 배포에서의 일반화와 안전성을 극적으로 향상시킬 수 있음을 보여줍니다.
• 한계:
  • 계산 오버헤드: PCD 는 마스킹된 이미지를 위한 두 번째 순전파 (forward pass) 와 객체 추적/인페인팅을 필요로 하여, 정책 및 병렬화에 따라 추론 지연 시간을 약 24-100% 증가시킵니다. 그러나 저자들은 성공률의 막대한 향상을 고려할 때 이는 수용 가능하다고 주장합니다.
  • 범위: 현재는 추론 시 수정에 초점을 맞추고 있으며, 향후 연구는 학습 단계에서 허위 상관관계를 해결하는 것을 목표로 합니다.

결론: 이 논문은 로봇 파운데이션 모델이 올바른 시각적 특징에 주의를 기울이도록 강제함으로써 시뮬레이션 성능과 실제 세계 강건성 사이의 격차를 해소하고, 신뢰성과 일반화를 크게 향상시키는 매우 효과적이고 다재다능한 프레임워크 (PCD) 를 제시합니다.