기술 요약: LIBERO-PRO

문제 제기

비전 - 언어 - 행동 (VLA) 모델은 신체화된 AI 의 핵심 패러다임으로 자리 잡았으나, 그 평가는 여전히 LIBERO 벤치마크에 크게 의존하고 있습니다. 저자들은 현재 LIBERO 의 학습 및 평가 구성에 치명적인 결함이 있음을 지적합니다. 즉, 테스트 작업이 학습 작업과 거의 동일하며, 초기 객체 상태의 가장자리적이고 종종 시각적으로 구별 불가능한 교란 (perturbations) 만이 다를 뿐이라는 것입니다.

이러한 설정은 과장된 성능 추정치를 초래합니다. 표준 LIBERO 에서 90% 이상의 성공률을 기록한 모델들이 실제 작업 이해나 환경 지각이 아닌, 행동 시퀀스 및 환경 레이아웃에 대한 **주입식 암기 (rote memorization)**에 의존하고 있음이 드러났습니다. 정성적 분석은 다음과 같은 체계적인 실패 모드를 보여줍니다.

• 시각적 환각: 관련 없는 객체를 잡거나, 목표 객체가 제거되었을 때 "공기를 잡는" 행동을 수행합니다.
• 지시 무시: 무의미하거나 손상된 지시를 무시하고 암기된 궤적을 계속 수행합니다.
• 공간적 취약성: 객체 위치가 학습 분포에서 약간만 이동해도 즉시 실패합니다.
• 구성성 부재: 학습된 하위 작업을 일관된 다단계 행동으로 결합하지 못합니다.

결과적으로, 현재 평가 프로토콜은 현대 VLA 아키텍처의 추론 능력, 구성성, 그리고 일반화 능력을 엄격하게 평가하지 못합니다.

방법론: LIBERO-PRO

이러한 한계를 해결하기 위해 저자들은 합리적인 교란 하에서 모델 성능을 체계적으로 평가하도록 설계된 확장형 플러그 - 앤 - 플레이 벤치마크인 LIBERO-PRO를 소개합니다. 이 프레임워크는 VLA 작업을 $T = (l, e, G)$로 형식화하고, 네 가지 직교 차원에 걸쳐 통제된 변형을 도입합니다.

1. 조작 객체 (객체 속성 교란): 의미적 동등성을 유지하면서 비필수적인 시각적 속성 (색상, 질감, 크기) 을 수정하거나, 관련 없는 항목으로 객체를 교체합니다.
2. 초기 상태 (공간 구성 교란): 물리적으로 타당한 범위 내에서 객체의 절대 및 상대 위치를 변경합니다.
3. 작업 지시 (지시 교란): 의미적 변형 (재문장화) 과 구조적 변형을 도입하며, 언어 기반을 테스트하기 위해 무의미한 토큰을 주입합니다.
4. 환경 (환경 교란): 배경, 조명, 질감 등의 시각적 컨텍스트를 변경합니다.

또한, 이 프레임워크는 작업 교란(학습 분포 내에서 목표 객체나 행동을 수정) 을 포함하며, 실행 가능성을 보장하기 위해 교차 유형 조합에서 작업 수준 교란을 제외하고 이러한 교란들의 다차원 무작위 조합을 지원합니다.

평가 과정은 교란된 작업이 의미적으로 일관되고 실행 가능하도록 제약을 부과하며, 정책 민감도를 특성화하기 위해 교란 크기 ($\delta_k$) 를 변화시킵니다.

주요 기여

이 논문은 세 가지 주요 기여를 합니다.

1. 과적합의 실증적 증명: 저자들은 높은 LIBERO 점수가 학습 구성을 암기하는 데서 비롯된 것이지 전이 가능한 추론에서 비롯된 것이 아님을 입증하여, 현재 평가 관행의 심각한 결함을 폭로합니다.
2. LIBERO-PRO 의 도입: 객체 속성, 초기 상태, 작업 지시, 환경을 아우르는 체계적으로 설계된 교란을 통합하여 엄격한 단일 및 다차원 평가를 지원하는 새로운 벤치마크 스위트입니다.
3. 종합적 벤치마킹: LIBERO-PRO 에 대한 최첨단 모델 (OpenVLA, Pi0, Pi0.5) 의 평가를 통해, 원래 프로토콜의 한계를 강조하는 상당한 성능 저하를 드러냈습니다.

실험 결과

저자들은 LIBERO-PRO 스위트에서 주요 VLA 모델 (OpenVLA, Pi0, Pi0.5) 을 평가했습니다. 결과는 일반화된 설정 하에서 거의 완전한 성능 붕괴를 나타냅니다.

• 표준 대 일반화 성능: 모델들이 표준 LIBERO 에서 90% 이상의 정확도를 달성하는 반면, 일반화된 LIBERO-PRO 설정 하에서는 성능이 **0.0%**로 떨어집니다.
• 교란에 대한 민감도:
  • 위치 이동: 객체 변위가 0.2 단위를 초과하면 OpenVLA 와 Pi0 의 성공률이 0 으로 떨어집니다. 더 강력한 Pi0.5 역시 0.4 단위를 초과하면 0 으로 저하됩니다.
  • 객체 교체: 목표 객체가 관련 없는 항목으로 교체되면 모델들은 적응하지 못하며, 종종 잘못된 객체를 잡는 행동을 수행합니다.
  • 지시 손상: 모델들은 무의미한 지시 (예: "fdsgfdsgsd") 를 받음에도 행동을 수행하여 언어 기반의 부재를 보여줍니다.
  • 작업 구성: 모델들은 단순한 하위 작업을 복잡한 다단계 지시로 결합하지 못하고, 대신 우연한 궤적 조각에 의존합니다.
• 모델 차이: 대부분의 모델이 심각하게 실패하는 반면, Pi0.5 는 특정 작업 (예: 위치 변경 하의 libero-goal에서 0.38 의 성공률, 다른 모델은 0) 에서 약간 더 나은 회복력을 보여주어, 표준 벤치마크에 의해 가려진 미묘한 능력 차이를 부각시켰습니다.

중요성 및 주장

이 논문은 VLA 평가의 현재 "일반 화폐"인 LIBERO 가 일반화보다 암기를 보상하기 때문에 근본적으로 결함이 있다고 주장합니다. 저자들은 보고된 90% 를 초과하는 정확도가 진정한 지각 기반이나 작업 수준 추론을 반영하지 않는다고 논합니다.

LIBERO-PRO 의 중요성은 보다 공정하고, 충실하며, 재현 가능한 평가 표준을 제공할 수 있다는 데 있습니다. 현재 모델들이 표준 장면 레이아웃과 반복되는 객체 위치와 같은 단편적인 특징 - 행동 상관관계에 의존하고 있음을 폭로함으로써, 저자들은 오해의 소지가 있는 방법론을 포기할 것을 커뮤니티에 호소합니다. 보고된 진전이 견고하고 일반화 가능한 신체화된 지능의 요구 사항과 일치하도록 보장하기 위해 구조화된 교란을 포함한 평가 프로토콜을 옹호합니다.