Auditing Demonstration Curation Metrics: Action-Only Scorers Fail on the Structural Defects That Degrade Imitation Policies

기술 요약: 데모레이션 큐레이션 메트릭에 대한 감사(Auditing)

문제 정의
모방 학습 정책, 특히 행동 복제(behavior cloning)는 훈련에 사용되는 데모레이션의 품질에 근본적으로 제한을 받습니다. 대규모 데이터셋은 종종 자동화된 메트릭을 사용하여 저품질 데이터를 필터링하도록 큐레이션되지만, 어떤 메트릭이 실제로 다운스트림 정책 성능을 개선하는지에 대해서는 합의된 바가 없습니다. 기존 문헌들은 서로 다른 프로토콜을 가진 이질적인 데이터셋에서 메트릭을 검증해 왔으며, 이는 메트릭의 "특이한" 데모레이션을 식별하는 능력과 정책을 능동적으로 저하시키는 데모레이션을 식별하는 능력 사이의 간극을 만듭니다. 또한, 높은 탐지 정확도가 작업 성공률의 향상으로 이어지는지 여부도 불분명합니다.

방법론
저자들은 기존의 7가지 데모레이션 큐레이션 메트릭을 감사하기 위한 통제된 테스트베드를 도입합니다. 이 연구는 두 가지 별개의 변수를 격리하여 조사합니다: 메트릭의 탐지(detection) 능력(결함이 있는 데모레이션을 깨끗한 데모레이션보다 낮게 순위 매기는 능력)과 다운스트림(downstream) 영향(큐레이션된 서브셋으로 훈련하는 것이 오염된 전체 세트로 훈련하는 것보다 작업 성공을 개선하는지 여부)입니다.

• 환경: ALOHA 싱글 암 설정을 모델로 한 가벼운 NumPy 기반의 pick-and-place 시뮬레이터입니다. 작업은 물체를 잡고 목표 영역으로 이동하는 것입니다.
• 결함 주입: 연구는 40%의 오염율로 두 가지 결함 레짐(regime)을 도입하며, 이때 결함 레이블은 큐레이션 메트릭에 숨겨집니다:
  1. 미세한 섭동(Subtle Perturbations): 상관관계가 있는 액션 노이즈(AR(1)), 고주파 떨림, 조기 절단(early truncation), 궤적 이탈. 이는 올바른 행동으로부터의 통계적 편차를 나타냅니다.
  2. 구조적 오류(Structural Errors): 운반 단계 중에 그리퍼가 조기에 열려 물체를 떨어뜨리는 "조기 해제(early release)" 결함. 이는 체계적이고 상태 의존적인 잘못된 행동을 나타냅니다.
• 감사된 메트릭: 7가지 메트릭이 입력 데이터에 따라 분류되어 테스트되었습니다:
  • 액션 전용(Action-Only): 매끄러움(spectral arc length), 엔트로피(액션 분산), 길이, 아이솔레이션 포레스트(Isolation Forest), 그리고 이들의 앙상블.
  • 상태-궤적 인지형(State-Trajectory-Aware): 궤적 특징 공간에서의 k-최근접 이웃(kNN), 궤적 정렬(Trajectory Alignment).
• 평가 프로토콜:
  • 탐지: 숨겨진 레이블에 대한 AUROC(Area Under the ROC Curve)를 통해 측정되었습니다.
  • 다운스트림: 정책은 상위 점수를 받은 데이터 분율(수량을 제어하기 위해 $N=150$으로 고정)로 훈련되었으며, 50회의 새로운 롤아웃을 통해 평가되었습니다. 결과는 세 번의 무작위 시드에 대해 평균을 냈습니다.

주요 결과
연구는 탐지 정확도와 다운스트림 유용성 사이의 급격한 괴리를 보여주며, 이는 결함 유형에 따라 크게 달라집니다:

1. 미세한 섭동: 이들은 탐지 및 회복이 용이합니다. 다변량 이상치 탐지(Isolation Forest)는 0.97의 AUROC를 달절했습니다. 큐레이션에 사용되었을 때, 이는 오염된 세트와 오라클(oracle) 깨끗한 세트 사이의 성능 격차를 거의 완전히 회복했습니다 (71.3% vs. 72.0% 성공).
2. 구조적 오류: 이들은 액션 전용 메트릭으로는 거의 보이지 않습니다.
   • 역전 현상(Inversion): 여러 액션 전용 메트릭(매끄러움, 엔트로피, 앙상블)은 구조적 결함에 대해 우연보다 낮은 성능(AUROC < 0.5)을 보였습니다. 특히, 엔트로피는 구조적 오류가 "탐색"을 모사하는 것처럼 액션 분산을 증가시키기 때문에 결함이 있는 데모레이션을 더 높은 품질로 평가했습니다.
   • 다운스트림 피해: 이러한 역전된 메트릭을 큐레이션에 사용하면 정책 성능이 미큐레이션된 베이스라인보다 낮거나 비슷하게 나타났습니다 (예: 매끄러움은 오염된 세트의 36.0% 대비 27.3%로 하락).
   • 부분적 회복: 오직 상태-궤적 인지형 메트릭(kNN 및 궤적 정렬)만이 구조적 오류를 탐지했습니다. 그러나 가장 우수한 성능을 보인 kNN조차 성능 격차의 약 1/3만을 회복했을 뿐이며(48.0% vs. 62.7% 오라클), 이는 탐지가 회복을 보장하지 않음을 입증합니다.
3. 탐지와 회복의 디커플링(Decoupling): 구조적 결함에 대해 유사한 탐지 AUROC를 가진 두 메트릭(kNN: 0.86, 궤적 정렬: 0.76)이 매우 다른 다운스트림 결과를 낳았습니다. kNN은 상당한 성능을 회복한 반면, 궤적 정렬은 베이스라인을 겨우 넘어섰습니다. 이는 어떤 깨끗한 데모레이션이 부수적 피해(collateral damage)로 버려지는지가 랭킹 품질만큼 중요하다는 것을 시사합니다.

의의 및 주장
이 논문의 주요 기여는 새로운 큐레이션 알고리즘이 아니라 감사와 그 테스트베드 자체입니다. 저자들은 세 가지 핵심 발견을 주장합니다:

• 레짐 의존성(Regime Dependency): 큐레이션 메트릭은 보편적으로 적용될 수 없습니다. 다변량 이상치 스코어링은 미세한 노이즈에는 작동하지만, 구조적 오류를 해결하려면 오직 상태 분석이 필요합니다.
• 액션 전용 메트릭의 위험성: 상태 궤적을 무시하는 메트릭은 유효한 데이터를 필터링하는 동시에 결함 데이터를 유지함으로써, 미큐레이션된 베이스라인보다 성능을 능동적으로 저하시킬 수 있습니다.
• 평가 표준: 탐지 정확도(AUROC)는 유용한 큐레이션 메트릭을 위한 필요조건이지만 충분조건은 아닙니다. 큐레이션 방법의 유일한 유효한 판단 기준은 큐레이션된 서브셋으로 훈련된 정책의 성능입니다.

저자들은 실무자들이 기대되는 결함 유형에 맞춰 큐레이션 메트릭을 일치시켜야 한다고 결론지으며, 가장 치명적인 구조적 오류를 다루기 위해서는 상태 인지 분석이 필요함을 강조합니다. 논문은 단순화된 시뮬레이터, 주입된 결함(실제 환경의 결함이 아님), 제한된 무작위 시드 사용 등의 한계를 인정하며, 이는 질적인 결과는 유효하지만 구체적인 수치적 차이는 더 복잡하고 물리 법칙이 풍부한 환경에서는 달라질 수 있음을 시사합니다.