기술 요약: 데모 큐레이션 지표가 정책에 미치는 영향

문제 정의

행동 복제(Behavior Cloning, BC)에서 정책의 성능은 근본적으로 학습용 데모의 품질에 의해 제한됩니다. 야생(in the wild)에서 수집된 대규모 데이터셋은 운영자의 숙련도 차이나 스크립트된 정책 실패로 인해 이질적인 품질을 포함하는 경우가 많지만, 표준적인 해결책인 큐레이션(품질이 낮은 에피소드를 점수 매겨 제거하는 것)에는 통일된 평가 프레임워크가 부족합니다. 기존 문헌은 다양한 품질 지표(예: 궤적 매끄러움, 이상치 탐지)를 제안하지만, 주로 탐지 정확도(지표가 깨끗한 에피소드와 결함이 있는 에피소드를 얼마나 잘 구분하는지)를 기준으로 검증합니다.

본 논문은 중요한 격차를 식별합니다. 즉, 탐지 정확도가 큐레이션 가치(큐레이션된 하위 집합으로 학습했을 때 다운스트림 정책이 얼마나 개선되는지)와 반드시 상관관계를 갖는 것은 아니라는 점입니다. 어떤 지표는 특이한 궤적을 포착하는 데는 뛰어나더라도, 학습된 정책에 가장 해로운 것이 무엇인지 식별하는 데는 실패할 수 있습니다. 또한, 저자들은 기존의 많은 벤치마크가 지표가 결함의 대리 지표로서 에피소드 길이를 악용하여 보고된 성능을 부풀리는 방법론적 혼란(methodological confound)을 겪고 있다고 가설을 세웠습니다.

방법론

저자들은 LIB理由(LIBERO) pick-and-place 벤치마크(robosuote 기반)를 사용하여 탐지 정확도와 다운스트림 정책 성능을 분리하는 통제된 테스트베드를 설계했습니다.

실험 설정

• 작업: 접근(approach), 하강(descend), 들어올리기(lift), 운반(transport)의 네 단계로 구성된 접촉 밀착형(contact-rich) pick-and-place 작업.
• 정책 아키텍처: 26차원 관측값(엔드 이펙터 위치, 그리퍼 상태, 초기 볼 그릇 위치, 단계별 원-핫 인코딩)을 입력받아 4차원 행동을 출력하는 단계 조건부 행동 복제 정책(2개의 은닉층과 256개 유닛을 가진 MLP).
• 결함 주입: 구조적 결함이 80% 오염율로 도입되었습니다. 결함은 LIFT 단계(단계의 30%에서 70% 사이) 동안 그리퍼를 조기에 놓는 것으로 구성되며, 이로 인해 물체가 운반되기 전에 떨어지게 됩니다.
  • 클린 데이터: 16개의 스크립트 데모 (성공률 100%).
  • 결함 데이터: 64개의 데모 (성공률 0%).
  • 오염된 베이스라인: 80개의 데모 전체로 학습 시 성공률은 단 **3.3%**에 불과함.
  • 오라클 천장(Oracle Ceiling): 16개의 클린 데모로만 학습 시 성공률은 **93.3%**임.

평가 프로토콜

연구는 두 가지 축을 기준으로 7가지 큐레이션 지표를 평가합니다:

1. 탐지(Detection): 지표의 품질 점수에 대한 정답 성공 라벨 대비 AUROC(Area Under the ROC Curve).
2. 다운스트림 성능(Downstream Performance): 각 지표에 의해 큐레이션된 상위 75%의 데모(80개 중 60개)로 학습된 BC 정책의 작업 성공률.

핵심 통제: 에피소드 길이 정규화

저자들은 결함이 있는 에피소드가 물체를 떨어뜨린 후에도 로봇이 계속 움직이기 때문에 타임 리밋(500 스텝)까지 실행되는 반면, 성공적인 에피소드는 일찍 종료(~325 스텝)된다는 점을 확인했습니다. 지표가 결함을 식별하기 위해 이 길이 차이를 대리 지표로 악용하는 것을 방지하기 위해, 모든 데모는 특징 추출 전 **T=324 스텝으로 절단(truncation)**되었습니다. 이를 통해 지표가 지속 시간이 아닌 콘텐츠 기반 신호에 의존하도록 보장했습니다.

주요 기여 및 평가된 지표

논문은 단순 휴리스틱부터 복잡한 앙상블 방법까지 7가지 지표를 평가합니다:

1. 매끄러움(Smoothness): 액션 속도의 스펙트럼 호 길이(SPARC).
2. 엔트로피(Entropy): 액션 시퀀스의 음의 표준 편차.
3. 그리퍼 타이밍(Gripper Timing): 첫 그리퍼 열림의 정규화된 타임스텝 (주입된 결함을 구체적으로 타겟팅함).
4. 아이솔레이션 포레스트(Isolation Forest): 액션 요약 특징 공간에서의 이상치 탐지.
5. 앙상블(Ensemble): 매끄러움과 그리퍼 타이밍의 가중 결합.
6. kNN: 궤적 특징 공간에서 가장 가까운 이웃과의 음의 평균 거리.
7. 궤적 정렬(Trajectory Alignment): 데모의 평균 상태 궤적과 클린 세트의 평균 궤적 간의 코사인 유사도.

결과

1. 탐지와 큐레이션의 뚜렷한 디커플링(Decoupling)

핵심 발견은 탐지 AUROC와 다운스트림 정책 성공 사이의 상관관계 부재(Spearman $\rho = -0.14$)입니다.

• "최악의" 탐지기: 그리퍼 타이밍은 가장 높은 탐지 AUROC(0.804)를 달성했으나, 가장 낮은 정책 성능(성공률 13.3%)을 보였습니다. 이는 그리퍼를 (너무 일찍은 아니더라도) 여전히 너무 빨리 여는 결함 데모를 유지하는 동시에, 약간 더 일찍 닫히는 클린 데모를 버렸기 때문입니다.
• "최고의" 탐지기: 궤적 정렬은 낮은 AUROC(0.638)를 기록했지만, **90.0%**의 성공률을 가진 정책을 생성했습니다(오라클과 불과 3.3% 차이). 이는 구조적 결함(볼을 떨어뜨림)이 평균 상태 궤적에 큰 편차를 일으켰기 때문에, 부정확한 지표라 할지라도 가장 해로운 에피소드를 분리해낼 수 있었음을 의미합니다.
• 오라클(The Oracle): 앙상블 방법은 거의 제로에 가까운 분산을 보이며 **91.1%**의 성공률을 달성했습니다. 이는 전역적 운동 품질과 단계 국소적 결함 지표를 결합하는 것이 매우 효과적임을 입증합니다.

2. 에피소드 길이의 혼란(The Episode-Length Confound)

절단 전, 7개 지표 중 5개(Isolation Forest 및 kNN 포함)는 단순히 에피소드 길이의 차이(325 vs 500 스텝)를 탐지함으로써 거의 완벽한 AUROC(1.000)를 달성했습니다. 절단 후:

• 길이 (누적 경로): 1.000에서 0.500(우연 수준)으로 하락.
• Isolation Forest: 1.000에서 0.440으로 하락.
• 그리퍼 타이밍: 내용 인식 및 길이 정규화 덕분에 높은 수치(0.804)를 유지.
  이는 문헌에 보고된 많은 "고성능" 지표들이 실제 데모 품질이 아니라 에피소드 지속 시간을 측정하고 있을 가능성을 확인시켜 줍니다.

3. 분산 및 신뢰성

kNN이나 매끄러움 같은 지표는 다운스트림 성공률에서 높은 분산(예: kNN $\pm 41.7\%$)을 보여, 큐레이션 결정이 무작위 시드에 따라 불안정함을 나타냈습니다. 반면, 앙상블과 궤적 정렬은 거의 제로에 가까운 분산을 보여 단일 실행 큐레이션 파이프라인에서도 신뢰할 수 있음을 보여주었습니다.

의의 및 주장

본 논문은 데모 큐레이션을 평가하는 방식의 패러다임 전환을 주장합니다:

1. 정책 성능이 유일한 지표이다: 탐지 AUROC는 큐레이션 가치를 예측하는 데 나쁜 예측 변수입니다. "옳은 질문"은 어떤 지표가 결함을 가장 잘 탐지하느냐가 아니라, 어떤 지표가 최선의 정책을 만드느냐입니다.
2. 방법론적 엄밀성: 모든 큐레이션 벤치마크는 에피소드 길이를 통제해야 합니다. 결함 있는 에피소드와 성공적인 에피소드가 지속 시간 면에서 체계적으로 다르다면, 탐지 정확도 지표는 실제 품질이 아닌 혼란 변수를 측정하고 있는 것입니다.
3. 실무적 가이드: 실무자는 높은 탐지 AUROC를 가졌으나 다운스트림 결과가 좋지 않은 지표보다, 낮은 분산과 높은 성공률을 제공하는 지표(궤적 정렬 또는 앙상블과 같은)를 우선시해야 합니다.

저자들은 큐레이션 방법이 실제로 모방 학습 성과를 개선하는지 확인하기 위해, 분야가 고립된 탐지 벤치마크에서 벗어나 엔드 투 엔드(end-to-end) 정책 평가로 이동해야 한다고 결론짓습니다. 테스트베드, 지표 구현 및 평가 파이프라인은 이러한 변화를 촉진하기 위해 공개되었습니다.