Technische Samenvatting: Demonstratie Curatie Metrieken versus Uw Beleid

Probleemstelling

In behavior cloning (BC) wordt de prestatie van het beleid (policy) fundamenteel beperkt door de kwaliteit van de trainingsdemonstraties. Hoewel grootschalige datasets verzameld in de praktijk vaak heterogene kwaliteit bevatten door variaties in de vaardigheid van de operator of fouten in gescript beleid, ontbreeft het de standaardoplossing—curatie (het scoren en weggooien van demonstraties van lage kwaliteit)—aan een verenigd evaluatiekader. Bestaande literatuur stelt diverse kwaliteitsmetrieken voor (bijv. trajectgladheid, outlier detectie), maar valideert deze primair op detectienauwkeurigheid (hoe goed een metriek schone versus defecte episodes rangschikt).

Dit artikel identificeert een kritieke kloof: detectienauwkeurigheid correleert niet noodzakelijkerwijs met curatiewaarde (hoeveel het downstream beleid verbetert wanneer het getraind wordt op de gecureerde subset). Een metriek kan uitblinken in het signaleren van ongebruikelijke trajecten zonder succesvol te identificeren welke trajecten het meest schadelijk zijn voor het geleerde beleid. Bovendien hypothetiseren de auteurs dat veel bestaande benchmarks lijden aan een methodologische confound waarbij metrieken episodelengte gebruiken als een triviale proxy voor defecten, wat de gerapporteerde prestaties kunstmatig opblaast.

Methodologie

De auteurs ontwierpen een gecontroleerde testomgeving met behulp van de LIBERO pick-and-place benchmark (gebouwd op robosuite) om detectienauwkeurigheid los te koppelen van downstream beleidsprestaties.

Experimentele Opzet

• Taak: Een contact-rijke pick-and-place taak bestaande uit vier fasen: benaderen, dalen, tillen en transporteren.
• Beleid Architectuur: Een fase-geconditioneerd behavior cloning beleid (MLP met 2 verborgen lagen, 256 eenheden) dat 26-dimensionale observaties (end-effector positie, gripper status, initiële kom positie, en fase one-hot encoding) neemt en 4-dimensionale acties produceert.
• Defect Injectie: Een structureel defect werd geïntroduceerd bij een 80% contaminatiegraad. Het defect bestaat uit een vroege gripper release tijdens de LIFT-fase (tussen 30% en 70% van de fase), waardoor het object wordt losgelaten voordat de transportfase begint.
  • Schone Data: 16 gescripte demonstraties (100% succes).
  • Defecte Data: 64 demonstraties (0% succes).
  • Gecontamineerde Baseline: Training op alle 80 demonstraties levert slechts 3,3% taaksucces op.
  • Oracle Ceiling: Training op enkel de 16 schone demonstraties levert 93,3% succes op.

Evaluatieprotocol

De studie evalueert zeven curatie-metrieken op twee assen:

1. Detectie: Area Under the ROC Curve (AUROC) van de kwaliteitsscore van de metriek tegen de grondwaarheid success-labels.
2. Downstream Prestaties: De taaksuccesratio van een BC-beleid getraind op de top 75% van de demonstraties (60/80) gecureerd door elke metriek.

Kritieke Controle: Episodelengte Normalisatie

De auteurs identificeerden dat defecte episodes in hun opzet tot de tijdlimiet lopen (500 stappen) omdat de robot blijft bewegen nadat het object is losgelaten, terwijl succesvolle episodes vroeg eindigen (~325 stappen). Om te voorkomen dat metrieken deze lengteverschillen exploiteren als een proxy voor defecten, werden alle demonstraties afgekapt naar T=324 stappen vóór de feature extractie. Dit zorgt ervoor dat metrieken vertrouwen op inhoudelijke signalen in plaats van duur.

Belangrijkste Bijdragen en Geëvalueerde Metrieken

Het artikel evalueert zeven metrieken, variërend van eenvoudige heuristieken tot complexe ensemble-methoden:

1. Gladheid: Spectral Arc Length (SPARC) van de actsnelheid.
2. Entropie: Negatieve standaarddeviatie van de actiesequentie.
3. Gripper Timing: Genormaliseerde tijdstap van de eerste opening van de gripper (gericht op het geïnjecteerde defect).
4. Isolation Forest: Outlier detectie in de actie-samenvattende feature ruimte.
5. Ensemble: Gewogen combinatie van Gladheid en Gripper Timing.
6. kNN: Negatieve gemiddelde afstand tot de dichtstbijzijnde buren in de traject-feature ruimte.
7. Traject Uitlijning: Cosine gelijkenis tussen de gemiddelde staat-traject van een demonstratie en het gemiddelde van de schone set.

Resultaten

1. Scherpe Ontkoppeling van Detectie en Curatie

De centrale bevinding is een gebrek aan correlatie (Spearman $\rho = -0.14$) tussen detectie AUROC en downstream beleidssucces.

• De "Slechtste" Detector: Gripper Timing behaalde de hoogste detectie AUROC (0,804) maar produceerde het slechtste beleid (13,3% succes). Dit kwam doordat het defecte demonstraties behield die de gripper later openden (maar nog steeds te vroeg), terwijl het schone demonstraties wegwierp die toevallig iets eerder sloten.
• De "Beste" Detector: Traject Uitlijning had een lage AUROC (0,638) maar produceerde een beleid met 90,0% succes (binnen 3,3 procentpunten van de Oracle). Dit slaagde omdat het structurele defect (het laten vallen van de kom) zorgde voor een grote afwijking in het gemiddelde staat-traject, waardoor zelfs een onnauwkeurige metriek de meest schadelijke episodes kon scheiden.
• De Oracle: De Ensemble methode bereikte 91,1% succes met bijna nul variantie, wat aantoont dat het combineren van globale bewegingskwaliteit met fase-gelokaliseerde defectindicatoren zeer effectief is.

2. De Episodelengte Confound

Vóór de afkap-procedure behaalden vijf van de zeven metrieken (inclusief Isolation Forest en kNN) een bijna perfecte AUROC (1,000) simpelweg door het verschil in episodelengte te detecteren (325 vs. 500 stappen). Na afkapping:

• Lengte (cumulatief pad): Daalde van 1,000 naar 0,500 (kans).
• Isolation Forest: Daalde van 1,000 naar 0,440.
• Gripper Timing: Bleef hoog (0,804) omdat het inhoudsbewust en lengte-genormaliseerd is.
  Dit bevestigt dat veel in de literatuur gerapporteerde "hoogpresterende" metrieken mogelijk de episode-duur meten in plaats van de kwaliteit van de demonstratie.

3. Variantie en Betrouwbaarheid

Metrieken zoals kNN en Gladheid vertoonden een hoge variantie in downstream succes (bijv. kNN $\pm 41,7\%$), wat aangeeft dat hun curatiebeslissingen instabiel zijn over verschillende random seeds. In contrast vertoonden Ensemble en Traject Uitlijning bijna nul variantie, wat hen betrouwbaarder maakt voor single-run curatie-pipelines.

Betekenis en Claims

Het artikel pleit voor een paradigmaverschuiving in hoe demonstratie-curatie wordt geëvalueerd:

1. Beleidsprestatie is de Enige Metriek: Detectie AUROC is een slechte voorspeller van curatiewaarde. De "juiste vraag" is niet welke metriek defecten het best detecteert, maar welke metriek het beste beleid produceert.
2. Methodologische Rigor: Elke curatie-benchmark moet de episodelengte controleren. Als defecte en succesvolle episodes systematisch verschillen in duur, meten detectienauwkeurigheid-metrieken waarschijnlijk een confound in plaats van echte kwaliteit.
3. Praktische Richtlijnen: Praktiseerders moeten prioriteit geven aan metrieken die lage-variantie, hoge-succes beleidsmodellen opleveren (zoals Traject Uitlijning of Ensembles) boven die met een hoge detectie AUROC maar slechte downstream resultaten.

De auteurs concluderen dat het vakgebied zich moet bewegen van geïsoleerde detectie-benchmarks naar end-to-end beleidsevaluatie om te garanderen dat curatiemethoden daadwerkelijk de uitkomsten van imitation learning verbeteren. De testomgeving, metriek-implementaties en evaluatie-pipeline worden vrijgegeven om deze verschuiving te faciliteren.