Auditing Demonstration Curation Metrics: Action-Only Scorers Fail on the Structural Defects That Degrade Imitation Policies

Technische Samenvatting: Audit van Curatie-metrieken voor Demonstraties

Probleemstelling
Imitatieleer-policies, met name behavior cloning, worden fundamenteel beperkt door de kwaliteit van de demonstraties waarop ze worden getraind. Hoewel grote datasets vaak worden gecureerd met behulp van automatische metrieken om kwalitatief laagwaardige data te filteren, bestaat er geen consensus over welke metrieken daadwerkelijk de downstream policy-prestaties verbeteren. Bestaande literatuur valideert metrieken op uiteenlopende datasets met verschillende protocollen, wat een kloof creëert tussen het vermogen van een metriek om "ongebruikelijke" demonstraties te identificeren en het vermogen om demonstraties te identificeren die een policy actief verslechteren. Bovendien blijft het onduidelijk of een hoge detectie-accuratesse vertaalt naar verbeterde taakprestaties.

Methodologie
De auteurs introduceren een gecontroleerde testomgeving om zeven bestaande curatie-metrieken voor demonstraties te auditeren. De studie isoleert twee afzonderlijke variabelen: het detectievermogen van een metriek (hoe goed het defecte demonstraties lager rangschikt dan schone demonstraties) en de downstream impact (of het trainen op de gecureerde subset de taakprestaties verbetert vergeleken met trainen op de ongecureerde, gecontamineerde set).

• Omgeving: Een lichtgewicht NumPy-gebaseerde pick-and-place simulator, gemodelleerd naar de ALOHA single-arm setup. De taak bestaat uit het grijpen van een object en het verplaatsen ervan naar een doelregio.
• Defect-injectie: De studie introduceert twee regimes van defecten met een contaminatiegraad van 40%, waarbij de defect-labels verborgen blijven voor de curatie-metrieken:
  1. Subtiele Perturbaties: Gecorreleerde actie-ruis (AR(1)), hoogfrequente tremor, vroege afbraak (truncation) en traject-afwijkingen (detours). Deze vertegenwoordigen statistische afwijkingen van correct gedrag.
  2. Structurele Fouten: Een "vroege release" defect waarbij de gripper voortijdig opent tijdens de draagfase, waardoor het object valt. Dit vertegenwoordigt een systematische, staat-afhankelijke foutieve actie.
• Geauditte Metrieken: Zeven metrieken werden getest, gecategoriseerd op basis van hun inputdata:
  • Alleen Actie (Action-Only): Smoothness (spectrale booglengte), Entropie (actie-variantie), Lengte, Isolation Forest, en een Ensemble van deze.
  • Staat-Traject-Bewust (State-Trajectory-Aware): k-Nearest Neighbors (kNN) in een traject-feature-ruimte, en Trajectory Alignment.
• Evaluatieprotocol:
  • Detectie: Gemeten via de Area Under the ROC Curve (AUROC) tegen verborgen labels.
  • Downstream: Policies werden getraind op de top-scorende fractie van de data (vastgesteld op $N=150$ demonstraties om de hoeveelheid te controleren) en geëvalueerd over 50 verse rollouts. Resultaten werden gemiddeld over drie willekeurige seeds.

Belangrijkste Resultaten
De studie onthult een scherpe divergentie tussen detectie-accuratesse en downstream nut, sterk afhankelijk van het type defect:

1. Subtiele Perturbaties: Deze zijn zeer detecteerbaar en herstelbaar. Multivariate outlier detectie (Isolation Forest) bereikte een AUROC van 0,97. Wanneer gebruikt voor curatie, herstelde het bijna volledig het prestatiekloof tussen de gecontamineerde set en de oracle schone set (71,3% vs. 72,0% succes).
2. Structurele Fouten: Deze zijn grotendeels onzichtbaar voor alleen-actie metrieken.
   • Inversie: Verschillende alleen-actie metrieken (Smoothness, Entropy, Ensemble) presteerden slechter dan toeval (AUROC < 0,5) op structurele defecten. Opvallend genoeg scoorde Entropy defecte demonstraties als hogere kwaliteit omdat de structurele fout de actie-variantie verhoogde, wat lijkt op "exploratie".
   • Downstream Schade: Het gebruik van deze geïnverteerde metrieken voor curatie resulteerde in policies die presteerden op of onder de ongecureerde baseline (bijv. Smoothness daalde naar 27,3% succes vs. 36,0% voor de gecontamineerde set).
   • Partieel Herstel: Alleen staat-traject-bewuste metrieken (kNN en Trajectory Alignment) detecteerden structurele fouten. Echter, zelfs de beste performer (kNN) herstelde slechts ongeveer een derde van het prestatiekloof (48,0% vs. 62,7% oracle), wat aantoont dat detectie geen succes garandeert.
3. Ontkoppeling van Detectie en Herstel: Twee metrieken met vergelijkbare detectie AUROCs voor structurele defecten (kNN: 0,86, Trajectory Alignment: 0,76) leverden zeer verschillende downstream resultaten op. kNN herstelde aanzienlijke prestaties, terwijl Trajectory Alignment nauwelijks boven de baseline uitkwam. Dit suggereert dat welke schone demonstraties als nevenschade worden weggegooid even cruciaal is als de kwaliteit van de ranking.

Betekenis en Claims
De primaire bijdrage van het artikel is de audit en de testomgeving zelf, in plaats van een nieuw curatie-algoritme. De auteurs claimen drie bevindingen:

• Regime-afhankelijkheid: Curatie-metrieken zijn niet universeel toepasbaar; multivariate outlier scoring werkt voor subtiele ruis, maar alleen staat-analyse kan structurele fouten aanpakken.
• Risico van Alleen-Actie Metrieken: Metrieken die staat-trajecten negeren kunnen actief schadelijk zijn, door potentieel de policy-prestaties te degraderen tot onder de ongecureerde baseline door geldige data te filteren terwijl defecte data wordt behouden.
• Evaluatiestandaard: Detectie-accuratesse (AUROC) is een noodzakelijke maar onvoldoende voorwaarde voor een nuttige curatie-metriek. De enige geldige beoordelaar van een curatiemethode is de prestatie van de policy die getraind is op de gecureerde subset.

De auteurs concluderen dat beoefenaars de curatie-metriek moeten afstemmen op het verwachte type defect en benadrukken dat structurele fouten, die het meest schadelijk zijn, staat-bewuste analyse vereisen. Het artikel erkent beperkingen, waaronder het gebruik van een vereenvoudigde simulator, geïnjecteerde in plaats van echte defecten, en een beperkt aantal willekeurige seeds, wat suggereert dat hoewel de kwalitatieve bevindingen standhouden, specifieke numerieke verschillen kunnen variëren in complexere, fysica-rijke omgevingen.