Phase-Localized Curation Does Not Help: A Negative Result on Per-Phase Metric Selection for Demonstration Filtering

Technisch Samenvatting: Fase-gelokaliseerde Curatie Helpt Niet

Probleemstelling
Curatie van demonstraties voor behavior cloning is cruciaal bij het trainen op data van gemengde kwaliteit, maar recent werk heeft een contra-intuïtieve ontkoppeling vastgesteld tussen detectienauwkeurigheid en de waarde van curatie: een metriek met de hoogste defect-detectie AUROC levert niet noodzakelijkerwijs het beste beleid (policy) op wanneer deze als filter wordt gebruikt. Een natuurlijke hypothese om dit te verhelpen is fase-gelokaliseerde curatie. Aangezien manipulatietaken temporele fasestructuren bezitten (bijv. nadering, grijpen, tillen, transporteren) en defecten vaak gelokaliseerd zijn aan specifieke fasen, is het aannemelijk dat het scoren van elke fase met de lokaal meest informatieve metriek en het aggregeren van de resultaten beter presteert dan globale scoring. Dit papier test de hypothese dat het segmenteren van trajecten in fasen en het toepassen van per-fase metriekselectie de uitkomsten van curatie verbetert vergeleken met uniforme of globale strategieën.

Methodologie en Testbed
De auteurs evalueren deze hypothese op drie contact-rijke pick-and-place taken uit de LIBERO benchmark, gebouwd op de robosuite simulator.

• Defect Model: Een gecontroleerd structureel "early-release" defect wordt geïnjecteerd, waarbij de grijper voortijdig opent tijdens de LIFT-fase (30–70% van de duur van de fase), waardoor het object valt. Dit defect is gelokaliseerd tot een enkele fase en middelt niet uit over de dataset.
• Data Setup: Trainingssets bestaan uit 80 demonstraties (80% contaminatiegraad: 64 defecte, 16 schone). Beleidsmodellen worden getraind op de top 75% van de gecureerde demonstraties (60 trajecten).
• Policy: Een fase-geconditioneerde behavior-cloning MLP (2 verborgen lagen, 256 eenheden) getraind voor 300 epochs.
• Vergelijking van Curatie-strategieën:
  1. Globaal: Een enkele metriek wordt berekend over het gehele afgekapte traject om alle demonstraties te rangschikken.
  2. Uniform: Een enkele metriek wordt identiek toegepast op elke fase, en per-fase scores worden geaggregeerd. Dit isoleert het effect van aggregatiemechanismen van variatie in metrieken.
  3. Fase-gestuurde (Voorgesteld): Trajecten worden gesegmenteerd in vier fasen (PREGRASP, DESCEND, LIFT, TRANSPORT). Voor elke fase identificeert een sweep de lokaal meest discriminerende metriek. Deze per-fase scores worden rang-genormaliseerd en gemiddeld om een uiteindelijke curatie-rangschikking te produceren.
• Evaluatie: Succespercentages worden gemeten over 30 rollouts over vijf willekeurige seeds per conditie.

Belangrijkste Resultaten
De studie levert een consistente negatieve resultaat: Fase-gestuurde curatie is nooit de beste strategie en is vaak de slechtste.

• Prestaties: Over alle drie de taken heen faalde fase-gestuurde curatie om zowel de uniforme baseline als de globale baseline te overtreffen.
  • Taak 1: Fase-gestuurd (86,0%) was de slechtste, achter de globale (92,0%) en uniforme (91,3%) strategieën.
  • Taak 3: Fase-gestuurd (22,7%) was de slechtste, en presteerde significant slechter dan de uniforme (48,0%) en globale (30,7%) strategieën.
  • Taak 2: Fase-gestuurd (78,0%) versloeg de globale metriek (58,0%) maar verloor van de uniforme baseline (83,3%), wat aangeeft dat de verbetering kwam door het gebruik van een betere metriek, en niet door de fase-decompositie zelf.
• Transfereerbaarheid: De per-fase metriekselectie is niet overdraagbaar naar andere taken. Tabel III laat zien dat geen enkele fase dezelfde "winnende" metriek deelt tussen welke twee taken dan ook, wat een nieuwe, ruisgevoelige en dure sweep vereist voor elke nieuwe taak.

Mechanisme van Falen: Signaalverdunning
Het paper identificeert signaalverdunning onder rang-aggregatie als het concrete mechanisme voor falen.

• Het defect-signaal is volledig geconcentreerd in de LIFT-fase. De metriek die gevoelig is voor dit defect (grijper-timing) draagt een schoon, hoog-gewicht signaal wanneer deze globaal of uniform wordt toegepast.
• In de fase-gestuurde aanpak wordt de LIFT-fase correct gescoord, maar de andere drie defect-vrije fasen worden gescoord door metrieken die zijn geselecteerd op basis van ruis (aangezien er geen defect te detecteren is in die fasen).
• Wanneer de rangen worden geaggregeerd, wordt het geconcentreerde, informatieve signaal van de LIFT-fase verdund door de oninformatieve, ruisgevoelige rangen van de andere fasen. Dit staat defecte demonstraties toe (die normaal lijken in niet-defect fasen) om hoger te rangschikken dan schone demonstraties (die mogelijk licht afwijkend kunnen lijken in defect-vrije fasen).
• Een fallback met een betrouwbaarheidsdrempel werd getest maar slaagde er niet in de methode te redden, omdat de defect-vrije fasen "zelfverzekerd" als irrelevant werden geselecteerd, en het verdunningsmechanisme actief bleef.

Betekenis en Bijdragen
Het paper levert vier primaire bijdragen:

1. Empirische Grens: Het biedt een gecontroleerde, multi-task test die aantoont dat fase-gestuurde curatie de eenvoudigere strategieën niet verbetert en vaak inferieur is.
2. Mechanistische Verklaring: Het legt uit waarom de methode faalt (signaalverdunning), en voorspelt dat fase-decompositie nadelig is wanneer defecten geconcentreerd zijn in één fase.
3. Gebrek aan Transfer: Het demonstreert dat per-fase metriekselectie niet herbruikbaar is tussen taken, wat het primaire praktische argument voor het adopteren van de methode wegneemt.
4. Praktische Begeleiding: De auteurs stellen dat beoefenaars prioriteit moeten geven aan het identificeren van een enkele defect-informatieve metriek en deze uniform toe te passen, in plaats van curatie per fase te decomponeren.

Beperkingen en Reikwijdte
De auteurs beperken hun claims expliciet tot de specifieke setting van structurele defecten die geconcentreerd zijn in één fase, hoge contaminatiegraden, en contact-rijke taken. Ze beweren niet dat fase-gating faalt voor defecten die werkelijk verspreid zijn over meerdere fasen, waarbij zij opmerken dat dergelijke gedistribueerde defecten minder voorkomen in de praktijk (bijv. vallende objecten, gemiste grepen). De resultaten vertrouwen op een consistente ordening over seeds in plaats van enkel op gemiddelde verschillen, gezien de hoge variantie waargenomen bij behavior cloning met kleine gecureerde sets.