Technische Samenvatting: Set-Supervised Diffusion Policy (SDP)

Probleemstelling

Diffusion Policies (DP) zijn opgekomen als een robuust framework voor robotmanipulatie, met name in hoog-dimensionale continue action-chunk ruimtes. Echter, net als andere Behavior Cloning (BC) methoden, zijn DP's kwetsbaar voor distributieve verschuiving (distributional shift), waarbij de door de policy geïnduceerde staat-distributie tijdens de uitvoering afwijkt van de trainingsdata. Een veelvoorkomende mitigatiestrategie is mens-in-de-lus interventie, waarbij een docent fouten van de robot corrigeert.

Huidige data-aggregatie pipelines en standaard BC-losses negeren grotendeels het "negatieve signaal" dat door de ongewenste acties van de robot tijdens deze interventies wordt gegeven. Ze registreren doorgaans alleen de corrigerende acties van de docent, wat leidt tot een bias naar de specifieke distributie van de docent. Dit leidt tot overfitting op potentieel imperfecte of ruisgevoelige expert-data en een toenemende afhankelijkheid van kostbare, hoogwaardige interventies. Bov�elijk worstelen bestaande methoden die proberen te leren van voorkeuren of correcties (zoals Direct Preference Optimization of Energy-Based Models zoals CLIC) met hoog-dimensionale action-chunks of missen de stabiliteit en integratie met action-chunking mechanismen die DP's effectief maken.

Methodologie: Set-Supervised Diffusion Policy (SDP)

De auteurs stellen Set-Supervised Diffusion Policy (SDP) voor, een framework dat gebruikmaakt van contrastieve action-chunk data (gepaarde positieve en negatieve acties) om diffusion policies te trainen. In plaats van de actie van de docent te behandelen als een enkele, exacte doelwaarde, construeert SDP een set van gewenste action-chunks die dient als een set-waardige doelwaarde voor policy learning.

1. Uitbreiding van Gewenste Actie-sets naar Action-Chunks

Bouwend op het concept van set-waardige supervisie van CLIC (dat opereert op single-step acties), breidt SDP dit uit naar action-chunks (sequenties van acties $A_t = [a_t, \dots, a_{t+T-1}]$).

• Gegeven een observatie $O_t$ en een paar action-chunks (negatief $A^-$ van de robot, positief $A^+$ van de mens), definieert SDP een gewenste actie-set $\hat{A}_t$.
• Deze set wordt geconstrueerd als een sequentie van single-step gewenste sets $\hat{A}^s_{t+i}$, waarbij elke stap wordt gedefinieerd door de afstand tussen de negatieve en positieve acties.
• Een action-chunk behoort tot de set als elke single-step actie binnen de corresponderende single-step gewenste set valt. Dit versoepelt de vereiste om exact de actie van de docent te matchen, waardoor alternatieve acties mogelijk zijn die even wenselijk zijn.

2. Trainingsdoel en Sampling

Het trainen van een diffusion policy om de waarschijnlijkheid te maximaliseren van het samplen uit deze set is niet triviaal, omdat diffusion modellen geen expliciete likelihood-schattingen bieden die vereist zijn voor standaard KL-divergentie losses gebruikt in Energy-Based Models.

• Benadering: SDP benadert het doel door de waarschijnlijkheid te maximaliseren van een lijst van gesamplede gewenste action-chunks getrokken uit de doelverdeling.
• Beperkte Sampling: Om deze samples te genereren, gebruikt SDP een reflected diffusion sampling procedure. Tijdens het denoising proces worden tussenliggende samples teruggeprojecteerd in de gewenste set als ze de grens overschrijden. Specifiek, als een gedenoised stap buiten de set valt, wordt deze geprojecteerd naar de corresponderende positieve actie ($a^+$). Dit zorgt ervoor dat de gegenereerde samples binnen de gewenste set blijven terwijl ze dicht bij de huidige policy distributie blijven.
• Loss Functie: De policy wordt getraind met een standaard denoising loss (vergelijkbaar met BC), maar op deze gesamplede action-chunks in plaats van de ruwe docent-acties.

3. Data-aggregatie Pipeline

SDP integreert met een online interactieve leermlus:

• Wanneer een mens ingrijpt, registreert het systeem zowel de actie van de docent ($A^+$) als de niet-uitgevoerde actie van de robot ($A^-$) voor hetzelfde tijdstip.
• Deze paren vormen een contrastieve dataset die wordt gebruikt om gewenste actie-sets te construeren.
• Het framework ondersteunt zowel online learning (het aggregeren van data tijdens uitvoering) als offline learning (het augmenteren van bestaande demonstratie-datasets door negatieve acties te synthetiseren).

Belangrijkste Bijdragen

1. Set-Valued Supervision voor Diffusion Policies: Het artikel introduceert een nieuw framework dat set-waardige supervisie (voorheen beperkt tot EBM's en single-step acties) aanpast aan diffusion policies die opereren in hoog-dimensionale action-chunk ruimtes.
2. Contrastief Leren van Correcties: SDP maakt effectief gebruik van het negatieve signaal van robotfouten tijdens menselijke interventies, in plaats van dit te verwerpen. Dit vermindert overfitting op specifieke docent-acties en verbetert de robuustheid tegen ruisgevoelige data.
3. Reflected Sampling Strategie: De auteurs stellen een praktische trainingspipeline voor die een beperkt denoising proces met reflectie-operators omvat om geldige gewenste action-chunks te genereren voor het trainen van diffusion modellen.
4. Verbeterde Datakwaliteit: De methode induceert kwalitatief betere geaggregeerde datasets tijdens online learning door exploratie binnen de gewenste actie-set aan te moedigen, wat leidt tot een bredere staat-dekking vergeleken met standaard BC-benaderingen.

Experimentele Resultaten

De auteurs evalueerden SDP over meerdere gesimuleerde manipulatietaken (Push-T, Square, PickCan, TwoArmLift) en real-world taken (Insert-T, Round-table Assembly).

• Online Interactieve Learning: SDP presteerde consistent beter dan state-of-the-art baselines (DP, DP-DPO, CLIC, IBC) in zowel nauwkeurige als ruisgevoelige interventie-settings. Opvallend genoeg vertoonde SDP een aanzienlijk kleinere prestatiedegradatie onder ruisgevoelige feedback vergeleken met standaard DP, wat een superieure robuustheid aantoont.
• Offline Learning: Policies getraind offline op datasets verzameld door SDP-agenten presteerden beter dan die getraind op datasets verzameld door standaard DP-agenten. Dit suggereert dat SDP datasets genereert met betere staat-dekking en eigenschappen voor generalisatie.
• Real-World Prestaties: In real-world lang-horizon taken bereikte SDP hogere succespercentages dan DP, vooral wanneer getraind op datasets die menselijke correcties bevatten. De methode bleek effectiever in het benutten van correctie-data om prestaties op moeilijke taken te verbeteren.
• Ablatie Studies: Experimenten bevestigden dat de reflectie-gebaseerde sampling strategie cruciaal is voor prestaties, waarbij het beter presteert dan alternatieven zoals classifier guidance.

Betekenis en Claims

Het artikel claimt dat contrastieve supervisie een krachtig maar onderbenut signaal is voor robot policy learning. Door te verschuiven van puntwijze imitatie naar set-waardige supervisie, mitigeert SDP de overfitting-problemen die inherent zijn aan standaard behavior cloning. De auteurs beargumenteren dat deze aanpak policies toestaat om te verbeteren boven de kwaliteit van de trainingsdata (vergelijkbaar met Reinforcement Learning), terwijl de stabiliteit en expressiviteit van diffusion modellen behouden blijven.

Het werk demonstreert dat het expliciet modelleren van de ruimte van acceptabele acties via menselijke correcties leidt tot robuustere policies en hogere kwaliteit trainingsdata, wat de afhankelijkheid van perfecte expert-demonstraties vermindert. De auteurs erkennen beperkingen, zoals de computationele kosten van het samplen van gewenste action-chunks tijdens training en de aanname van absolute (in plaats van relatieve) correctie-feedback.