💻 computer science

Policy Contrastive Decoding for Robotic Foundation Models

Dit artikel introduceert Policy Contrastive Decoding (PCD), een trainingsvrije plugin die de generalisatie van robuuste fundamentele modellen verbetert door actie-distributies uit originele en object-gemaskerde visuele invoer te contrasteren om spurious correlaties te verminderen, waardoor aanzienlijke prestatiewinsten worden behaald in uiteenlopende beleidsvormen zowel in simulatie als in real-world omgevingen.

Oorspronkelijke auteurs: Shihan Wu, Xu Luo, Ji Zhang, Junlin Xie, Jingkuan Song, Heng Tao Shen, Lianli Gao

Gepubliceerd 2026-04-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shihan Wu, Xu Luo, Ji Zhang, Junlin Xie, Jingkuan Song, Heng Tao Shen, Lianli Gao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Probleem: De "Slechte Gewoonten" van de Robot

Stel je voor dat je een robot leert een specifieke rode beker van een tafel te pakken. Je toont de robot duizenden video's van mensen die deze taak uitvoeren. De robot leert zijn arm te bewegen en de beker te grijpen.

Het artikel stelt echter dat deze robots vaak slechte gewoonten ontwikkelen (zogenaamde "spurious correlations" of schijnverbanden). In plaats van naar de beker te kijken om te beslissen wat ze moeten doen, leert de robot per ongeluk naar de achtergrond te kijken.

De Analogie: Stel je een student voor die een wiskundetoets maakt. In plaats van de vergelijkingen op te lossen, merkt de student op dat elke keer als de leraar een blauw overhemd draagt, het antwoord "42" is. De student stopt met kijken naar de wiskunde en zoekt alleen nog maar naar het blauwe overhemd.
Het Resultaat: Als de leraar op de dag van het toets een rood overhemd draagt, raakt de student in paniek en faalt. Op dezelfde manier raakt de robot in de war en faalt als hij de rode beker op een tafel met een andere achtergrond of verlichting ziet, omdat hij vertrouwde op de achtergrond en niet op de beker.

Het artikel toont aan dat wanneer ze in hun experimenten de achtergrond of verlichting veranderden, de succespercentages van de robots enorm daalden (tot wel 36% of zelfs 75% in sommige gevallen).

De Oplossing: "Policy Contrastive Decoding" (PCD)

De auteurs stellen een nieuwe methode voor die Policy Contrastive Decoding (PCD) heet. Denk hierbij niet aan het opnieuw trainen van de robot, maar aan het geven van een "tweede mening" vlak voordat hij handelt.

Zo werkt het, stap voor stap:

De "Normale" Weergave: De robot kijkt naar de scène (bijvoorbeeld een la met een handvat) en vraagt: "Wat moet ik doen?" Hij geeft een antwoord gebaseerd op alles wat hij ziet (het handvat, de achtergrond, het licht).
De "Gemaskerde" Weergave: Het systeem neemt een digitale "gom" en veegt het belangrijke object (het lahandvat) weg in het zicht van de robot, zodat alleen de achtergrond zichtbaar blijft. Het vraagt de robot opnieuw: "Wat moet ik nu doen?"
- Opmerking: Omdat het belangrijke object weg is, is het antwoord van de robot hier puur gebaseerd op "slechte gewoonten" (de achtergrond).
De Vergelijking: Het systeem vergelijkt de twee antwoorden.
- Als de robot zegt "Pak het handvat" in de eerste weergave, maar "Niets doen" in de tweede weergave, weet het systeem dat het eerste antwoord correct was omdat het op het object leunde.
- Als de robot zegt "Pak het handvat" in beide weergaven, weet het systeem dat de robot gewoon gokt op basis van de achtergrond (een slechte gewoonte).
De Correctie: Het systeem versterkt het "goede" antwoord en onderdrukt het "slechte" gokken. Het dwingt de robot om zich te richten op het object, niet op de achtergrond.

Waarom Dit Speciaal Is

Het artikel benadrukt drie belangrijke voordelen van deze aanpak:

Het is een "Plug-in", Geen Nieuwbouw: Je hoeft de robot niet opnieuw te trainen of zijn "brein" te veranderen. Je plakt dit systeem er gewoon bij, zoals een software-update. Het werkt op verschillende soorten robots (zowel die die stap-voor-stap denken, als die "diffusie"-modellen gebruiken).
Het is Automatisch: Het systeem gebruikt bestaande AI-tools om automatisch het object (zoals een beker of een la) te vinden en dit uit de afbeelding te "wissen" om de gemaskerde weergave te creëren. Er hoeft geen mens rechthoeken om elke afbeelding te tekenen.
Het Werkt in de Wereld: De auteurs hebben dit getest op echte robots in echte kamers, niet alleen in computersimulaties.
- De Resultaten: In een simulatie verbeterde het de beste bestaande robot met ongeveer 9%. In de echte wereld verbeterde het het succespercentage van de top-robot met een enorme 108% (wat betekent dat het van het falen in de helft van de gevallen naar bijna altijd slagen ging).

De Afweging

Er is één kleine kostprijs. Omdat de robot twee keer naar de scène moet kijken (een keer normaal, een keer met het object gewist) en de antwoorden moet vergelijken, duurt het iets langer om een beslissing te nemen.

De Analogie: Het is alsof je je wiskundehuiswerk nog een keer controleert voordat je het inlevert. Het kost een minuut extra, maar je maakt veel minder kans op een fout.
Het Oordeel van het Artikel: De auteurs zeggen dat deze extra tijd (ongeveer 24% trager) het waard is, omdat de robot de taak dan daadwerkelijk voltooit in plaats van te falen.

Samenvatting

Het artikel introduceert een "slimme filter" voor robots. Het stopt robots met het vertrouwen op toevallige aanwijzingen (zoals achtergrondkleuren) en dwingt hen om aandacht te besteden aan de daadwerkelijke objecten waarmee ze moeten interageren. Dit gebeurt zonder dat de robots opnieuw getraind hoeven te worden, wat het een snelle en krachtige manier maakt om robots betrouwbaarder te maken in de echte wereld.

1. Probleemstelling

Robotische foundation-modellen (generalistische robotbeleid) hebben veel potentieel getoond voor flexibele, algemene manipulatie. De auteurs identificeren echter een kritiek gebrek: deze modellen leren vaak schijnbare correlaties uit voortrainings-trajecten. In plaats van zich te richten op task-relevante objectkenmerken, vertrouwen beleidsregels op irrelevante achtergrondsignalen (bijvoorbeeld verlichting, texturen of specifieke achtergrondobjecten) om acties te voorspellen.

Gevolg: Wanneer de inzetomgeving verschuift (bijvoorbeeld achtergrondveranderingen, aanpassingen in verlichting of herschikking van objecten), verslechtert de prestatie van het beleid aanzienlijk omdat de geleerde "shortcuts" niet langer geldig zijn.
Huidige beperkingen: Bestaande oplossingen vereisen vaak hertraining of fine-tuning, wat rekenkundig duur is en toegang tot modelgewichten vereist. Er ontbreekt een trainingsvrije, plug-and-play-methode om deze fouten tijdens de inferentie te verhelpen.

2. Methodologie: Policy Contrastive Decoding (PCD)

De auteurs stellen Policy Contrastive Decoding (PCD) voor, een trainingsvrije plugin voor tijdens de inferentie die bedoeld is om de aandacht van een robotbeleid te verleggen van schijnbare kenmerken naar object-relevante visuele aanwijzingen.

Kernmechanisme

PCD werkt door de actie-kansverdelingen te contrasteren die gegenereerd worden uit twee verschillende visuele invoeren:

Originele observatie ( $o_i$ ): De standaard visuele invoer.
Object-gemaskerde observatie ( $\hat{o}_i$ ): Dezelfde visuele invoer waarbij de doeltaak-relevante objecten zijn gemaskeerd (verwijderd/ingepaint).

De methode berekent een nieuwe, contrastieve actie-kansverdeling ( $\pi^*$ ) met behulp van de volgende formule:
$\pi^*_\theta(a_i | \ell, o_i) = \frac{1}{C} \cdot \pi_\theta(a_i | \ell, o_i) \cdot \left( \frac{\pi_\theta(a_i | \ell, o_i)}{\pi_\theta(a_i | \ell, \hat{o}_i)} \right)^\alpha$

Logica: Als het beleid vertrouwt op schijnbare kenmerken (achtergrond), zal de kansverdeling vergelijkbaar zijn voor zowel $o_i$ als $\hat{o}_i$ , wat resulteert in een ratio dicht bij 1 (geen verandering). Als het beleid vertrouwt op het object, zal de verdeling voor $\hat{o}_i$ significant afwijken, waardoor de juiste actiekans in de uiteindelijke output wordt versterkt.
Hyperparameter ( $\alpha$ ): Regelt de sterkte van het contrast. $\alpha=0$ herstelt het basisbeleid.

Belangrijke technische componenten

Om PCD toepasbaar te maken op diverse robotbeleid, introduceren de auteurs twee specifieke strategieën:

Tracking-to-Mask (Track2Mask):
- Doel: Automatisch object-gemaskerde observaties genereren voor elk frame in een traject zonder handmatige tussenkomst.
- Proces:
  - Annotatie: Doelobjecten in het eerste frame worden geïdentificeerd met menselijke prompts (Punt/Doos) of kant-en-klare open-vocabulary detectoren (bijvoorbeeld Grounding DINO).
  - Tracking: Het SAM2 (Segment Anything Model 2) volgt en segmenteert deze objecten in de daaropvolgende frames.
  - Inpainting: De gesegmenteerde objecten worden ingepainted (verwijderd) om de gemaskerde observatie $\hat{o}_i$ te creëren.
KDE-gebaseerde probabilistische modellering (KDE-PM):
- Uitdaging: Autoregressieve beleidsregels (bijvoorbeeld OpenVLA) geven token-kansen direct uit, maar diffusie-gebaseerde beleidsregels (bijvoorbeeld Octo, $\pi_0$ ) genereren acties via een denoising-proces en geven geen native kansverdeling $\pi_\theta(a|o)$ uit.
- Oplossing: De auteurs gebruiken Kernel Density Estimation (KDE) om de actie-kansverdeling te benaderen. Ze steekproeven $N$ kandidaat-acties uit het diffusiebeleid en passen een Gaussische kernel-dichtheid op deze steekproeven aan om $\pi_\theta(a|o)$ en $\pi_\theta(a|\hat{o})$ te schatten, waardoor de contrastieve decoding-formule werkt met diffusiemodellen.

3. Belangrijkste bijdragen

Eerste trainingsvrije oplossing: PCD is het eerste werk dat een plug-and-play, trainingsvrije aanpak voorstelt om schijnbare correlaties in robotbeleid tijdens de inferentie te mitigeren.
Modelonafhankelijk: Het fungeert als een black-box plugin die compatibel is met zowel autoregressieve (OpenVLA) als diffusie-gebaseerde (Octo, $\pi_0$ ) beleidsregels, zonder toegang tot voorgetrainde gewichten of fine-tuning te vereisen.
Robuustheid tegen distributieverandering: Door expliciet object-relevante versus object-irrelevante invoeren te contrasteren, dwingt PCD het beleid zich te richten op causale kenmerken, wat de generalisatie naar ongezane scenario's aanzienlijk verbetert.

4. Experimentele resultaten

De auteurs evalueerden PCD op 15 diverse taken in simulatie (SIMPLER) en real-world omgevingen met behulp van drie state-of-the-art beleidsregels: OpenVLA, Octo en $\pi_0$ .

Prestaties in simulatie:
- OpenVLA: Gemiddelde verbetering van het slagingspercentage met 50,6%.
- Octo: Gemiddelde verbetering van het slagingspercentage met 29,7%.
- $\pi_0$ : Gemiddelde verbetering van het slagingspercentage met 8,9% (ondanks dat $\pi_0$ al een sterke baseline was).
Prestaties in de realiteit:
- Bij real-world manipulatie-taken met het $\pi_0$ -beleid behaalde PCD een enorme 108% verbetering in het slagingspercentage ten opzichte van de baseline.
- De methode bleek robuust tegen verschillende afleidingen (veranderende verlichting, achtergrondrommel, verschuivingen in objectpositie).
Ablatiestudies:
- De methode is robuust voor verschillende objectdetectiestrategieën (Menselijke prompts vs. Grounding DINO vs. YOLO World).
- Het is robuust voor verschillende inpainting-algoritmen (LaMa presteerde het beste).
- De hyperparameter $\alpha$ toont een duidelijk positief effect wanneer deze $>0$ is.

5. Betekenis en beperkingen

Betekenis: PCD adresseert een fundamenteel zwak punt in huidige robotische foundation-modellen (afhankelijkheid van schijnbare correlaties) zonder de zware kosten van hertraining. Het toont aan dat eenvoudige ingrepen tijdens de inferentie de generalisatie en veiligheid bij inzet in de realiteit drastisch kunnen verbeteren.
Beperkingen:
- Rekenkundige overhead: PCD vereist een tweede forward pass (voor het gemaskerde beeld) en object-tracking/inpainting, wat de inferentielatentie met ongeveer 24-100% verhoogt (afhankelijk van het beleid en parallelisatie). De auteurs stellen echter dat dit acceptabel is gezien de enorme winst in slagingspercentages.
- Scope: Richt zich momenteel op correctie tijdens de inferentie; toekomstig werk beoogt schijnbare correlaties ook tijdens de trainingsfase aan te pakken.

Conclusie: Het artikel presenteert een zeer effectief, veelzijdig kader (PCD) dat de betrouwbaarheid en generalisatie van robotische foundation-modellen aanzienlijk verbetert door ze te dwingen zich te richten op de juiste visuele kenmerken, waardoor de kloof tussen simulatieprestaties en real-world robuustheid wordt overbrugd.