🤖 machine learning

Patch Policy: Efficient Embodied Control via Dense Visual Representations

Patch Policy introduceert een lichtgewicht, efficiënte transformer-gebaseerde architectuur die gebruikmaakt van dichte, vooraf getrainde visuele kenmerken van Vision Transformers via een blok-causaal aandachtmechanisme, waarmee superieure prestaties wordt behaald in belichaamde controle met aanzienlijk minder parameters en een lagere computationele overhead vergeleken met bestaande globaal gepoolde of zware VLM-gebaseerde benaderingen.

Oorspronkelijke auteurs: Gaoyue Zhou, Zichen Jeff Cui, Ada Langford, Bowen Tan, Yann LeCun, Lerrel Pinto

Gepubliceerd 2026-07-21

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Gaoyue Zhou, Zichen Jeff Cui, Ada Langford, Bowen Tan, Yann LeCun, Lerrel Pinto

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij zijn veters moet strikken of een oplader moet inpluggen. Om dit te doen, moet de robot de wereld "zien", maar niet zoals een mens die even vluchtig naar een kamer kijkt. De robot moet precies begrijpen waar een veterschoen zich bevindt ten opzichte van een schoen, of hoe een stekker uitgelijnd is met een stopcontact. Lange tijd hadden robotbreinen een vreemde blinde vlek: ze waren geweldig in het herkennen van wat een object was (een "beker"), maar erg slecht in het onthouden van precies waar het zich in de ruimte bevond.

Om dit op te lossen, gebruiken wetenschappers iets dat Vision Transformers (ViTs) wordt genoemd. Denk aan een ViT als een super slimme detective die niet alleen naar een foto van een plaats delict kijkt en zegt: "Dat is een rommelige kamer." In plaats daarvan snijdt de detective de foto in honderden kleine puzzelstukjes (patches) en bestudeert elk afzonderlijk stukje om de fijne details te begrijpen. Dit wordt dense representation genoemd. Aan de andere kant waren oudere robotmethoden als een detective die naar de hele foto staart, deze vervaagt tot één enkele stip, en alleen zegt: "Het is een rommelige kamer." Dit wordt global pooling genoemd. Hoewel de "stip"-methode snel is, gaat het de fijne details kwijt die nodig zijn voor delicate taken. De grote vraag in de robotica van dit moment is: Kunnen we robots de supergedetailleerde "puzzelstuk"-visie geven zonder dat hun breinen zo enorm en traag worden dat ze niet meer in real-time kunnen bewegen?

Maak kennis met Patch Policy, een nieuwe aanpak die zegt: "Ja, dat kan!" De onderzoekers van New York University en Meta ontdekten dat robots geen gigantische supercomputers van miljarden dollars nodig hebben om in hoge definitie te zien. Ze bouwden een lichtgewicht robotbrein dat deze kleine puzzelstukjes direct kan "eten", waardoor het zware werk van enorme AI-modellen wordt overgeslagen.

Dit is het verhaal van hoe ze het deden en wat ze ontdekten.

Het Probleem: De "Vage Stip" versus de "Zware Reus"

Jarenlang hadden robotcontrollers twee slechte opties.

De Vage Stip: Ze namen een camerabeeld, persten het samen tot één enkele, kleine samenvatting (een "global token"). Het was snel, maar het was alsof je een naald probeerde te rijgen terwijl je een beslagen bril droeg. Je wist dat er een naald was, maar je kon het oog niet zien.
De Zware Reus: Om betere visie te krijgen, begonnen sommige teams enorme "Vision-Language-Action" (VLA) modellen te gebruiken. Dit zijn als een geniale professor die elk woord in het woordenboek kent en elke pixel kan zien. Maar deze professoren zijn zo zwaar (miljarden parameters) dat ze in slow motion bewegen. Ze doen er te lang over om na te denken, waardoor het moeilijk is voor een robot om snel te reageren op een vallende beker.

Het team vroeg zich af: Kunnen we de supervisie van de reus krijgen zonder het gewicht?

De Oplossing: De "Patch Policy"

Het antwoord is Patch Policy. Stel je voor dat je een videogame speelt. Meestal vertelt het spel je misschien: "Je bent in een bos." Dat is het "globale" beeld. Patch Policy vertelt je: "Je bent in een bos, en specifiek is er een dennenappel 5 centimeter links van je, een rots 10 centimeter rechts en een eekhoorn 25 centimeter boven je." Het voert de hersenen van de robot al die specifieke details (de "patches") direct in.

Maar er was een addertje onder het gras. Als je een robotbrein te veel details tegelijk voert, raakt het in de war over wanneer dingen gebeurden. Sprong de eekhoorn vóór of na de vallende rots? Om dit op te lossen, vonden de onderzoekers een speciaal "verkeerslicht"-systeem uit, een block-causal attention mask.

Hoe het werkt: Binnen een enkel camerabeeld (één snapshot) mag de robot alle puzzelstukjes tegelijk bekijken om de scène te begrijpen. Maar het is strikt verboden om naar puzzelstukjes uit de toekomst te kijken om beslissingen te nemen over het heden. Het houdt de tijdlijn recht, precies zoals een echte robot dat moet doen.

Hierdoor kan de robot gebruikmaken van vooraf getrainde "kant-en-klare" visiemodellen (zoals WebSSL of DINOv2) die al weten hoe ze de wereld perfect moeten zien, zonder dat de robot vanaf nul opnieuw moet leren hoe hij moet zien.

Wat Ze Vonden: Klein en Snel Wint Groot

Het team testte dit nieuwe robotbrein in vier verschillende videogame-simulaties en drie taken met echte robots (zoals het inpluggen van een kabel, het ophangen van een gereedschap en het verzamelen van pennen). Dit is wat er gebeurde:

Beter dan de "Vage Stip": In de simulaties waren robots die Patch Policy gebruikten 40% beter in hun taken dan robots die de oude "globale stip"-methode gebruikten. Wanneer de taak precisie vereiste — zoals het stapelen van blokken of het duwen van objecten naar een specifieke plek — maakte de gedetailleerde visie een enorm verschil.
De "Zware Reus" Verslaan: Misschien wel het meest verrassend was dat Patch Policy een enorm, fijn afgestemd VLA-model genaamd OpenVLA-OFT versloeg met 18% in succespercentage. Maar hier komt de echte klapper: Patch Policy gebruikte ongeveer 0,7% van de parameters (de "hersengrootte") van het gigantische model.
Real-World Precisie: Bij echte robots was het verschil duidelijk. Voor een taak genaamd "Cable Insertion", waarbij een stekker in een stopcontact moet gaan met slechts 2 mm speling, liepen de oude methoden vaak vast. Patch Policy slaagde 70% van de tijd, terwijl het gigantische OpenVLA-OFT slechts 30% van de tijd slaagde. Het enorme model begreep wel het idee van het inpluggen van een kabel, maar faalde bij de kleine, fijnmazige bewegingen die nodig zijn om het daadwerkelijk te doen.
Snelheid: De nieuwe methode is ongelooflijk snel. Het kan een beslissing nemen in ongeveer 11 milliseconden (0,011 seconden). Dit is snel genoeg voor een robot om in real-time te reageren, terwijl de zware reus-modellen veel langer nodig hebben.

De "Niet Samendrukken"-Regel

De onderzoekers testten ook een veelvoorkomend idee: "Kunnen we de puzzelstukjes samenpersen om het sneller te maken?" Ze probeerden het aantal patches te verminderen van 256 naar slechts 1 (waardoor het weer een "vage stip" werd). Het resultaat? De robot werd verschrikkelijk slecht in zijn werk. De succespercentages daalden aanzienlijk. Dit bewees dat voor precieze robotarmen je die kleine details echt nodig hebt; je kunt ze niet zomaar weg even samenvatten.

De Kernboodschap

Het artikel suggereert dat we geen grotere, zwaardere robots hoeven te bouwen om ze slimmer te maken. In plaats daarvan moeten we ze simpelweg de wereld in hoge definitie laten zien. Door een slimme truc te gebruiken om gedetailleerde "patch"-beelden direct in een lichtgewicht brein te voeren, stelt Patch Policy robots in staat om complexe, precieze taken veel sneller en nauwkeuriger uit te voeren dan voorheen. Het is een herinnering dat de beste manier om vooruit te komen soms niet is om een grotere motor te bouwen, maar om gewoon iets nauwkeuriger naar de weg te kijken.

Technische Samenvatting: Patch Policy – Efficiënte Belichaamde Controle via Dichte Visuele Representaties

Probleemstelling

Robotleren is grotendeels uiteengevallen in twee suboptimale paradigma's met betrekking tot visuele representatie:

Globale Gepoolde Representaties: Traditionele benaderingen comprimeren visuele observaties tot een enkele globale vector (bijv. ResNet gepoolde features of ViT CLS-tokens). Dit creëert een informatiebottleneck, waarbij de fijnmazige ruimtelijke details die nodig zijn voor precieze robotmanipulatie verloren gaan.
Zware Vision-Language-Action (VLA) Modellen: Hoewel Vision Transformers (ViTs) rijke, dichte patch-level features bieden, vereist het integreren van deze in controlebeleid vaak het finetunen van enorme miljarden-parameter VLM-backbones (bijv. OpenVLA). Dit resulteert in onbetaalbare computationele kosten voor training en inferentie, wat ze ongeschikt maakt voor hoogfrequente, reactieve controle.

De centrale vraag die wordt geadresseerd is: Kunnen robots de representatieve winsten van grootschalige visuele pre-training erven zonder de computationele kosten van miljarden-parameter generatieve modellen over te nemen?

Methodologie: Patch Policy

De auteurs stellen Patch Policy voor, een minimale architecturale uitbreiding ontworpen om transformer-gebaseerde beleidsregels in staat te stellen om direct dichte, vooraf getrainde patch-tokens te consumeren.

Kernarchitectuur

Observatie-Trunk: In plaats van afbeeldingen te comprimeren tot een enkele token, gebruikt het systeem een bevroren ViT-encoder (bijv. WebSSL, DINOv2) om een sequentie van dichte patch-features ( $P \times D$ ) voor elke observatie te extraheren. Voor doelgestuurde taken worden doel-embeddings (afbeeldingen of vectoren) geconcateneerd met de observatie-tokens.
Policy Head: Het beleid behandelt de sequentie van patch-features als een sequentie-modellering probleem.
- Flattening & Positional Embedding: Features worden platgeslagen tot een sequentie van lengte $T \times P$ (tijdstappen $\times$ patches) met geleerde 1D positionele embeddings.
- Block-Causal Attention Mask: Een nieuwe maskeringstrategie wordt toegepast waarbij patches volledige bidirectionele aandacht behouden binnen een enkel frame (behoud van ruimtelijke context), maar causaal gemaskeerd worden tussen frames (behoud van temporele causaliteit). Dit stelt het model in staat om ruimtelijke informatie over elk frame te integreren terwijl de temporele stroom van observaties wordt gerespecteerd.
- Action Head: Het model geeft voorspelde actie-chunks uit op de laatste patch-token voor elk frame. Het framework is agnostisch voor de specifieke actie-head, zoals gedemonstreerd hier met Vector-Quantized Behavior Transformer (VQ-BeT) en Diffusion Policy (DP).

Belangrijke Ontwerpkiezen

Bevroren Backbones: De visuele encoder wordt bevroren gehouden, waardoor gebruik wordt gemaakt van "off-the-shelf" representaties van internet-schaal pre-training zonder de encoder te finetunen.
Geen Ruimtelijke Compressie: De methode vermijdt pooling of geleerde compressie van patch-tokens, met het argument dat ruimtelijke resolutie cruciaal is voor controle.

Belangrijkste Bijdragen

Dichte Representaties voor Controle: Het artikel demonstreert dat ruimtelijk dichte ViT-patches aanzienlijk beter presteren dan globale gepoolde features (CLS-tokens, gemiddelde pooling) bij precieze, multi-object en ruimtelijke taken, ongeacht de onderliggende beleidsarchitectuur.
Off-the-Shelf Transfer: Bevroren patch-features van internet-schaal ViTs transfereren robuust naar controle-taken zonder encoder fine-tuning, wat real-world precieze manipulatie mogelijk maakt.
Efficiëntie: Patch Policy bereikt prestaties die vergelijkbaar zijn met of zelfs beter zijn dan gefinetunede VLAs (zoals OpenVLA-OFT), terwijl het ongeveer 0,7% van de parameters gebruikt en inferentielatenties van slechts ~11ms bereikt (voor VQ-BeT varianten).
Ablatie op Compressie: De auteurs tonen aan dat het verminderen van de ruimtelijke resolutie (via pooling of geleerde compressie) de prestaties aanzienlijk verslechtert, wat de noodzaak van ongecomprimeerde patch-tokens voor hoge-precisie taken valideert.

Experimentele Resultaten

De methode werd geëvalueerd over vier gesimuleerde omgevingen (Push-T, LIBERO Goal, BlockPush, Cube) en drie real-world manipulatietaken (Cable Insertion, Pen Collection, Tool Hanging).

Gesimuleerde Prestaties: Patch Policy behaalde een relatieve verbetering van 40% ten opzien van state-of-the-art beleidsregels met globale gepoolde representaties. Het presteerde 18% beter dan de gefinetunede OpenVLA-OFT baseline over alle vier de gesimuleerde omgevingen.
Real-World Prestaties: Op real-world taken presteerde Patch Policy (gebruikmakend van DINOv2 patch-features) beter dan de baselines in elke fase van complexe taken. Met name in de "Cable Insertion" taak (die een tolerantie van ~2mm vereist), behaalde Patch Policy een succespercentage van 70% voor volledige insertie, vergeleken met 30% voor OpenVLA-OFT. De auteurs schrijven de fouten van OpenVLA toe aan moeilijkheden met fijnmazige closed-loop controle na contact, in plaats van semantisch begrip.
Representatie Benchmarking: Onder vijf geëvalueerde encoders (DINOv2, DINOv3, WebSSL, V-JEPA 2, SigLIP 2) bleken WebSSL en DINOv2 de meest effectieve backbones voor robotcontrole, wat suggereert dat geometrisch begrip belangrijker is dan taal-beeld alignment voor deze taken.
Efficiëntie Metrieken:
- Parameters: Patch Policy (ViT-S) gebruikt ~0,7% van de parameters van OpenVLA-OFT.
- Latency: VQ-BeT met Patch Policy draait op ~11ms, vergelijkbaar met ACT (8,63ms) en aanzienlijk sneller dan OpenVLA-OFT (61,71ms).
- Training: Patch Policy convergeert in 6,5 GPU-uren, vergeleken met 16 GPU-uren voor OpenVLA-OFT.

Betekenis en Claims

Het artikel claimt dat Patch Policy een "drop-in" pipeline biedt voor de robotica-gemeenschap om te profiteren van de voortdurende vooruitgang in visuele representatie-leren. Door het gebruik van dichte visuele features te ontkoppelen van massieve model-schalen en taal-grounding, maakt de methode het volgende mogelijk:

Hoogfrequente Controle: Het behouden van de inferentiesnelheid die vereist is voor reactieve, real-time manipulatie.
Trainings-efficiëntie: Verminderen van computationele kosten door de visuele backbone te bevriezen en alleen de lichte policy head te trainen.
Prestatiewinsten: Het bereiken van superieure precisie in manipulatietaken door fijnmazige ruimtelijke details te behouden die doorgaans verloren gaan bij globale pooling of worden opgeofferd aan de complexiteit van volledige VLA fine-tuning.

De auteurs concluderen dat voor in-domain taakleren, een lichtgewicht beleid dat vanaf nul wordt getraind over bevroren dichte features, competitief kan zijn met, en vaak superieur is aan, zware vooraf getrainde VLAs die op dezelfde data zijn gefinetuned.