💻 computer science

Cortical Policy: A Dual-Stream View Transformer for Robotic Manipulation

Het artikel introduceert Cortical Policy, een nieuw dual-stream view transformer-model voor robotmanipulatie dat statische en dynamische visuele stromen combineert om de ruimtelijke redenering en adaptieve aanpassing te verbeteren, waardoor het significant beter presteert dan bestaande methoden op diverse benchmarks en in de echte wereld.

Oorspronkelijke auteurs: Xuening Zhang, Qi Lv, Xiang Deng, Miao Zhang, Xingbo Liu, Liqiang Nie

Gepubliceerd 2026-03-24

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Xuening Zhang, Qi Lv, Xiang Deng, Miao Zhang, Xingbo Liu, Liqiang Nie

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De "Cortical Policy": Een Robotbrein dat denkt als een Mens

Stel je voor dat je een robot wilt bouwen die net zo handig is als een mens. Tot nu toe waren robots vaak als een stijve fotograaf: ze kijken naar een scène vanuit één of meerdere statische hoeken, maken een foto en proberen daarop een beslissing te nemen. Het probleem? Als de wereld beweegt (bijvoorbeeld als een object verschuift terwijl de robot erop af gaat) of als de ruimte complex is (zoals een fles tussen twee andere flessen zetten), raken deze robots in de war. Ze zien de 3D-ruimte niet echt en kunnen niet snel schakelen.

De auteurs van dit paper, gepubliceerd bij ICLR 2026, hebben een oplossing bedacht die ze Cortical Policy noemen. Ze hebben gekeken naar hoe het menselijke brein werkt en hebben dat nagebootst.

De Menselijke Inspiratie: Twee Snelwegen in het Brein

Onze hersenen hebben twee belangrijke "snelwegen" voor visuele informatie:

De Ventrale Stroom (De "Wat"-weg): Deze helpt ons om objecten te herkennen en de ruimte te begrijpen. Het is als een architect die een stabiel, 3D-model van de kamer bouwt. Hij weet precies waar de meubels staan en hoe ze eruitzien, ongeacht of je beweegt.
De Dorsale Stroom (De "Hoe"-weg): Deze helpt ons om te bewegen en te reageren op veranderingen. Het is als een sportcoach die in real-time reageert. Als een bal plotseling van richting verandert, past de coach je beweging direct aan.

Bestaande robots gebruiken alleen de "architect" (statische camera's). Ze weten waar de dingen zijn, maar als de dingen bewegen, weten ze niet hoe ze moeten reageren.

De Oplossing: Een Robot met Twee Stroompjes

Cortical Policy is een nieuw systeem dat beide snelwegen combineert. Het is alsof de robot nu zowel een architect als een sportcoach in zijn hoofd heeft.

1. De Statische Stroom (De Architect)

Deze stroom kijkt naar de vaste beelden van de robot. Maar in plaats van alleen naar platte foto's te kijken, gebruikt deze stroom een slimme truc. Het leert van een 3D-fundamentmodel (een soort super-intelligente 3D-baas).

De Analogie: Stel je voor dat je een puzzel maakt. Normaal kijken robots alleen naar de randen van de stukjes. Deze robot kijkt echter naar de 3D-vorm van de stukjes. Hij weet: "Ah, dit puntje op de foto links hoort bij dat puntje op de foto rechts."
Het Resultaat: De robot bouwt een echt, stevig 3D-gevoel van de wereld op. Hij begrijpt diepte en ruimte veel beter dan voorheen.

2. De Dynamische Stroom (De Sportcoach)

Dit is het nieuwe en spannende deel. Deze stroom kijkt niet naar statische foto's, maar naar beweging vanuit het perspectief van de robotarm zelf (alsof je een camera op je pols hebt).

De Analogie: Stel je voor dat je een bal vangt. Je kijkt niet naar een foto van de bal; je kijkt naar de bal terwijl hij naar je toe komt en je hand past zich continu aan. Deze stroom doet precies dat. Hij is getraind om te kijken naar waar de robotarm moet zijn in plaats van alleen wat er op de foto staat.
Het Resultaat: Als een object verschuift terwijl de robot erop af gaat, ziet deze "coach" het direct en corrigeert de robot zijn beweging. Hij stopt niet en faalt niet; hij past zijn traject aan.

Hoe werkt het samen?

De robot voegt deze twee visies samen:

De Architect zegt: "Het doel is hier, in deze 3D-ruimte."
De Coach zegt: "Maar het doel beweegt! Ik moet mijn arm nu iets naar links draaien."

Samen geven ze de robot de perfecte instructies om zijn grijper te bewegen.

Wat levert dit op?

De onderzoekers hebben dit getest in simulaties en in de echte wereld (met een echte robotarm).

Beter in de ruimte: De robot kan nu veel lastiger taken doen, zoals een fles precies tussen twee andere flessen zetten, zonder dat hij de ruimte verkeerd inschat.
Robuuster tegen chaos: Als je de tafelkleed verandert, de lichten dimt of een object verplaatst tijdens de actie, faalt de robot niet. Hij past zich aan, net als een mens.
Sneller leren: Door te kijken naar hoe mensen bewegen (via een techniek genaamd "gaze estimation", oftewel het volgen van waar mensen kijken), leert de robot sneller hoe hij moet grijpen.

Conclusie

Kortom: Cortical Policy maakt robots slimmer door ze niet alleen te laten "kijken" (zoals een camera), maar ook te laten "reageren" (zoals een mens). Het combineert een stabiel begrip van de wereld met de vaardigheid om snel in te spelen op veranderingen. Dit is een grote stap richting robots die echt veilig en effectief kunnen werken in onze onvoorspelbare, menselijke wereld.

Probleemstelling

Bestaande methoden voor robotmanipulatie, met name "view transformers" (zoals RVT-2), vertonen twee fundamentele beperkingen die hun prestaties in ongestructureerde en dynamische omgevingen beperken:

Onvoldoende 3D-ruimtelijk redeneren: Deze modellen extraheren statische visuele representaties op een view-specifieke manier (per camera). Ze falen vaak in het correct modelleren van cross-view relaties, wat leidt tot fouten bij het begrijpen van complexe 3D-ruimtelijke relaties (bijvoorbeeld het plaatsen van een object tussen andere objecten).
Gebrek aan dynamische aanpassing: Bestaande systemen gebruiken voornamelijk statische cameraviewpoints. Ze kunnen niet adequaat reageren op onverwachte verplaatsingen van objecten tijdens de uitvoering van een taak, waardoor ze vastlopen in oorspronkelijk geplande trajecten die niet meer geldig zijn.

De auteurs stellen dat deze beperkingen voortkomen uit het ontbreken van een mechanisme dat zowel statische scene-perceptie als dynamische, adaptieve actie-reasoning integreert, vergelijkbaar met hoe het menselijk brein werkt.

Methodologie: Cortical Policy

De auteurs introduceren Cortical Policy, een nieuw dual-stream view transformer-architectuur die is geïnspireerd op de twee visuele pathways in de menselijke cortex: de ventrale (voor objectherkenning en scene-begrip) en de dorsale (voor ruimtelijke oriëntatie en adaptieve beweging).

Het systeem bestaat uit twee parallelle, complementaire streams:

1. Static-View Stream (Geïnspireerd op de Ventrale Pathway)

Doel: Het vergroten van het 3D-ruimtelijk begrip en het creëren van een blijvende representatie van de omgeving.
Techniek: Deze stream gebruikt een aangepaste RVT-2 backbone. Om de 3D-bewustzijn te verbeteren, wordt er gebruikgemaakt van geometrisch consistente keypointen.
3D Supervisie: Een voorgeïntegreerd 3D-fundamentmodel (VGGT) wordt gebruikt om dieptekaarten en camera-parameters te genereren. Hieruit worden keypointen geëxtraheerd die over verschillende viewpoints consistent zijn (dezelfde 3D-punten).
Verliesfunctie: Een Cross-View Geometric Consistency Loss ( $L_{cgc}$ ) wordt toegepast. Deze loss zorgt ervoor dat de features van geometrisch consistente keypointen in verschillende viewpoints dicht bij elkaar liggen in de feature-ruimte. Dit wordt bereikt via een cyclische ranking-loss (SmoothAP) die view-invariantie afdwingt.

2. Dynamic-View Stream (Geïnspireerd op de Dorsale Pathway)

Doel: Adaptieve aanpassing van bewegingstrajecten op basis van real-time visuele feedback (egocentrisch perspectief).
Techniek: Deze stream simuleert de menselijke dorsale pathway door een voorgeïntegreerd, positie-bewust gaze-estimation model (GLC) te gebruiken.
Pre-training: Het GLC-model wordt getraind op een dataset van "egocentrische video's" (gegenereerd via virtuele camera's die de pols van de robot nabootsen), waarbij het model leert de positie van de end-effector te voorspellen op basis van bewegingscues.
Feature Extractie: Tijdens de inferentie worden de feature maps en saliency maps (hittekaarten) van dit gefroren GLC-model gebruikt als dynamische input. De hittekaarten geven de verwachte positie van de gripper aan, wat het model in staat stelt om trajecten dynamisch bij te werken als objecten verschuiven.

Integratie en Actie-voorspelling

De representaties van beide streams worden gefuseerd door een actie-head. De statische stream levert de geometrische grondslag (waar moet ik zijn in de 3D-ruimte?), terwijl de dynamische stream de adaptieve cues levert (hoe moet ik bewegen gezien de huidige situatie?). De uiteindelijke actie (6-DoF gripper pose) wordt bepaald door de combinatie van globale en lokale features uit beide streams.

Belangrijkste Bijdragen

Dual-Stream Architectuur: De eerste view transformer die statische en dynamische viewpoints expliciet integreert om zowel 3D-ruimtelijk redeneren als dynamische adaptatie te verbeteren, gespiegeld aan de menselijke visuele cortex.
Cross-View Geometrische Consistentie: Een nieuw leerdoel dat een 3D-fundamentmodel (VGGT) gebruikt om features over verschillende viewpoints te aligneren, wat de robuustheid van het ruimtelijk redeneren aanzienlijk verhoogt.
Dynamische View Stream: Een innovatieve component die een gaze-estimation model gebruikt om adaptieve bewegingsaanpassingen mogelijk te maken, een capaciteit die ontbreekt in eerdere statische benaderingen.

Resultaten

De methode is uitgebreid getest op drie niveaus:

RLBench Benchmark:
- Cortical Policy behaalde een gemiddelde success rate van 81,0%, wat een verbetering is van 3,5% ten opzichte van de state-of-the-art (RVT-2, 77,5%).
- Het presteerde het best op 14 van de 18 taken, met name bij complexe ruimtelijke taken zoals "stack cups" en "insert peg".
Robuustheid (COLOSSEUM Benchmark):
- Getest onder diverse ongezonde perturbaties (veranderingen in objectkleur, textuur, grootte, licht, camera-pose en afleidende objecten).
- Cortical Policy behaalde een gemiddelde success rate van 69,9%, wat 9,4% hoger is dan RVT-2.
- De ablatiestudies tonen aan dat de dynamic-view stream de belangrijkste drijver is voor deze robuustheid, vooral onder zware perturbaties.
Real-World Experimenten:
- In fysieke tests (met een Franka Panda en Cobot Agilex ALOHA) slaagde het model erin om taken uit te voeren waarbij objecten tijdens de uitvoering verplaatst werden.
- Waar statische methoden (zoals RVT-2) faalden (0% succes) bij dynamische verstoringen, behaalde Cortical Policy een 80% success rate door trajecten dynamisch opnieuw te plannen.
- Bij ruimtelijke redeningstaken ("stack 2 blocks in between bottles") was het 30% succesvoller dan concurrenten.

Betekenis en Impact

Dit paper biedt een paradigmaverschuiving in robotmanipulatie door de kloof tussen statische 3D-perceptie en dynamische actie-adaptatie te dichten. Door de principes van de menselijke visuele cortex (ventrale en dorsale pathways) te vertalen naar een computationeel framework, demonstreert Cortical Policy dat robots beter kunnen omgaan met de onzekerheid van de echte wereld. De methode is niet alleen nauwkeuriger, maar ook robuuster tegen omgevingsveranderingen, wat een cruciale stap is naar het inzetten van robots in niet-gecontroleerde, dynamische omgevingen. De openbaarmaking van de code en de reproduceerbaarheid van de resultaten versterken de bijdrage aan het veld van visuele motorische controle.