Robots die door een rommelige kamer kunnen navigeren, een specifieke tool kunnen oppakken en deze aan een mens kunnen overhandigen, vereisen een vorm van intelligentie die zien, begrijpen en bewegen combineert. Jarenlang hebben onderzoekers systemen gebouwd die een krachtig visueel brein combineren, dat in staat is objecten te herkennen en instructies te lezen, met een apart controlemodule die die gedachten vertaalt naar de precieze bewegingen van de armen en handen van een robot. Deze tweeledige aanpak heeft ervoor gezorgd dat machines steeds complexere taken kunnen uitvoeren, van het stapelen van blokken tot het assembleren van eenvoudige apparaten. Echter, een kritische vraag bleef echter hangen: ziet het deel van de robot dat daadwerkelijk de ledematen beweegt de wereld wel op dezelfde manier als het deel dat denkt? Als de visuele informatie verloren gaat of vervaagt terwijl deze van het "denkende" brein naar het "bewegende" lichaam wordt doorgegeven, kan de robot wel begrijpen dat een kopje op een tafel staat, maar kan hij het niet oppakken omdat hij de afstand of de vorm van het object niet nauwkeurig kan inschatten.

Een team van onderzoekers heeft precies geïdentificeerd waar dit breekpunt optreedt en heeft een oplossing ontwikkeld om het te herstellen. Ze ontdekten dat in huidige geavanceerde robotsystemen de laatste laag visuele informatie die naar de controlemodule wordt doorgegeven, zwaar bevooroordeeld is richting taal en objectnamen, terwijl de cruciale details over diepte en driedimensionale ruimte achterblijven. Om dit op te lossen, ontwikkelden ze een nieuwe methode genaamd V-Link, die fungeert als een brug om deze verloren ruimtelijke details te herstellen voordat de robot probeert te bewegen. Door het systeem expliciet te leren om zowel het "wat" (de identiteit van het object) als het "waar" (de exacte positie in de 3D-ruimte) te scheiden en te bewaren, stelden de onderzoekers robots in staat om delicate manipulatietaken uit te voeren met aanzienlijk hogere succespercentages. In tests met zowel computersimulaties als real-world humanoïde robots, stelde deze aanpak machines in staat om taken te voltooien waar ze eerder moeite mee hadden, zoals het aanzetten van een schakelaar of het navigeren door complexe omgevingen, wat bewijst dat het herstellen van de volledige rijkdom van visuele perceptie essentieel is voor precieze robotische actie.

De kern van het probleem ligt in de structuur van moderne robotbreinen. Deze systemen gebruiken doorgaans een groot vooraf getraind model om afbeeldingen en taal te verwerken, waarbij een definitieve set kenmerken wordt gegenereerd die de scène samenvat. Deze samenvatting wordt vervolgens gevoed aan een aparte controller die beslist hoe de robot moet bewegen. De onderzoekers ontdekten dat hoewel deze samenvatting uitstekend is voor het identificeren van objecten, deze verrassend slecht is in het overbrengen van de geometrische realiteit van de scène. Wanneer zij de bekwaamheid van de controller testten om diepte in te schatten of objecten te segmenteren op basis van enkel deze laatste samenvatting, waren de resultaten zwak. De controller leek een kortere weg te nemen door te vertrouwen op de semantische labels van objecten in plaats van op hun fysieke vorm en afstand. Dit is vergelijkbaar met een bestuurder die de naam van elke straat kent, maar de afstand tot de auto voor hem niet kan inschatten; de kennis is er wel, maar de praktische toepassing ontbreekt.

Om dit aan te pakken, introduceerden de onderzoekers een mechanisme dat het systeem dwingt om expliciet twee verschillende soorten visuele informatie te leren en te bewaren: één gericht op de geometrie van de scène en een andere op de semantische betekenis ervan. Ze voegden speciale, leerbare tokens toe — in feite toegewijde vragen die het systeem zichzelf stelt — in de visuele verwerkingsfase. Eén set tokens is getraind om zich volledig te concentreren op diepte en ruimtelijke relaties, terwijl de andere zich richt op het identificeren van objecten en hun categorieën. Cruciaal is dat deze tokens tijdens het leerproces worden getraind met behulp van hulptaken, zoals het voorspellen van de dieptekart van een scène of het segmenteren van verschillende objecten, maar deze extra taken worden verwijderd zodra de robot wordt ingezet. Dit zorgt ervoor dat de robot leert om deze ruimtelijke en semantische details te internaliseren zonder dat hij de extra berekeningen in realtime hoeft uit te voeren.

Zodra deze gespecialiseerde representaties zijn geleerd, worden ze via een zorgvuldig ontworpen pad teruggeïnjecteerd in de controlemodule van de robot. Het systeem mengt de informatie niet simpelweg samen; in plaats daarvan gebruikt het een asymmetrische aanpak waarbij de semantische informatie de standaard visuele data aanvult, terwijl de ruimtelijke informatie een toegewezen kanaal krijgt om de bewegingen van de robot te conditioneren. Dit ontwerp zorgt ervoor dat de controller de 3D-geometrie van de scène niet kan negeren. Het resultaat is een robot die niet alleen weet waar hij naar kijkt, maar ook precies begrijpt waar hij zich in de ruimte bevindt ten opzichte van zijn eigen lichaam.

De impact van dit herstel was onmiddellijk en meetbaar in een verscheidenheid aan uitdagende scenario's. In een reeks simulaties met taken zoals het verplaatsen van objecten, het plaatsen van items en het maken van contact met oppervlakken, presteerde de nieuwe methode aanzienlijk beter dan de voorheen geavanceerde modellen. Op één benchmark steeg het succespercentage met meer dan dertig procent, en op een andere verbeterde het met bijna negentien procent. De verbetering was niet slechts een kwestie van taken sneller voltooien; het ging om het vermogen om fijnmazige manipulatie aan te gaan die een precieze diepteperceptie vereist. In real-world tests met een humanoïde robot voltooide het systeem succesvol autonome aan/uit-taken met succespercentages van respectievelijk 98% en 94%, een substantiële sprong ten opzichte van het basismodel.

Misschien wel het belangrijkste is dat deze verbetering bijna geen kosten met zich meebracht voor de snelheid van de robot. De onderzoekers berekenden dat de nieuwe methode slechts een fractie van een milliseconde toevoegt aan de tijd die de robot nodig heeft om een beslissing te nemen. Deze efficiëntie is essentieel voor praktische robotica, waarbij vertragingen kunnen leiden tot instabiliteit of falen. Door de verloren visuele representaties te herstellen zonder het systeem te vertragen, hebben de onderzoekers aangetoond dat de bottleneck in robotmanipulatie niet een gebrek aan rekenkracht was, maar een kloof in hoe visuele informatie werd overgedragen van perceptie naar actie. Het werk suggereert dat voor robots om de fysieke wereld echt te beheersen, ze toegang moeten krijgen tot het volledige spectrum van visuele aanwijzingen, zodat hun begrip van een scène even rijk en gedetailleerd is als hun vermogen om erin te bewegen.