Stel je voor dat je door een kamer loopt vol willekeurige voorwerpen: een paprika, een schoen, een lamp en een uitgeholde steen. Een mens ziet niet alleen een "rood ding" of een "glanzend ding". Een mens weet instinctief dat de paprika water kan bevatten, de schoen een hamer kan zijn en de steen een zitplaats kan zijn. Deze superkracht wordt affordance reasoning genoemd. Het is het vermogen om naar een object te kijken en te begrijpen wat je ermee kunt doen op basis van hoe het eruitziet en hoe het aanvoelt. Voor robots om iets nuttigs te kunnen doen in onze rommelige, echte wereld—zoals een broodje maken of een kamer opruimen—hebben ze deze zelfde superkracht nodig. Ze kunnen niet alleen verteld worden: "Pak de beker." Ze moeten kunnen bedenken: "Oh, dat ding daar is een beker, dus ik kan het gebruiken om water te drinken," zelfs als de beker half verborgen is of er een beetje vreemd uitziet.

Het grote probleem is dat de hersenen van huidige robots ofwel te dom zijn om dit zelfstandig uit te vogelen, ofwel zo enorm groot en complex (zoals gigantische AI-modellen) dat ze niet in het hoofd van een robot passen om snel te draaien. Ze zijn ofwel in de war door de woorden, of ze doen er te lang over om na te denken. Dit artikel introduceert een nieuwe oplossing genaamd Afford-X. Denk aan Afford-X als een "slim, slank robotbrein" dat specifiek is getraind om naar een afbeelding en een taak te kijken (zoals "droog je lichaam af") en direct naar het beste gereedschap te wijzen (een handdoek), terwijl afleidingen worden genegeerd. Het is ontworpen om klein genoeg te zijn om op een lokale computer te draaien, snel genoeg om in realtime te werken, en slim genoeg om nieuwe situaties aan te kunnen die het nog nooit eerder heeft gezien.

Het Probleom: Robots die worden afgeleid door zelfstandige naamwoorden

Om te begrijpen waarom dit artikel een grote zaak is, stel je voor dat je een spelletje "Simon zegt" speelt met een robot. Je zegt: "Maak de fles schoon met iets." Een standaardrobot kijkt misschien naar de afbeelding, ziet een glimmende fles en grijpt meteen de fles. Het faalt omdat de robot bleef hangen bij het zelfstandig naamwoord "fles" in plaats van het begrip "schoonmaken" te begrijpen. De robot denkt dat de fles het gereedschap is, en niet het object dat schoongemaakt moet worden. Het is als een student die het woord "appel" leest in een wiskundeprobleem over fruitsalade en vergeet om de wiskunde daadwerkelijk op te lossen.

Huidige AI-modellen zijn vaak te groot om op de lokale computer van een robot te draaien (ze hebben enorme servers nodig), en de kleinere modellen zijn vaak te dom om het verschil te begrijpen tussen een gereedschap en een doelwit. Ze missen het "gezond verstand" om te weten dat een servet een fles schoonmaakt, maar een fles zichzelf niet schoonmaakt.

De Oplossing: Afford-X en de "Leraar-Leerling"-truc

De auteurs hebben een nieuw systeem gebouwd genaamd Afford-X. Het is als een "slanke" AI-modellen die op een lokaal apparaat past, maar verrassend slim is. Om het slim te maken zonder het groot te maken, hebben ze een slimme trainingsmethie gebruikt die knowledge distillation wordt genoemd.

Stel je een meesterkok voor (de Leraar) die precies weet hoe hij een perfecte maaltijd moet koken. De kok kent de namen van elk ingrediënt (zoals "bank" of "beker"). Stel je nu een leerling-kok voor (de Leerling) die probeert te leren, maar nog niet de specifieke namen van de ingrediënten mag kennen; ze kennen alleen instructies zoals "zit comfortabel op iets".

De methode van het artikel werkt als volgt:

1. De Leraar leert met specifieke namen (bijv. "zit op een bank").
2. De Leerling leert met vage woorden (bijv. "zit op iets").
3. De Leraar vertelt de Leerling niet alleen het antwoord; de Leraar laat de Leerling zien hoe er te denken. Het zegt: "Wanneer je deze vorm ziet en 'zit' hoort, denk dan aan een 'bank', zelfs als je het woord nog niet kent."

Dit stelt de Leerling (het uiteindelijke robotmodel) in staat om het concept van een gereedschap te begrijpen zonder een gigantische database van elke enkele objectnaam nodig te hebben. Het leert het "gevoel" van het juiste object.

De Geheime Saus: Verb Attention en Bi-Fusion

Om ervoor te zorgen dat de robot zich op de actie concentreert en niet alleen op het object, hebben de auteurs twee speciale hulpmiddelen aan het AI-brein toegevoegd:

• Verb Attention (VA): Dit is als een markeerstift voor werkwoorden. Wanneer de robot "maak de fles schoon" leest, schijnt de VA-module een fel licht op het woord "schoonmaken". Het vertelt de robot: "Hey, kijk niet alleen naar de fles! Zoek naar iets dat schoonmaakt!" Dit voorkomt dat de robot wordt afgeleid door het meest voor de hand ligende object in de afbeelding.
• Bi-Fusion (BF): Dit is een tweerichtingsgesprek tussen de ogen van de robot (visie) en zijn brein (taal). In plaats van de afbeelding en de woorden simpelweg aan elkaar te plakken, laat deze module hen met elkaar praten. De ogen zeggen: "Ik zie een zacht, rechthoekig ding," en het brein zegt: "Dat klinkt als een handdoek om mee af te drogen." Ze combineren hun aantekeningen om tot een perfecte beslissing te komen.

De Trainingsgrond: LVIS-Aff en COCO-Aff

Je kunt een robot niet leren om slim te zijn zonder hem een enorme bibliotheek van voorbeelden te geven. De auteurs hebben twee enorme nieuwe bibliotheken met data gemaakt, genaamd COCO-Aff en LVIS-Aff.

Beschouw deze als enorme "oefenexamens" voor robots. In plaats van alleen een foto van een beker te laten zien en te vragen "Wat is dit?", laten deze datasets een foto en een taak zien zoals "drink water mee", en de robot moet de beker vinden.

• COCO-Aff heeft ongeveer 112.000 afbeeldingen en 1.144 verschillende taken.
• LVIS-Aff is nog groter, met 119.000 afbeeldingen en 1.496 taken, verspreid over meer dan 1.000 verschillende soorten objecten.

Ze gebruikten een gigantische AI (GPT-4) om automatisch deze oefenvragen te helpen schrijven, waarbij ze controleerden of de antwoorden wel logisch waren. Dit gaf de robot een veel breder scala aan ervaringen om van te leren, wat hielpt om nieuwe, vreemde situaties beter aan te kunnen dan voorheen.

De Resultaten: Snel, Klein en Nauwkeurig

De auteurs hebben Afford-X getest in gesimuleerde robotwerelden (met behulp van een virtuele omgeving die eruitziet als een echte kamer). Dit is wat ze ontdekten:

• Snelheid: Afford-X is ongelooflijk snel. Het kan afbeeldingen verwerken met 2,38 frames per seconde (FPS). Om dat in perspectief te plaatsen: het is bijna 50 keer sneller dan het vragen aan een gigantische cloud-gebaseerde AI (zoals GPT-4V) om dezelfde taak uit te voeren.
• Grootte: Het model is erg klein, met slechts 187 miljoen parameters. Dit betekent dat het op een lokale computer kan draaien zonder dat er een enorme serverfarm nodig is.
• Nauwkeurigheid: In tests verbeterde Afford-X de prestaties met 12,1% vergeleken met de beste eerdere methoden die geen gigantische AI-modellen gebruikten. Het versloeg ook het eigen eerdere werk van de auteurs met 1,2%.
• Generalisatie: Wanneer de robot te maken kreeg met taken die hij nog nooit eerder had gezien (met objecten die hij niet kende), presteerde hij nog steeds goed. Bijvoorbeeld, bij nieuwe taken verbeterde de nauwkeurigheid met ongeveer 24% vergeleken met modellen die getraind waren op kleinere datasets.

Een Dag uit het Leven van de Robot

Om te bewijzen dat het werkt, hebben de auteurs Afford-X op een gesimuleerde robotarm geplaatst. Ze gaven het een taak zoals "drink water mee".

1. De robot keek naar een rommelige tafel met een fles, een glas, een beker en een lepel.
2. Afford-X identificeerde onmiddellijk de beker als het beste gereedschap, waarbij de fles (die bedoeld is om in te bewaren, niet om direct uit te drinken) en de lepel werden genegeerd.
3. De robot plande vervolgens zijn beweging en greep succesvol de beker.

In een complexe test waarbij de robot een "werkplek moest opbouwen", brak het systeem de grote taak op in kleinere stappen (zoek een tafel, zoek een stoel, zoek een lamp) en voerde deze één voor één uit. In deze simulaties slaagde de robot er 86% van de tijd in om het juiste object te vinden, en slaagde hij er 45% van de tijd in om het ook daadwerkelijk te grijpen. (De mislukkingen gebeurden meestal omdat de arm van de robot moeite had met het vasthouden van dunne, platte voorwerpen zoals lepels, en niet omdat hij het verkeerde object koos).

Waarom dit ertoe doet

Dit artikel laat zien dat je geen gigantische, trage, cloud-gebaseerde AI nodig hebt om een robot gezond verstand te geven. Door een slim, slank model te gebruiken dat getraind is op de juiste soort data, kunnen robots gereedschap in de echte wereld snel en efficiënt begrijpen en gebruiken. Dit is een cruciale stap richting robots die ons daadwerkelijk kunnen helpen in onze huizen en werkplaatsen, in plaats van alleen maar vast te zitten in een lab terwijl ze wachten tot een supercomputer hen vertelt wat ze moeten doen.

De auteurs geven toe dat de robot nog steeds een beetje worstelt met zeer lastige situaties, zoals het verschil zien tussen een beker en een tandenborstelhouder als ze er exact hetzelfde uitzien, of het omgaan met objecten die achter andere objecten verborgen zijn. Maar voor nu bewijst Afford-X dat een klein, snel en slim robotbrein mogelijk is.