Stel je voor dat je een robot probeert te leren een complexe taak uit te voeren, zoals het stapelen van blokken of het inschenken van een drankje. Je kunt de robot niet zomaar een miljoen keer door je huis laten rennen om te leren; hij zou dingen kapotmaken, moe worden of er eeuwig over doen. In plaats daarvan bouwen wetenschappers "wereldmodellen". Denk aan deze als superintelligente videogame-engines die precies kunnen voorspellen wat er hierna zal gebeuren als de robot zijn arm op een bepaalde manier beweegt. Het is alsoj een kristallen bol die de toekomst van de acties van een robot laat zien zonder dat er een echte robot nodig is. Maar hier komt het lastige deel bij: voor deze kristallen bollen is het essentieel dat ze perfect zijn. Ze moeten de wetten van de fysica volgen (zodat objecten niet weg zweven), ze moeten precies luisteren naar de gegeven commando's (als je zegt "beweeg naar links", mag hij niet naar rechts bewegen), en de video die ze tonen moet echt genoeg ogen zodat een mens het kan begrijpen. Als het model dit fout doet, is het als een GPS die je de afgrond in stuurt omdat het vergeten is dat zwaartekracht bestaat.

Het grote probleem is dat de meeste van deze modellen alleen getraind worden op "perfecte" voorbeelden—video's van robots die taken precies goed uitvoeren. Ze worden heel goed in het kopiëren van die specifieke bewegingen, maar als je ze vraagt om iets iets anders te proberen of een fout te maken, gaan ze vaak hallucineren en onzin produceren. Ze hebben niet geleerd hoe ze moeten omgaan met de rommelige, onvoorspelbare delen van de echte wereld. Dit artikel, getiteld PAVXploreRL, introduceert een nieuwe manier om deze wereldmodellen te trainen, zodat ze weerbaarder, slimmer en betrouwbaarder worden. De onderzoekers hebben een systeem gebouwd dat niet alleen perfecte video's memoriseert; het oefent actief door "vreemde" of imperfecte bewegingen uit te proberen in een veilige, gesimuleerde omgeving. Door het model te belonen voor het zijn van fysiek realistisch, het opvolgen van commando's en het er scherp uitzien, hebben ze een hulpmiddel gecreëerd dat veel beter is in het voorspellen van wat robots daadwerkelijk zullen doen, zelfs wanneer zaken niet volgens plan verlopen.

Het PAVXploreRL Avontuur

De auteurs van dit artikel, Han Wang en zijn team, zetten zich af om een specifieke zwakte aan te pakken in de manier waarop we robots leren de toekomst voor te stellen. Ze noemen hun oplossing PAVXploreRL, een naam die staat voor Physical, Action, and Visual Exploration Reinforcement Learning. Denk aan het als een trainingskamp voor de verbeelding van een robot.

In het verleden was het trainen van deze modellen als het onderwijzen van een student door alleen het antwoordmodel te laten zien. De modellen keken naar duizenden video's van robots die taken perfect uitvoerden en probeerden deze te kopiëren. Het probleem? Als je het model vroeg om zich een robot voor te stellen die iets iets anders doet—zoals een beetje sneller bewegen of een object laten vallen—faalde het vaak en produceerde het video's die nep oogden of de wetten van de fysica braken. De onderzoekers stellen dat om een echt nuttig "kristallen bol" te maken, het model drie specifieke dingen moet begrijpen, die zij de PAV-doelen noemen:

1. Physical Plausibility (P): De video moet de wetten van de fysica naleven. Als een robot een kopje laat vallen, moet het kopje naar beneden vallen, niet omhoog zweven.
2. Action Adherence (A): De video moet precies doen wat de robot is opgedragen gekregen. Als het commando is "pak het rode blok", mag de video niet laten zien dat de robot het blauwe blok pakt.
3. Visual Fidelity (V): De video moet scherp en echt ogen, niet wazig of vreemd, zodat mensen erop kunnen vertrouwen.

Het artikel stelt dat eerdere methoden faalden omdat ze alleen keken naar "In-Distribution" (ID) data—dat wil zeggen, ze trainden alleen op perfecte, expert-video's. Ze leerden het model niet wat er gebeurt als dingen misgaan of wanneer de robot iets nieuws probeert. Om dit op te lossen, introduceert PAVXploreRL een "speelse" trainingsmethode. In plaats van alleen perfecte video's te kopiëren, neemt het systeem die perfecte video's en verpest ze opzettelijk een beetje. Het voegt "ruis" toe aan de commando's van de robot, waardoor Out-of-Distribution (OOD) acties ontstaan. Dit zijn als "wat als"-scenario's: Wat als de robot te snel bewoog? Wat als hij utdis?

De magie gebeurt omdat het systeem geen echte video van deze rommelige scenario's nodig heeft om te leren. Het gebruikt een speciale "rechter" (gebaseerd op een model genaamd VJEPA-2) die naar een voorspelde toekomst kan kijken en kan zeggen: "Hé, dat ziet er fysiek niet mogelijk uit," of "Dat komt niet overeen met het commando." Het systeem gebruikt deze scores vervolgens als beloningen, vergelijkbaar met hoe een videogame je punten geeft voor goede zetten. Als het model een toekomst voorspelt die realistisch oogt en de regels volgt, krijgt het een hoge score. Als het een zwevend kopje voorspelt of een robot die zijn commando's negeert, krijgt het een lage score en probeert het opnieuw.

De resultaten van deze aanpak zijn zeer veelbelovend. De onderzoekers testten hun nieuwe methode op twee verschillende robot-datasets: Agibot (een robot met twee handen) en Droid (een robot met één hand). Ze ontdekten dat hun model, na deze speciale training, consequent de standaardmodellen overtrof. Gemiddeld zagen ze een verbetering van 5,6% over diverse benchmarks. Dit klinkt misschien klein, maar in de wereld van robotica-training is dit een significante sprong. Het nieuwe model was beter in het houden van objecten op de grond (Physical Plausibility), het opvolgen van instructies (Action Adherence) en het er realistisch uitzien (Visual Fidelity).

Misschien wel de belangrijkste bevinding is hoe het model omgaat met "policy evaluation". Dit is een chique manier om te zeggen: "Kunnen we dit model gebruiken om te testen of de hersenen van een robot goed zijn voordat we hem in de echte wereld loslaten?" Het artikel laat zien dat oudere modellen vaak te zelfverzekerd worden en overschatten hoe goed een robot zal presteren. Ze kunnen denken dat een robot een taak in 90% van de gevallen succesvol voltooit, terwijl hij in werkelijkheid slechts in 60% van de gevallen slaagt. PAVXploreRL geeft echter eerlijkere en betrouwbaardere schattingen. Het laat zich niet foppen door de "dromen" van de robot over succes; het vertelt de waarheid over wat er waarschijnlijk zal gebeuren.

Het team heeft ook "ablatie-studies" uitgevoerd, wat vergelijkbaar is met het uit elkaar halen van een machine om te zien welke tandwielen het zwaarste werk doen. Ze testten hun systeem door verschillende onderdelen van het trainingsrecept te verwijderen, zoals de "embodiment-focused" beloningen (die specifiek focussen op het lichaam van de robot) of de "static regularization" (die voorkomt dat het model simpelweg een bevroren, perfect beeld voorspelt). Ze ontdekten dat elk onderdeel van hun recept noodzakelijk was. Wanneer ze het deel verwijderden dat controleert op fysieke plausibiliteit, werd het model slechter. Wanneer ze het deel verwijderden dat omgaat met rommelige, out-of-distribution acties, werd het model minder betrouwbaar. Dit suggereert dat de combinatie van al deze elementen is wat het systeem zo goed laat werken.

Uiteindelijk gaat PAVXploreRL niet alleen over het maken van mooiere robotvideo's. Het gaat over het bouwen van een veiligere, betrouwbaardere manier om robots te trainen. Door deze modellen te leren om "wat als"-scenario's te verkennen en ze te belonen voor het zijn van fysiek accuraat en gehoorzaam, hebben de onderzoekers een hulpmiddel gecreëerd dat robots kan helpen sneller en veiliger te leren in de echte wereld. Het artikel suggereert dat deze aanpak een grote stap voorwaarts kan zijn voor embodied AI, waardoor het mogelijk wordt om complexe robots te trainen zonder ze een miljoen keer te laten crashen in een echt lab. Hoewel het artikel niet beweert elk probleem in de robotica te hebben opgelost, biedt het een sterke, gemeten stap richting simulaties die we daadwerkelijk kunnen vertrouwen.