Curiosity-Diffuser: Curiosity Guide Diffusion Models for Reliability

Stel je voor dat je een robot leert om een nieuwe truc te doen, zoals jongleren of een deur openen. Je laat het de robot zien via een video van een mens die het perfect doet, en het brein van de robot (een neuraal netwerk) probeert die bewegingen te kopiëren. Dit wordt "imitation learning" genoemd. Het is alsof een student een tekstboek uit het hoofd leert om een toets te halen. Maar hier is de crux: wat gebeurt er als de toetsvraag net even anders is dan alles in het boek? In de echte wereld is het rommelig. Een robot kan een situatie tegenkomen die hij nog nooit eerder heeft gezien, en zijn brein kan beginnen te "hallucineren". In plaats van een veilige nieuwe beweging te bedenken, verzint hij een gekke, onmogelijke actie die ervoor zorgt dat hij crasht of het object laat vallen. Deze instabiliteit is een groot probleem als we willen dat robots veilig werken in onze huizen of ziekenhuizen. Wetenschappers proberen robots te bouwen die niet alleen uit het hoofd leren, maar ook weten wanneer ze aan het gissen zijn en voorzichtig moeten zijn.

Dit paper introduceert een slimme nieuwe manier om te voorkomen dat robots gevaarlijke bewegingen verzinnen. De auteurs werkten met een type AI genaamd een "diffusiemodel" (wat een soort slimme kunstenaar is die een afbeelding kan tekenen door langzaam willekeurige ruis in een helder beeld te veranderen), en creëerden een systeem dat ze Curiosity-Diffuser noemen. Denk aan het brein van de robot als een student die een specifieke set oefenopgaven heeft bestudeerd. Wanneer de student voor een nieuw probleem komt te staan, kan hij in paniek raken en wild gaan gokken. De Curiosity-Diffuser voegt een "nieuwsgierigheidsmeter" toe aan de robot. Als de robot iets probeert te doen dat te vreemd of onbekend aanvoelt vergeleken met wat hij heeft geleerd, gaat de meter af. Het systeem stuurt de robot dan voorzichtig terug naar de veilige, bekende bewegingen die hij weet te beheersen, waardoor voorkomt dat hij in gevaarlijk gebied terechtkomt.

De onderzoekers testten dit idee op twee manieren: eerst in computersimulaties waar robots moesten lopen of door doolhoven navigeren, en daarna in de echte wereld met echte robotarmen. Ze ontdekten dat de robots door het gebruik van deze "nieuwsgierigheidsgids" veel betrouwbaarder werden. In de simulaties maakten de robots minder fouten en bleven ze dichter bij de veilige paden die ze hadden geoefend. In de echte wereld, wanneer de robot werd gevraagd een kastdeur te sluiten of blokken te stapelen, hielp de nieuwe methode de robot om 85% van de tijd te slagen, vergeleken met slechts ongeveer 50% voor oudere methoden. Het paper suggereert dat door de robot te leren herkennen wanneer hij "boven zijn macht" is en hem terug te leiden naar veiligheid, we intelligente machines kunnen maken die veel minder snel ongelukken veroorzaken.

Het Verhaal van de Nieuwsgierige Robot

Het Probleem: De Dagdroom van de Robot
Stel je voor dat je een robot bent genaamd Robo. Je bent getraind door 100 keer te kijken naar een mens die een deur opent. Je weet precies hoe je de klink moet vastpakken en duwen. Maar op een dag is de deur iets zwaarder, of zit je hand in een iets andere positie. Je brein, dat heel goed is in het kopiëren van wat het heeft gezien, begint te panieken. Het weet niet wat het moet doen, dus begint het te "hallucineren". Het besluit misschien om de deur met de elleboog te duwen, of probeert er overheen te springen, of draait gewoon rondjes. Dit zijn "hallucinaties"—verzonnen acties die eruitzien alsof ze zouden kunnen werken, maar eigenlijk onzin zijn. In de echte wereld is dit gevaarlijk. Als een robot hallucineert terwijl hij een zwaar gereedschap vasthoudt, zou hij iemand pijn kunnen doen.

De Oplossing: Het Nieuwsgierigheidskompas
De auteurs van dit paper realiseerden zich dat robots een manier nodig hebben om hun eigen vertrouwen te controleren. Ze leenden een idee uit een vakgebied genaamd "reinforcement learning" genaamd Random Network Distillation (RND). Laten we dat uitleggen met een eenvoudige analogie.

Stel je voor dat je een "Docent" en een "Student" hebt.

• De Docent is een willekeurig, vaststaand brein dat niets leert. Het kijkt naar een situatie en geeft een willekeurig antwoord.
• De Student is een brein dat wel leert. Het probeert te voorspellen wat de Docent zou zeggen als hij naar dezelfde situatie zou kijken.

Wanneer de Student een situatie ziet die hij veel heeft geoefend (zoals het openen van de deur), kan hij het antwoord van de Docent perfect voorspellen. Het verschil tussen hen is minuscuul. Maar wanneer de Student een vreemde, nieuwe situatie ziet (zoals de zware deur), raakt hij in de war. Zijn gok is totaal anders dan het willekeurige antwoord van de Docent. Dit grote verschil is de "Nieuwsgierigheidsscore". Hoge nieuwsgierigheid betekent: "Ik ken dit niet!" Lage nieuwsgierigheid betekent: "Dit heb ik eerder gezien; ik ben veilig."

Hoe Curiosity-Diffuser werkt
Het paper combineert deze Nieuwsgierigheidscompass met een krachtig hulpmiddel genaamd een Diffusiemodel. Normaal gesproken is een diffusiemodel als een beeldhouwer die begint met een blok ruis en er stukjes vanaf beitelt tot er een beeldhouwwerk verschijnt. In de robotica is de "beeldhouwwerk" een plan voor hoe te bewegen. De robot genereert vele mogelijke plannen, beginnend vanuit chaos en langzaam verfijnd.

De auteurs voegden een draai toe: ze zeiden tegen het diffusiemodel: "Terwijl je de ruis wegbeitelt om een plan te maken, houd dan je Nieuwsgierigheidscompass in de gaten."

• Als het plan begint te lijken op iets wat de robot nog nooit heeft gezien (hoge nieuwsgierigheid), duwt de compass het plan terug naar het bekende.
• Als het plan veilig en bekend lijkt (lage nieuwsgierigheid), laat de compass het proces doorgaan.

Dit is als het hebben van een coach die naast de beeldhouwer staat. Als de beeldhouwer begint met het maken van een vreemde, onmogelijke vorm, zegt de coach: "Ho even, dat lijkt totaal niet op de oefenfoto's. Laten we een vorm proberen die dichter bij het origineel ligt."

De Resultaten: Veiligere, Slimmere Robots
Het team testte dit op twee hoofdwegen:

1. In de Computerwereld (Simulaties): Ze gebruikten virtuele robots die over een vloer moesten lopen of door een doolhof moesten navigeren.

   • In de MuJoCo-taken (virtuele lopende robots), hielp de nieuwe methode de robots beter presteren, vooral wanneer de trainingsdata van hoge kwaliteit was.
   • In de AntMaze-taken (een virtuele mier die door een complex doolhof navigeert), waren de resultaten zelfs nog indrukwekkender. Zonder de nieuwsgierigheidsgids faalden andere robots bijna volledig; ze kwamen vast te zitten of dwaalden af. De Curiosity-Diffuser hielp de virtuele mier veel vaker het doel te bereiken. Bijvoorbeeld, in de "Play"-groep van de AntMaze slaagde de nieuwe methode bijvoorbeeld 58,6% van de tijd, terwijl andere methoden nauwelijks boven de 8% uitkwamen.

2. In de Echte Wereld: Ze namen een echte robotarm en leerden deze twee taken aan:

   • Hammer Close Door: Een hamer gebruiken om een kastdeur dicht te duwen.
   • Block Ranking: Een rode blok oppakken en op een groene stapelen.
   • Ze testten de robot met kleine veranderingen, zoals het verplaatsen van de startpositie van de arm of de objecten.
   • De oude methoden (zoals standaard imitation learning) slaagden slechts ongeveer 50% van de tijd.
   • De nieuwe Curiosity-Diffuser slaagde 85% van de tijd. Het was veel stabieler en werd niet gestopt of maakte geen wilde, onveilige bewegingen.

De "K-Sim" Score: Het Meten van Veiligheid
De auteurs hebben ook een nieuwe manier uitgevonden om te meten hoe "veilig" de bewegingen van een robot zijn. Ze noemen dit K-Sim.

• Stel je voor dat je een kaart hebt van alle veilige plekken waar de robot ooit is geweest.
• Wanneer de robot beweegt, controleert K-Sim: "Hoe dicht ligt deze nieuwe beweging bij de veilige kaart?"
• Een score dicht bij 1,0 betekent dat de robot precies op het veilige pad blijft.
• Een score dicht bij 0 betekent dat de robot in onbekend, gevaarlijk gebied dwaalt.
• De Curiosity-Diffuser behaalde consequent hogere K-Sim-scores (gemiddeld rond de 0,827 in de doolhoftests) vergeleken met andere methoden, wat bewees dat het de robot echt op vertrouwde grond hield.

Een Woord van Waarschuwing
Het paper is voorzichtig om te stellen dat dit geen toverstaf is die alles oplost. Het "nieuwsgierigheidsgewicht" (hoeveel de robot naar de compass luistert) moet precies goed zijn. Als de robot te veel naar de compass luistert, wordt hij te bang om iets nieuws te proberen en kan hij de taak niet voltooien. Als hij er te weinig naar luistert, kan hij nog steeds hallucineren. De auteurs vonden een "sweet spot" waarbij de robot een balans vindt tussen veilig zijn en effectief zijn.

Waarom dit Belangrijk Is
Dit onderzoek suggereert dat door robots een manier te geven om hun eigen "vertrouwdheid" met een situatie te meten, we kunnen voorkomen dat ze gevaarlijke bewegingen maken. Het is een stap naar het bouwen van robots die niet alleen slim zijn, maar ook nederig en voorzichtig—wetend wanneer ze boven hun macht staan en zich te houden aan wat ze weten dat werkt. Hoewel het paper geweldige resultaten laat zien in simulaties en praktijktesten, merken de auteurs op dat er nog werk te verrichten is om deze systemen nog robuuster te maken voor elke mogelijke situatie in onze complexe wereld.