From Pixels to Registers: A Multi-Modal Testing Framework for Chained Perception, Control and Firmware

Robots die leren de wereld te zien, leren vaak de verkeerde dingen. Wanneer ingenieurs een robot trainen met behulp van foto's, leert de machine specifieke texturen, lichtomstandigheden en de exacte tint van de vloer in zijn trainingsruimte te herkennen. Als de robot vervolgens naar een nieuwe kamer wordt verplaatst met een andere verlichting of een ander vloerpatroon, faalt hij vaak, niet omdat hij de vorm van een obstakel niet kan zien, maar omdat de pixels er anders uitzien. De standaardoplossing is geweest om de robot steeds meer gevarieerde afbeeldingen te voeren, in de hoop dat hij uiteindelijk leert de afleidingen te negeren. Een nieuwe aanpak suggereert echter een ander pad: in plaats van de robot te leren de ruis te negeren, de ruis simpelweg te verwijderen voordat de robot het ooit ziet. Door kleur, textuur en schaduwen weg te strippen en de robot een schone omtrek van de wereld te presenteren, kunnen onderzoekers hem leren te focussen op de geometrie die er werkelijk toe doet voor beweging.

Een onderzoeker heeft een testingssysteem gebouwd om te bewijzen dat dit idee werkt, waarbij een brug wordt geslagen tussen wat een robot ziet en hoe hij beweegt. Hun werk concentreert zich op een proces in twee fasen. In de eerste fase zet een computerprogramma een realistische foto om in een eenvoudige lijntekening gekoppeld aan een kaart die objecten identificeert door middel van nummers. Deze abstractie verwijdert alle visuele rommel. In de tweede fase leert een controlesysteem de robot aan te sturen met behulp van alleen deze schone omtrekken. Omdat het controlesysteem nooit een foto heeft gezien, kan het niet per ongeluk leren vertrouwen op een specifieke vloerkleur of een schaduw. Het leert alleen de vorm van de wereld. Om dit te testen, bouwde de onderzoeker een simulator die deze uitgelijnde afbeeldingen genereert en, cruciaal, de eigenlijke besturingssoftware van de robot binnen de computer draait. Dit stelt hen in staat om te zien of het brein van de robot een eenvoudige schets kan vertalen naar echte fysieke commando's die werken op een machine.

De onderzoeker kwam tot de conclusie dat deze methode produceerbare data oplevert, zelfs met een zeer kleine hoeveelheid ervan. Ze trainden een perceptienetwerk op slechts 479 afbeeldingen om foto's om te zetten in lijntekeningen. Hoewel het netwerk niet perfect was in het tekenen van elke afzonderlijke lijn, legde het succesvol de essentiële vormen en silhouetten van de scène vast. Belangrijker nog, ze testten een controlebeleid dat nog nooit een foto heeft gezien. Dit beleid werd getraind om een expert-bestuurder na te bootsen die de exacte locatie van elk object kende. Toen het controlebeleid alleen de lijntekeningen en semantische kaarten kreeg, leidde het de robot succesvol naar zijn doel in alle acht van de acht testscenario's. In contrast hiermee faalde een robot die simpelweg rechtdoor reed zonder te sturen, in al diezelfde scenario's om het doel te bereiken. Dit bewees dat de vereenvoudigde visuele input voldoende informatie bevatte voor de robot om effectief te navigeren, hoewel de auteur waarschuwt dat deze resultaten afkomstig zijn van een kleinschalig experiment en moeten worden beschouwd als bewijs dat het apparaat produceerbare data genereert, in plaats van als competitieve resultaten.

De onderzoeker ontdekte ook dat hun initiële aannames over waarom het systeem zou falen onjuist waren. Ze vermoedden eerst dat de robot faalde omdat hij niet genoeg trainingsdata had, maar het verdubbelen van de hoeveelheid data maakte de prestaties zelfs slechter. Ze vermoedden daarna dat het "brein" van de robot te klein was om de afbeeldingen te begrijpen, maar het echte probleem lag in de manier waarop de robot de informatie verwerkte. Het systeem was de hele afbeelding aan het middelen tot één enkel getal, wat aangaf hoeveel van het doel zichtbaar was, maar niet waar het doel zich bevond. Zodra ze het systeem aanpasten om de horizontale positie van objecten bij te houden, ging de robot van volledig falen naar telkens weer succesvol zijn. Dit benadrukte dat een robot nodig heeft om te sturen om te weten aan welke kant het doel zich bevindt, en niet alleen dat het doel bestaat.

Om te verzekeren dat de commando's van de robot daadwerkelijk werkten, bouwde de onderzoeker een rigoureuze testpoort die de software van de robot op een zeer laag niveau controleerde. Ze draaiden dezelfde commando's door twee verschillende systemen: één die het fysieke resultaat van een draaiende motor simuleerde, en een andere die de elektronische registers binnen de motorkregelaar zelf simuleerde. Ze ontdekten dat de twee systemen niet altijd overeenkwamen. Bijvoorbeeld, wanneer de robot werd gevraagd heel langzaam te bewegen, zei de eenvoudige simulatie dat de robot een klein beetje zou bewegen, maar de gedetailleerde elektronische simulatie liet zien dat de motor helemaal niet zou bewegen omdat het commando te zwak was om de interne weerstand van de motor te overwinnen. Dit onthulde dat eenvoudige simulaties kritieke fouten kunnen verbergen die pas zichtbaar worden wanneer de software interageert met de daadwerkelijke fysica van de hardware.

Ondanks deze successen merkt de onderzoeker er met zorg bij op dat hun resultaten specifiek zijn voor deze gecontroleerde simulatie. De robot werd getest in een virtuele omgeving, en het uiteindelijke bewijs — om aan te tonen dat deze methode beter werkt dan traditionele fotogebaseerde training wanneer de echte wereld verandert — is nog niet aangetoond. Het systeem dat zij hebben gebouwd is een instrument om dat idee te testen, niet het definitieve antwoord zelf. Ze hebben aangetoond dat een robot kan leren rijden met behulp van alleen schetsen en dat hun testframework subtiele fouten in de software kan vangen die andere methoden missen. Het werk transformeert een theoretisch idee in een meetbaar experiment, waarmee wordt bewezen dat door te vereenvoudigen wat een robot ziet, we zijn begrip van de wereld robuuster en zijn controle betrouwbaarder kunnen maken.