From Pixels to Registers: A Multi-Modal Testing Framework for Chained Perception, Control and Firmware

Roboter, die lernen, die Welt zu sehen, lernen oft die falschen Dinge. Wenn Ingenieure einen Roboter anhand von Fotografien trainieren, lernt die Maschine, spezifische Texturen, Lichtverhältnisse und den exakten Farbton des Bodens in ihrem Trainingsraum zu erkennen. Wenn der Roboter dann in einen neuen Raum mit anderer Beleuchtung oder einem anderen Bodenmuster versetzt wird, scheitert er oft – nicht, weil er die Form eines Hindernisses nicht erkennen kann, sondern weil die Pixel anders aussehen. Die Standardlösung besteht darin, dem Roboter immer mehr vielfältige Bilder zuzuführen, in der Hoffnung, dass er schließlich lernt, die Ablenkungen zu ignorieren. Ein neuer Ansatz schlägt jedoch einen anderen Weg vor: Anstatt dem Roboter beizubringen, das Rauschen zu ignorieren, entfernt man das Rauschen einfach, bevor der Roboter es überhaupt sieht. Indem man Farbe, Textur und Schatten entfernt und dem Roboter einen sauberen Umriss der Welt präsentiert, kann man ihn lehren, sich auf die Geometrie zu konzentrieren, die für die Bewegung tatsächlich entscheidend ist.

Ein Forscher hat ein Testsystem entwickelt, um diese Idee zu beweisen, indem er eine Brücke zwischen dem, was ein Roboter sieht, und der Art und Weise schlägt, wie er sich bewegt. Seine Arbeit konzentriert sich auf einen zweistufigen Prozess. In der ersten Stufe wandelt ein Computerprogramm ein realistisches Foto in eine einfache Strichzeichnung um, die mit einer Karte gepaart ist, welche die Objekte durch Nummern identifiziert. Diese Abstraktion entfernt den gesamten visuellen Ballast. In der zweiten Stufe lernt ein Steuerungssystem, den Roboter nur mithilfe dieser sauberen Umrisse zu steuern. Da das Steuerungssystem niemals ein Foto sieht, kann es nicht versehentlich lernen, sich auf eine bestimmte Bodenfarbe oder einen Schatten zu verlassen. Es lernt nur die Form der Welt. Um dies zu testen, baute der Forscher einen Simulator, der diese abgestimmten Bilder generiert und – entscheidend – die tatsächliche Steuerungssoftware des Roboters innerhalb des Computers ausführt. Dies ermöglicht es ihm zu sehen, ob das „Gehirn“ des Roboters in der Lage ist, eine einfache Skizze in reale physische Befehle zu übersetzen, die an einer Maschine funktionieren.

Der Forscher stellte fest, dass diese Methode selbst mit einer sehr geringen Menge an Daten lernbare Informationen liefert. Er trainierte ein Wahrnehmungsnetzwerk mit nur 479 Bildern, um Fotos in Strichzeichnungen umzuwandeln. Obwohl das Netzwerk nicht perfekt darin war, jede einzelne Linie zu zeichnen, erfasste es erfolgreich die wesentlichen Formen und Silhouetten der Szene. Noch wichtiger war, dass er eine Steuerungsstrategie testete, die in ihrem ganzen Leben noch nie ein Foto gesehen hatte. Diese Strategie wurde darauf trainiert, einen Expertenfahrer nachzuahmen, der die genaue Position jedes Objekts kannte. Als die Steuerungsstrategie nur die Strichzeichnungen und semantischen Karten erhielt, führte sie den Roboter in jedem einzelnen Testszenario erfolgreich zu seinem Ziel, acht von acht Mal. Im Gegensatz dazu scheiterte ein Roboter, der einfach geradeaus fuhr, ohne zu lenken, in all diesen Szenarien daran, das Ziel zu erreichen. Dies bewies, dass die vereinfachte visuelle Eingabe genügend Informationen enthielt, damit der Roboter effektiv navigieren konnte, wobei der Autor jedoch vorsichtig darauf hinweist, dass diese Ergebnisse aus einem kleinteiligen Experiment stammen und als Beleg dafür zu werten sind, dass der Apparat lernbare Daten produziert, und nicht als wettbewerbsfähige Ergebnisse.

Der Forscher entdeckte auch, dass seine ursprünglichen Annahmen darüber, warum das System scheitern könnte, nicht korrekt waren. Er vermutete zuerst, der Roboter scheitere, weil er nicht genügend Trainingsdaten habe, aber die Verdoppelung der Daten verschlechterte die Leistung tatsächlich. Er vermutete dann, das „Gehirn“ des Roboters sei zu klein, um die Bilder zu verstehen, aber das eigentliche Problem lag darin, wie der Roboter die Informationen verarbeitete. Das System mittelte das gesamte Bild zu einer einzigen Zahl zusammen, die zwar aussagte, wie viel vom Ziel sichtbar war, aber nicht, wo sich das Ziel befand. Soblich er das System so änderte, dass es die horizontale Position von Objekten verfolgte, wechselte der Roboter vom völligen Versagen zum erfolgreichen Navigieren in jeder Situation. Dies verdeutlichte, dass ein Roboter, um zu steuern, wissen muss, auf welcher Seite sich das Ziel befindet, und nicht nur, dass das Ziel existiert.

Um sicherzustellen, dass die Befehle des Roboters tatsächlich funktionierten, baute der Forscher ein strenges Testgate, das die Software des Roboters auf einer sehr niedrigen Ebene überprüfte. Er ließ dieselben Befehle durch zwei verschiedene Systeme laufen: eines, das das physische Ergebnis eines rotierenden Motors simulierte, und ein anderes, das die elektronischen Register innerhalb des Motorkontrollers selbst simulierte. Er fand heraus, dass die beiden Systeme nicht immer übereinstimmten. Wenn der Roboter beispielsweise angewiesen wurde, sich sehr langsam zu bewegen, sagte die einfache Simulation, er würde sich ein winziges Stück bewegen, während die detaillierte elektronische Simulation zeigte, dass der Motor sich gar nicht bewegen würde, weil der Befehl zu schwach war, um den internen Widerstand des Motors zu überwinden. Dies offenbarte, dass einfache Simulationen kritische Fehler verbergen können, die erst auftreten, wenn die Software mit der tatsächlichen Physik der Hardware interagiert.

Trotz dieser Erfolge weist der Forscher vorsichtig darauf hin, dass seine Ergebnisse spezifisch für diese kontrollierte Simulation sind. Der Roboter wurde in einer virtuellen Umgebung getestet, und der endgültige Beweis – aufzuzeigen, dass diese Methode besser funktioniert als das herkömmliche fotobasierte Training, wenn sich die reale Welt verändert – wurde noch nicht erbracht. Das von ihm gebaute System ist ein Werkzeug, um diese Idee zu testen, nicht die endgültige Antwort selbst. Er hat gezeigt, dass ein Roboter lernen kann, nur mit Skizzen zu fahren, und dass sein Testrahmen subtile Fehler in der Software aufspüren kann, die andere Methoden übersehen. Die Arbeit transformiert eine theoretische Idee in ein messbares Experiment und beweist, dass wir durch die Vereinfachung dessen, was ein Roboter sieht, sein Verständnis der Welt robuster und seine Steuerung zuverlässiger machen können.