Can you see how I learn? Human observers' inferences about Reinforcement Learning agents' learning processes

Wenn ein Mensch einem Kind das Fahrradfahren beibringt, ist die Lektion ein Gespräch aus Blicken, Wackeln und ermutigenden Worten. Das Kind lernt, indem es spürt, wie sich das Gleichgewicht verschiebt, und der Elternteil lernt, indem er beobachtet, wie das Kind seine Anleitung interpretiert. Dieses Geben und Nehmen ist die Essenz hybrider Intelligenz: zwei verschiedene Geister, die zusammenarbeiten, um ein Problem zu lösen, das keiner von beiden allein meistern könnte. In der Welt der Robotik wird diese Partnerschaft als human-interaktives Roboterlernen bezeichnet. Hier fungiert ein Mensch als Lehrer und führt einen Roboter durch eine Aufgabe mittels Feedback oder Demonstration. Die Hoffnung ist, dass der Roboter lernt, einen Raum zu durchqueren, eine Box zu schieben oder einen Boden zu reinigen, indem er die Signale des Lehrers versteht. Es klafft jedoch oft eine erhebliche Lücke zwischen dem, was der Lehrer beabsichtigt, und dem, was der Roboter tatsächlich versteht. Wenn ein Mensch denkt, der Roboter sei verwirrt, gibt er ihm vielleicht einen Hinweis, den der Roboter als Belohnung für eine völlig andere Handlung interpretiert. Um bessere Partnerschaften aufzubauen, müssen Wissenschaftler zuerst verstehen, wie Menschen den Verhalten eines Roboters Sinn verleihen, wenn sie nicht direkt mit ihm sprechen können.

Ein Forscherteam setzte sich zum Ziel, genau zu entschlüsseln, wie Menschen den Lernprozess eines Roboters interpretieren, wenn sie ihn lediglich beobachten. Sie waren nicht daran interessiert, wie ein Roboter mathematisch lernt, sondern vielmehr an der Geschichte, die ein menschlicher Beobachter sich selbst über das erzählt, was der Roboter gerade denkt. Um dies zu untersuchen, entwickelten sie eine neue Methode zur Untersuchung der menschlichen Wahrnehmung, die die Komplikation des aktiven Lehrens eliminierte. Anstatt die Menschen zu bitten, mit einem Roboter zu interagieren und Feedback zu geben, baten die Forscher sie stattdessen einfach, Videos von lernenden Robotern anzusehen und dann zu beschreiben, was sie im Inneren der Maschine vermuteten. Dieser Ansatz ermöglichte es den Wissenschaftlern, die rohen, ungefilterten Annahmen zu sehen, die Menschen treffen, wenn sie versuchen, einen künstlichen Lernenden zu verstehen.

In ihrer ersten Studie interviewten die Forscher neun Personen, die beobachteten, wie ein Roboter lernte, sich in einer gitterartigen Umgebung zu bewegen, dabei Löcher zu vermeiden und einen Ausgang zu finden. Die Teilnehmer wurden gebeten, ihre Gedanken laut auszusprechen, während sie den Roboter bei der Bewegung beobachteten. Die Forscher hörten auf Muster darin, wie die Beobachter die Handlungen des Roboters erklärten. Sie fanden heraus, dass die Menschen nicht nur zufällige Bewegungen sahen; sie konstruierten ein detailliertes mentales Modell des internen Lebens des Roboters. Dieses Modell fiel konsistent in vier Hauptkategorien. Erstens nahmen die Menschen an, dass der Roboter spezifische Ziele hatte, wie etwa den Ausgang so schnell wie möglich zu erreichen oder zu versuchen, nicht zu fallen. Zweitens glaubten sie, dass der Roboter Wissen sammelte, indem er sich merkte, welche Stellen gefährlich und welche sicher waren. Drittens dachten die Beobachter, der Roboter würde Entscheidungen treffen, Optionen abwägen und Pfade basierend auf einer Strategie wählen. Schließlich unterstellten sie dem Roboter einen Lernmechanismus, also eine Art, sein Verständnis basierend auf vergangenen Fehlern oder Erfolgen zu aktualisieren. Diese Ergebnisse deuteten darauf hin, dass Menschen dem Roboter ganz natürlich ein reiches, menschenähnliches Innenleben projizieren, um sein Verhalten verständlich zu machen.

Um diese ersten Ideen zu bestätigen und zu sehen, ob sie in komplexeren Situationen Bestand hatten, führten die Forscher eine zweite, größere Studie mit vierunddreißig Teilnehmern durch. Sie erweiterten das Experiment um zwei verschiedene Arten von Aufgaben und zwei verschiedene Arten von Lernalgorithmen. In einem Szenario lernte ein Roboter, einen Raum zu reinigen, indem er um Möbel herum navigierte und Schmutz aufnahm. In dem anderen Szenario lernte ein anderer Roboter, eine Medikamentenbox über einen Tisch zu einem Patienten zu schieben, der nicht danach greifen konnte. Die Roboter nutzten unterschiedliche Methoden, um zu lernen: Einer nutzte eine einfache, tabellenbasierte Methode durch Versuch und Irrtum, während der andere eine komplexere, kontinuierliche Methode nutzte, die der Art und Weise ähnelt, wie biologische Gehirne fließende Bewegungen verarbeiten könnten. Die Teilnehmer beobachteten Videos dieser Roboter in drei verschiedenen Stadien des Lernens: früh, mittel und spät. Nach jedem Video bewerteten sie, wie relevant die vier Themen Ziele, Wissen, Entscheidungsfindung und Lernmechanismen für das waren, was sie sahen.

Die Ergebnisse dieser größeren Studie bestätigten, dass die in der ersten Untersuchung identifizierten vier Themen nicht nur ein Zufall waren. Über beide Aufgaben – das Reinigen und das Schieben – hinweg und unabhängig von der komplexen Lernmethode, die der Roboter verwendete, stützten sich die Menschen konsistent auf diese vier Kategorien, um den Roboter zu begreifen. Die Forscher stellten fest, dass sich die Art und Weise, wie Menschen die Roboter beschrieben, änderte, sobald die Roboter ihre Aufgaben besser ausführten. In den frühen Stadien glaubten Beobachter oft, der Roboter fehle es an Wissen oder er würde lediglich raten. Mit der Verbesserung des Roboters änderten die Menschen ihre Sichtweise und glaubten, der Robkoter habe einen klaren Plan entwickelt und treffe bewusste Entscheidungen. Die Studie zeigte, dass das menschliche Verständnis nicht statisch ist; es entwickelt sich, während sich das Verhalten des Roboters ändert. Menschen sehen nicht bloß eine Maschine, die einem Code folgt; sie sehen einen Akteur, der lernt, sich erinnert und plant.

Die Forscher entdeckten auch, dass die Details dieser Annahmen recht fließend waren. Wenn Menschen beispielsweise über die Ziele des Roboters nachdachten, konzentrierten sie sich manchmal auf das Endergebnis, wie das Erreichen des Ausgangs, und ein andermal auf die Qualität der Bewegung, wie etwa effizientes Reinigen oder sicheres Bewegen. Ähnlich verhielt es sich bei der Betrachtung, wie der Roboter lernte: Manchmal stellten sich die Menschen vor, der Roboter lerne durch reine Exploration, während sie zu anderen Zeiten glaubten, er lerne durch Feedback oder durch logisches Schlussfolgern über das Problem. Diese Flexibilität deutet darauf hin, dass Menschen einen dynamischen Rahmen zur Interpretation von Robotern besitzen, den sie ständig anpassen, während sie den Roboter beobachten. Die Studie fand keine Belege dafür, dass der Hintergrund einer Person, etwa ob sie Kinder oder Haustiere hatte, diese grundlegenden Denkmuster veränderte.

Diese Arbeit verdeutlicht eine kritische Herausforderung für die Zukunft der Mensch-Roboter-Kollaboration. Da Menschen natürlicherweise davon ausgehen, dass Roboter Ziele, Wissen und Entscheidungsprozesse besitzen, die denen eigenen ähneln, besteht das Risiko, dass diese Annahmen falsch sind. Wenn ein Mensch glaubt, ein Roboter lerne durch logisches Schlussfolgern, während er in Wirklich-keit nur einer einfachen Regel folgt, könnte der Mensch Feedback geben, das die Maschine verwirrt. Die Forscher schlagen vor, dass für wirklich effektive Partner die Designer der Roboter diese menschlichen Annahmen verstehen müssen. Indem Ingenieure erkennen, dass Menschen unweigerlich einen menschenähnlichen Geist auf einen Roboter projizieren, können sie transparentere Systeme entwickeln. Sie können Roboter so konzipieren, dass sie ihren tatsächlichen Lernprozess auf eine Weise kommunizieren, die mit den menschlichen Erwartungen übereinstimmt, wodurch die Lücke zwischen dem, was der Roboter tut, und dem, was der Mensch glaubt, dass er tut, verringert wird. Diese Abstimmung ist essenziell, um die Art von hybrider Intelligenz aufzubauen, bei der Menschen und Maschinen wirklich zusammenarbeiten können, wobei jeder die Rolle des anderen in der gemeinsamen Aufgabe versteht.