Reproducible Multimodal Affordance Prediction

Stellen Sie sich einen Roboter vor, der nach einer Kaffeetasse auf einer überfüllten Küchenarbeitsplatte greift. Um erfolgreich zu sein, muss die Maschine mehr tun, als das Objekt lediglich zu sehen; sie muss verstehen, was man damit tun kann. Sie muss wissen, dass der Griff dazu gedacht ist, gegriffen zu werden, dass der Rand sicher zu berühren ist und dass der Boden stabil genug zum Anheben ist. In der Welt der Robotik und der künstlichen Intelligenz wird dieses Verständnis potenzieller Handlungen als „Affordanz“ (Handlungsmöglichkeit) bezeichnet. Sie ist die Brücke zwischen dem Sehen eines Objekts und dem Wissen, wie man mit ihm interagiert. Damit Roboter sicher neben Menschen in unstrukturierten Umgebungen – wie Haushalten oder Krankenhäusern – arbeiten können, müssen sie diese Handlungen zuverlässig vorhersagen können, selbst wenn Objekte teilweise verdeckt sind, sich die Lichtverhältnisse ändern oder der Roboter selbst etwas hält. Doch trotz der Bedeutung dieser Fähigkeit ist das Feld kaum vorangekommen, weil Forscher unterschiedliche Sprachen gesprochen, unterschiedliche Werkzeuge verwendet und die Blaupausen ihrer Arbeit nicht geteilt haben.

Ein Team von Forschern aus Italien und der Schweiz hat festgestellt, dass der aktuelle Stand der Affordanz-Vorhersage fragmentiert und schwer zu verifizieren ist. Sie fanden heraus, dass viele Wissenschaftler zwar Modelle entwickeln, um Maschinen beizubringen, wie sie mit Objekten interagieren, diese Modelle jedoch oft nicht fair miteinander vergleichbar sind. Ein Forscher definiert das Problem vielleicht als das Finden des exakten Punktes, um ein Objekt zu greifen, während ein anderer es als die Vorhersage der Form einer menschlichen Hand definiert, die es halten würde. Sie verwenden unterschiedliche Datensätze, von denen einige synthetisch und andere real sind, und sie teilen oft weder den Code noch die spezifischen Einstellungen, die sie zum Trainieren ihrer Systeme verwendet haben. Dieser Mangel an Transparenz führt dazu, dass ein Modell in einem Laborbericht zwar gut erscheinen mag, aber in einem realen Szenario völlig versagt – oder noch schlimmer: Es könnte für andere Wissenschaftler unmöglich sein, überhaupt festzustellen, ob die Ergebnisse korrekt erzielt wurden. Die Autoren argumentieren, dass ohne eine standardisierte Art und Weise, wie diese Systeme aufgebaut und getestet werden, der Fortschritt stagniert und die Sicherheit der Mensch-Roboter-Kollaboration ungewiss bleibt.

Um dies zu lösen, führten die Forscher ein neues Dokumentationswerkzeug namens „Affordance Sheet“ (Affordanz-Blatt) ein. Betrachten Sie dies als einen detaillierten Reisepass für ein Modell der künstlichen Intelligenz. Genau wie ein Reisepass den Namen, die Nationalität und die Reisehistorie einer Person auflistet, führt ein Affordance Sheet exakt auf, wozu ein Modell konzipiert ist, von welchen Daten es gelernt hat, wie es trainiert wurde und wie es getestet wurde. Die Autoren haben diese Vorlage erstellt, um Transparenz zu erzwingen. Sie verlangt von den Forschern, die Art der Eingabe anzugeben, die das Modell verwendet, wie etwa Bilder, Sprache oder 3D-Punktwolken, und zu deklarieren, ob ein Mensch im Szenario anwesend ist. Entscheidend ist, dass die Ersteller verpflichtet werden, Links zu ihrem Code, den verwendeten Datensätzen und den spezifischen Regeln bereitzustellen, denen sie während des Trainings gefolgt sind, wie etwa wie sie Bilder skaliert oder die Lernrate angepasst haben. Indem ein Forscher dieses Blatt ausfüllt, macht er seine Arbeit für eine Inspektion zugänglich und ermöglicht es anderen, die Ergebnisse zu verifizieren oder darauf aufzubauen, ohne die fehlenden Details erraten zu müssen.

Das Team testete die Wirksamkeit dieses neuen Standards, indem es ihn auf vier bestehende, hochkarätige Modelle auf dem Gebiet anwandte. Als sie versuchten, die Blätter für diese Modelle auszufüllen, traten die Lücken in der ursprünglichen Forschung offensichtlich zutage. Einige Modelle verfügten über keinen verfügbaren Code, während andere zwar Code, aber keine trainierten Gewichte hatten, was es unmöglich machte, sie erneut auszuführen. Mehrere Studien ließen offen, wie sie ihre Daten für Tests aufteilten, was unklar ließ, ob die Ergebnisse echt waren oder ob das Modell einfach nur die Antworten auswendig gelernt hatte. In einem Fall behauptete ein Modell, bei realen Objekten zu funktionieren, doch das Sheet enthüllte, dass es nur mit synthetischen Bildern getestet worden war, die von einem Computer generiert wurden. In einem anderen Fall mussten die Forscher die Trainingseinstellungen erraten, da das Originalpapier diese weggelassen hatte. Diese Inkonsistenzen bedeuteten, dass die Modelle nicht fair verglichen werden konnten; eines könnte schlichtweg deshalb besser aussehen, weil es unter leichteren Bedingungen oder mit besserer Datenaufbereitung getestet wurde, nicht weil es intelligenter war.

Die Untersuchung verdeutlichte auch eine kritische Lücke in der Validierung dieser Systeme. Die meisten Modelle werden in kontrollierten Laborumgebungen getestet, in denen Objekte perfekt unbeweglich auf einem Tisch unter hellem Licht stehen. Die Affordance Sheets zeigten jedoch, dass sehr wenige dieser Modelle jemals an echten Robotern getestet wurden, die mit echten Menschen in unordentlichen, unvorhersehbaren Umgebungen interagieren. Die Forscher betonten, dass ein Roboter, um sicher zu sein, bewiesen haben muss, wie er mit Okklusionen umgeht – also wenn eine Hand oder ein anderes Objekt die Sicht blockiert – und wie er auf Objekte generalisiert, die er noch nie zuvor gesehen hat. Der derzeitige Mangel an solchen Tests bedeutet, dass viele vielversprechende Systeme rein theoretischer Natur bleiben. Die Autoren stellten fest, dass nur eine geringe Anzahl der untersuchten Modelle einen Abschnitt über Sicherheit enthielt oder beschrieb, wie sie sich verhalten würden, wenn ein Mensch in der Nähe wäre, was ein großes Problem für den zukünftigen Einsatz darstellt.

Mit dem Vorschlag des Affordance Sheets bitten die Forscher nicht nur um bessere Dokumentation; sie rufen zu einem kulturellen Wandel in der Art und Weise auf, wie die Forschung im Bereich der künstlichen Intelligenz betrieben wird. Sie schlagen vor, dass das Feld sich von isolierten Experimenten weg und hin zu einer Kultur der Open Science bewegen muss, in der Methoden reproduzierbar und Vergleiche fair sind. Das Werkzeug ist so konzipiert, dass es flexibel ist und an neue Arten von Modellen und Aufgaben über die Affordanz-Vorhersage hinaus angepasst werden kann. Das ultimative Ziel ist es, sicherzustellen, dass die Fähigkeit eines Roboters, mit der Welt zu interagieren, wenn er schließlich eingesetzt wird, kein Mysterium ist, sondern eine verifizierte, zuverlässige und sichere Kapazität darstellt. Das Paper schließt mit dem Hinweis, dass das Feld ohne dieses Maß an Transparenz Gefahr läuft, Systeme zu entwickeln, die auf dem Papier gut aussehen, in der realen Welt jedoch nicht vertrauenswürdig sind.