Stellen Sie sich vor, Sie gehen durch einen Raum voller zufälliger Objekte: eine Paprika, ein Schuh, eine Lampe und ein ausgehöhlter Stein. Ein Mensch sieht nicht einfach nur ein „rotes Ding“ oder ein „glänzendes Ding“. Er weiß sofort, dass die Paprika Wasser halten könnte, der Schuh ein Hammer sein könnte und der Stein ein Sitzplatz sein kann. Diese Superkraft nennt man Affordanz-Argumentation (Affordance Reasoning). Es ist die Fähigkeit, ein Objekt anzusehen und zu verstehen, was man damit tun kann, basierend darauf, wie es aussieht und sich anfühlt. Damit Roboter in unserer unordentlichen, realen Welt nützlich sein können – etwa um ein Sandwich zu machen oder ein Zimmer zu reinigen – benötigen sie dieselbe Superkraft. Sie können nicht einfach angewiesen werden: „Nimm den Becher auf.“ Sie müssen herausfinden: „Oh, das dort drüben ist ein Becher, also kann ich ihn benutzen, um Wasser zu trinken“, selbst wenn der Becher halb versteckt ist oder etwas seltsam aussieht.

Das große Problem ist, dass die Gehirne aktueller Roboter entweder zu dumm sind, um dies von selbst herauszufinden, oder so riesig und komplex (wie gigantische KI-Modelle), dass sie nicht in den Kopf eines Roboters passen, um schnell zu laufen. Sie sind entweder zu verwirrt durch die Wörter oder brauchen zu lange zum Nachdenken. Dieses Paper stellt eine neue Lösung namens Afford-X vor. Denken Sie an Afford-X als ein „smartes, schlankes Robotergehirn“, das speziell darauf trainiert wurde, ein Bild und eine Aufgabe (wie „trockne deinen Körper“) zu betrachten und sofort auf das beste Werkzeug (ein Handtuch) zu zeigen, während es Ablenkungen ignoriert. Es ist so konzipiert, dass es klein genug ist, um auf einem lokalen Computer zu laufen, schnell genug, um in Echtzeit zu arbeiten, und klug genug, um neue Situationen zu bewältigen, die es noch nie gesehen hat.

Das Problem: Roboter, die sich durch Substantive ablenken lassen

Um zu verstehen, warum dieses Paper eine große Sache ist, stellen Sie sich vor, Sie spielen eine Runde „Simon sagt“ mit einem Roboter. Sie sagen: „Reinige die Flasche mit etwas.“ Ein Standardroboter betrachtet vielleicht das Bild, sieht eine glänzende Flasche und greift sofort nach der Flasche. Er scheitert, weil er beim Substantiv „Flasche“ hängengeblieben ist, anstatt die Aktion „reinigen“ zu verstehen. Er denkt, die Flasche sei das Werkzeug, nicht das Objekt, das gereinigt wird. Es ist wie ein Schüler, der das Wort „Apfel“ in einer Matheaufgabe über Obstsalat liest und dann vergisst, tatsächlich die Mathematik zu lösen.

Aktuelle KI-Modelle sind oft zu groß, um auf dem lokalen Computer eines Roboters zu laufen (sie benötigen massive Server), und die kleineren Modelle sind oft zu dumm, um den Unterschied zwischen einem Werkzeug und einem Zielobjekt zu verstehen. Ihnen fehlt der „gesunde Menschenverstand“, um zu wissen, dass eine Serviette eine Flasche reinigt, aber eine Flasche sich nicht selbst reinigt.

Die Lösung: Afford-X und der „Lehrer-Schüler-Trick“

Die Autoren haben ein neues System namens Afford-X entwickelt. Es ist wie ein „schlankes“ KI-Modell, das auf ein lokales Gerät passt, aber überraschend intelligent ist. Um es intelligent zu machen, ohne es riesig zu machen, haben sie einen cleveren Trainings-Trick namens Knowledge Distillation (Wissensdestillation) verwendet.

Stellen Sie sich einen Meisterkoch (den Lehrer) vor, der genau weiß, wie man eine perfekte Mahlzeit kocht. Der Koch kennt die Namen jedes einzelnen Zutaten (wie „Couch“ oder „Tasse“). Nun stellen Sie sich einen Schülerkoch (den Schüler) vor, der versucht zu lernen, aber noch nicht die spezifischen Namen der Zutaten kennen darf; er kennt nur Anweisungen wie „setze dich bequem auf etwas“.

Die Methode der Autoren funktioniert so:

1. Der Lehrer lernt unter Verwendung spezifischer Namen (z. B. „setze dich auf eine Couch“).
2. Der Schüler lernt unter Verwendung vager Wörter (z. B. „setze dich auf etwas“).
3. Der Lehrer sagt dem Schüler nicht nur die Antwort, sondern zeigt ihm, wie er denken soll. Er sagt: „Wenn du diese Form siehst und das Wort ‚sitzen‘ hörst, denke an eine ‚Couch‘, auch wenn du das Wort noch nicht kennst.“

Dies ermöglicht es dem Schüler (dem endgültigen Robotermodell), das Konzept eines Werkzeugs zu verstehen, ohne eine riesige Datenbank mit jedem einzelnen Objektnamen zu benötigen. Er lernt das „Gefühl“ des richtigen Objekts.

Das Geheimrezept: Verb Attention und Bi-Fusion

Um sicherzustellen, dass der Roboter sich auf die Aktion und nicht nur auf das Objekt konzentriert, haben die Autoren zwei spezielle Werkzeuge in das KI-Gehirn eingebaut:

• Verb Attention (VA): Dies ist wie ein Textmarker für Verben. Wenn der Roboter „reinige die Flasche“ liest, leuchtet das VA-Modul das Wort „reinige“ hell an. Es sagt dem Roboter: „Hey, schau nicht nur auf die Flasche! Suche nach etwas, das reinigt!“ Dies verhindert, dass der Robbot durch das offensichtlichste Objekt im Bild abgelenkt wird.
• Bi-Fusion (BF): Dies ist ein Dialog in beide Richtungen zwischen den Augen des Roboters (Vision) und seinem Gehirn (Sprache). Anstatt das Bild und die Wörter einfach nur zusammenzukleben, ermöglicht dieses Modul, dass sie miteinander kommunizieren. Die Augen sagen: „Ich sehe etwas Weiches, Rechteckiges“, und das Gehirn sagt: „Das klingt nach einem Handtuch zum Abtrocknen.“ Sie kombinieren ihre Notizen, um eine perfekte Entscheidung zu treffen.

Das Trainingsgelände: LVIS-Aff und COCO-Aff

Man kann einen Roboter nicht dazu bringen, klug zu sein, ohne ihm eine riesige Bibliothek an Beispielen zu geben. Die Autoren haben zwei riesige neue Datensätze erstellt, die COCO-Aff und LVIS-Aff heißen.

Betrachten Sie diese als massive „Übungsprüfungen“ für Roboter. Anstatt nur ein Bild einer Tasse zu zeigen und zu fragen „Was ist das?“, zeigen diese Datensätze ein Bild und eine Aufgabe wie „trinke Wasser mit“, und der Roboter muss die Tasse finden.

• COCO-Aff umfasst etwa 112.000 Bilder und 1.144 verschiedene Aufgaben.
• LVIS-Aff ist noch größer, mit 119.000 Bildern und 1.496 Aufgaben, die über 1.000 verschiedene Arten von Objekten abdeckt.

Sie nutzten eine riesige KI (GPT-4), um diese Übungsfragen automatisch zu schreiben und dabei sicherzustellen, dass die Antworten Sinn ergeben. Dies gab dem Roboter eine viel breitere Palette an Erfahrungen, um daraus zu lernen, was ihm half, neue, seltsame Situationen besser zu bewältigen als zuvor.

Die Ergebnisse: Schnell, klein und präzise

Die Autoren testeten Afford-X in simulierten Roboterwelten (unter Verwendung einer virtuellen Umgebung, die wie ein echtes Zimmer aussieht). Hier ist das, was sie herausfanden:

• Geschwindigkeit: Afford-X ist unglaublich schnell. Es kann Bilder mit 2,38 Bildern pro Sekunde (FPS) verarbeiten. Um das einzuordnen: Es ist fast 50 Mal schneller, als eine riesige Cloud-basierte KI (wie GPT-4V) dieselbe Aufgabe erledigen zu lassen.
• Größe: Das Modell ist sehr klein, mit nur 187 Millionen Parametern. Das bedeutet, dass es auf einem lokalen Computer laufen kann, ohne dass ein massiver Serverfarm benötigt wird.
• Genauigkeit: In Tests verbesserte Afford-X die Leistung um 12,1 % im Vergleich zu den besten bisherigen Methoden, die keine riesigen KI-Modelle verwendeten. Es übertraf auch die eigene vorherige Arbeit der Autoren um 1,2 %.
• Generalisierung: Als der Roboter mit Aufgaben konfrontiert wurde, die er noch nie gesehen hatte (unter Verwendung von Objekten, die er nicht kannte), schnitt er dennoch gut ab. Zum Beispiel verbesserte er seine Genauigkeit bei neuen Aufgaben um etwa 24 % im Vergleich zu Modellen, die auf kleineren Datensätzen trainiert wurden.

Ein Tag im Leben eines Roboters

Um zu beweisen, dass es funktioniert, setzten die Autoren Afford-X auf einen simulierten Roboterarm. Sie gaben ihm eine Aufgabe wie „trinke Wasser mit“.

1. Der Roboter betrachtete einen unordentlichen Tisch mit einer Flasche, einem Glas, einer Tasse und einem Löffel.
2. Afford-X identifizierte sofort die Tasse als das beste Werkzeug und ignorierte die Flasche (die zum Halten gedacht ist, nicht zum direkten Trinken) und den Löffel.
3. Der Roboter plante dann seine Bewegung und griff erfolgreich nach der Tasse.

In einem komplexen Test, bei dem der Roboter die Aufgabe „einen Arbeitsplatz aufbauen“ hatte, unterteilte das System die große Aufgabe in kleinere Schritte (finde einen Tisch, finde einen Stuhl, finde eine Lampe) und führte sie nacheinander aus. In diesen Simulationen gelang es dem Roboter, das richtige Objekt in 86 % der Fälle zu finden, und er konnte es in 45 % der Fälle erfolgreich zu greifen. (Die Fehler traten meistens auf, weil der Roboterarm Schwierigkeiten hatte, dünne, flache Dinge wie Löffel zu halten, und nicht, weil er das falsche Objekt ausgewählt hatte).

Warum das wichtig ist

Dieses Paper zeigt, dass man keine riesige, langsame Cloud-basierte KI braucht, um einem Roboter gesunden Menschenverstand zu geben. Durch die Verwendung eines smarten, schlanken Modells, das mit den richtigen Daten trainiert wurde, können Roboter Werkzeuge in der realen Welt schnell und effizient einsetzen. Dies ist ein entscheidender Schritt hin zu Robotern, die uns tatsächlich in unseren Häusern und Arbeitsplätzen helfen können, anstatt nur in einem Labor festzusitzen und darauf zu warten, dass ein Supercomputer ihnen sagt, was zu tun ist.

Die Autoren geben zu, dass der Roboter in sehr kniffligen Situationen noch etwas kämpft, wie etwa beim Unterscheiden zwischen einer Tasse und einem Zahnbürstenhalter, wenn sie exakt gleich aussehen, oder beim Umgang mit Objekten, die hinter anderen verborgen sind. Aber für den Moment beweist Afford-X, dass ein kleines, schnelles und intelligentes Robotergehirn möglich ist.