Stellen Sie sich vor, Sie bringen einem Roboter bei, ein hilfreicher Führer in einem riesigen, unbekannten Haus zu sein. Um dies zu tun, muss der Roboter eine mentale Karte des Ortes aufbauen, aber er muss auch verstehen, was die Dinge sind. Dies ist die Welt der Robotik und künstlichen Intelligenz, speziell ein Bereich namens sprachgesteuerte Navigation (language-guided navigation). Die große Herausforderung hierbei ist das „Open-Vocabulary“-Verständnis: Anstatt nur eine feste Liste von Dingen wie „Stuhl“ oder „Tisch“ zu erkennen (wie ein Kind, das aus einem Kartenset lernt), muss der Roboter jede Beschreibung verstehen, die ein Mensch geben könnte, wie etwa „das seltsame rote Ding am Fenster“ oder „der Feuerlöscher“.

Damit ein Roboter erfolgreich ist, muss er diese Wörter mit physischen Objekten in der realen Welt verknüpfen. Das kann jedoch schwierig sein, wenn man ein Objekt aus verschiedenen Blickwinkeln sieht. Ein Stuhl kann von vorne wie ein „Sitz“, von der Seite wie eine „Rückenlehne“ oder wie ein „unordentlicher Haufen Stoff“ aussehen, wenn er mit Kleidung bedeckt ist. Wenn der Roboter zu früh ein Urteil fällt – also entscheidet: „Das ist definitiv ein Stuhl“, basierend auf nur einem flüchtigen Blick – könnte er andere nützliche Hinweise wegwerfen, die ihm später helfen könnten. Diese Arbeit befasst sich mit der Frage, wie Roboter diese Erinnerungen speichern sollten: Sollten sie sofort eine einzige Antwort festlegen oder sollten sie eine Sammlung aller verschiedenen Beschreibungen aufbewahren, die sie gehört haben, und warten, bis sie sie tatsächlich benötigen, um zu entscheiden?

Die Geschichte der Arbeit: Das „Notizbuch“ des Roboters vs. sein „Endurteil“

Die Autoren dieser Arbeit, die an einem System namens OpenBelief-Nav arbeiten, argumentieren, dass die meisten Roboter zu eifrig darin sind, sich festzulegen. Sie schlagen eine neue Art vor, wie Roboter Objekte erinnern: Anstatt sich in dem Moment, in dem sie ein Objekt sehen, auf ein einzelnes Label wie „Küchentisch“ festzulegen, sollte der Roboter ein Notizbuch der Beweise führen.

Denken Sie an einen Detektiv, der einen Fall löst. Auf dem alten Weg sieht der Detektiv einen Verdächtigen, entscheidet sofort: „Das ist der Dieb!“ und sperrt ihn in eine Zelle. Wenn der Detektiv falsch lag, ist der Fall ruiniert. Im OpenBelief-Nav-Ansatz führt der Detektiv eine Akte über den Verdächtigen. In der Akte schreibt er jede Zeugenaussage auf: „Er sah aus wie ein großer Mann“, „Er trug einen blauen Hut“, „Vielleicht war er klein?“ Der Detektiv legt sich noch nicht auf eine endgültige Identität fest. Er bewahrt einfach alle Hinweise sicher auf.

So funktioniert es im Gehirn des Roboters:

1. Das Beweis-Notizbuch: Während sich der Roboter durch einen Raum bewegt, macht er Fotos und nutzt eine intelligente KI, um zu erraten, welche Objekte er sieht. Anstatt nur zu speichern „Dies ist eine Lampe“, speichert er den spezifischen Begriff, den die KI verwendet hat, wie sicher sich die KI war und aus welchem Foto genau dieser Begriff stammt. Er bewahrt auch eine allgemeine „visuelle Zusammenfassung“ davon auf, wie das Objekt ausserausieht.
2. Das Abwarten: Der Roboter baut eine Karte des Hauses mit diesen „Beweis-Notizbüchern“ für jedes Objekt auf. Er erzwingt nicht, dass das Objekt nur eine einzige Sache ist. Er lässt die Möglichkeit offen, dass das Objekt eine „Lampe“, eine „Lichtquelle“ oder sogar ein „gruseliges Monster“ (falls die KI verwirrt war) sein könnte, je nachdem, wonach der Mensch später fragt.
3. Die Entscheidung zum Zeitpunkt der Aufgabe: Erst wenn ein Mensch einen Befehl gibt, wie „Finde den Feuerlöscher“, öffnet der Roboter die Notizbücher. Er sieht sich alle gespeicherten Hinweise an und fragt: „Welches dieser Objekte passt am besten zur Beschreibung 'Feuerlöscher'?“ Da er alle Hinweise aufbewahrt hat, kann er eine viel intelligentere Wahl treffen als ein Roboter, der die Hinweise früher weggeworfen hat.

Was sie herausgefunden haben: Offene Optionen zu halten, gewinnt

Die Forscher testeten diese Idee auf zwei Arten: in Computer-Simulationen von 3D-Räumen und auf einem echten, laufenden Roboter namens Unitree G1.

1. Besser im Benennen von Dingen (Segmentierung)
Als die Aufgabe darin bestand, jedes Objekt in einem Raum zu identifizieren und zu benennen (wie ein Spiel von „Ich sehe was, was du nicht siehst“ für einen Computer), machte der Roboter, der all seine Beweise behielt (genannt Full-Belief), die beste Arbeit.

• Auf einem Datensatz namens ScanNet200 erreichte die neue Methode einen Wert von 0,2742 und schlug damit die alte „Early-Commit“-Methode, die nur 0,2393 erreichte.
• In Replica-Szenen erzielte die neue Methode 0,2912, verglichen mit 0,2701 für die alte Methode.
• Die Lektion: Indem der Roboter keine Minderheitenmeinungen wegwarf (wie eine zweite Vermutung, dass ein Objekt etwas anderes sein könnte), konnte er häufiger die richtige Bezeichnung finden.

2. Besser im Finden von Dingen (Navigation)
Als die Aufgabe darin bestand, tatsächlich basierend auf einem Satz zu einem Objekt zu laufen, waren die Ergebnisse etwas nuancierter. Der Roboter nutzte verschiedene Strategien, um seine „Notizbücher“ zu lesen.

• In 78 Navigationsversuchen in einer simulierten Welt (HM3D-YCB) funktionierten zwei Strategien am besten: Consensus (das Mitteln aller Hinweise) und Early-Commit (die Auswahl der besten Vermutung unmittelbar). Beide waren in 60 von 78 Versuchen erfolgreich.
• Interessanterweise war die „Full-Belief“-Strategie (die Verwendung aller gewichteten Hinweise) in 58 von 78 Versuchen erfolgreich.
• Die Lektion: Manchmal kann es bei der Navigation etwas verwirrend sein, zu viele Optionen zu haben, aber die Arbeit zeigt, dass verschiedene Aufgaben unterschiedliche Wege des Abrufens der Erinnerung erfordern. Der entscheidende Punkt ist, dass der Speicher selbst flexibel genug war, um beides zu unterstützen.

3. Die „Ups, das war's nicht“-Korrektur
Der coolste Teil der Arbeit ist, wie der Roboter mit Fehlern umgeht. Stellen Sie sich vor, der Robot denkt, er habe den Feuerlöscher gefunden, aber als er dort ankommt, sieht er einen roten Hydranten.

• Alte Roboter könnten stecken bleiben oder aufgeben.
• OpenBelief-Nav besitzt eine spezielle „Korrekturschleife“. Es sagt: „Okay, dieser Kandidat war es nicht. Ich streiche diese spezifische Vermutung für diese spezifische Frage von meiner Liste, aber ich lösche das Objekt nicht aus meiner Karte.“ Dann sucht es nach den verbleibenden Kandidaten und versucht es erneut.
• In 20 realen Durchläufen auf dem Unitree G1-Roboter half diese Korrekturpolitik dem Roboter, das richtige Ziel in 8 von 10 Fällen zu bestätigen. Oh\ne die Korrektur (nur die erste Vermutung zu versuchen), gelang ihm dies in 6 von 10 Fällen.
• Die Lektion: Der Roboter kann sich von einer schlechten Vermutung erholen, ohne seine Karte zu beschädigen oder die ursprüngliche Anweisung zu vergessen.

Das Fazit

Die Arbeit legt nahe, dass Roboter nicht so schnell die Welt etikettieren sollten. Indem sie einen „Glauben“ (Belief) bewahren, der alle verschiedenen Beschreibungen und Hinweise sammelt, die sie gesammelt haben, können Roboter präziser bei der Identifizierung von Objekten und widerstandsfähiger sein, wenn sie einen Fehler machen. Es ist wie der Unterschied zwischen einem Schüler, der nur einen Lösungsschlüssel auswendig lernt, und einem Schüler, der ein vollständiges Notizbuch mit Forschungsnotizen führt; wenn sich die Testfrage ändert, ist der Schüler mit den Notizen viel wahrscheinlicher in der Lage, die richtige Antwort zu finden.

Die Autoren weisen vorsichtig darauf hin, dass dies eine Pilotstudie ist. Sie haben sie auf spezifischen Datensätzen und in einer begrenzten Anzahl von realen Durchläufen getestet. Sie behaupten nicht, dass dies alle Navigationsprobleme von Robotern für immer löst, aber sie haben gezeigt, dass das Aufschieben der endgültigen Entscheidung, bis der Roboter tatsächlich handeln muss, zu einer besseren Leistung sowohl bei der Identifizierung von Objekten als auch beim Finden von ihnen in der realen Welt führt.