Zero-shot 2D Grounding with Novel Affordance Types

Stellen Sie sich vor, Sie bringen einem Roboter bei, wie er mit der Welt interagiert. Sie können dem Roboter sagen, wie ein „Messer“ aussieht, und er kann eines in einem Bild finden. Aber zu wissen, was ein Messer ist, ist nicht dasselbe wie zu wissen, was man damit tun kann. Dies ist der Unterschied zwischen Objekterkennung und „Affordanz“ (Affordance). Affordanz ist ein schickes Wort für die verborgenen Hinweise, die uns ein Objekt darüber gibt, wie man es benutzt. Ein Griff an einer Tasse „bietet die Möglichkeit“ (affords) zum Greifen; die flache Seite eines Messers „bietet die Möglichkeit“ zum Schneiden; die Schale einer Orange „bietet die Möglichkeit“ zum Schälen. Damit Roboter in unseren unordentlichen, realen Küchen und Wohnzimmern wirklich hilfreich sein können, müssen sie diese Handlungen verstehen, nicht nur die Objekte.

Die große Herausforderung bestand darin, dass die meisten Robotergehirne trainiert wurden wie Schüler, die nur für eine ganz bestimmte Prüfung lernen. Wenn ein Roboter lernt, wie man einen Apfel „schneidet“, könnte er verwirrt sein, wenn er gebeten wird, eine Tomate zu „schneiden“, oder er wüsste vielleicht nicht, wie man eine Banane „schält“, wenn er diese spezifische Handlung noch nie gesehen hat. Es ist wie ein Schüler, der die Antworten auf ein Matheblatt auswendig lernt, aber erstarrt, wenn der Lehrer eine ähnliche Frage mit anderen Zahlen stellt. Wissenschaftler haben versucht, Roboter zu bauen, die solche neuen, ungesehenen Anweisungen bewältigen können, aber bis jetzt lag der Fokus hauptsächlich darauf, ihnen etwas über neue Objekte beizubringen, nicht über neue Handlungen.

Dieses Paper stellt einen neuen Weg vor, wie man Robotern beibringt, mit „neuartigen Affordanz-Typen“ umzugehen – im Gruere: mit neuen Arten, Dinge zu benutzen, die sie zuvor nie explizit gelernt haben. Die Forscher Haomeng Zhang und Raymond A. Yeh von der Purdue University stellten fest, dass bestehende KI-Modelle sehr gut darin sind, neue Objekte zu finden, aber schrecklich darin, neue Handlungen zu ergründen. Sie entwickelten eine neue Reihe von Herausforderungen (Benchmarks), um genau diese Fähigkeit zu testen. Sie fanden heraus, dass die derzeitigen State-of-the-Art-Modelle, die sehr intelligent im Erkennen von Objekten sind, völlig versagen, wenn man sie fragt, die richtige Stelle zu finden, um etwas zu „schälen“ oder darauf zu „sitzen“, falls diese spezifischen Handlungen nicht in ihren Trainingsdaten enthalten waren.

Um dies zu beheben, entwickelte das Team ein neues System namens AffordAnything. Denken Sie an es als einen Detektiv, der nicht nur das ganze Bild betrachtet, sondern in winzige Hinweise hineinzoomt. Das System erkennt, dass der Ort, an dem man mit einem Objekt interagiert, meist ein spezifischer Teil davon ist (wie der Griff einer Tasse oder die Kante eines Buches). Anstatt zu versuchen, jede mögliche Handlung auswendig zu lernen, nutzt dieses System ein leistungsstarkes, vortrainiertes KI-Modell (ein Visual Language Model), um das Objekt in kleine Patches (Teilstücke) zu zerlegen und herauszufinden, welcher Patch zum Aktionswort passt. Wenn Sie beispielsweise „schneiden“ sagen, sucht es nach der scharfen Kante; wenn Sie „halten“ sagen, sucht es nach dem Griff.

Die Forscher testeten zwei Versionen. Die erste, AffordAnything, ist eine „trainingsfreie“ Version, was bedeutet, dass sie direkt einsatzbereit ist, ohne neu trainiert werden zu müssen. Sie schnitt bereits signifikant besser ab als bestehende Methoden. Die zweite Version, AffordAnything+, ist ein „trainierbares“ Upgrade, das lernt, diese Hinweise mit nur ein wenig Übung noch besser miteinander zu kombinieren. In ihren neuen Testsets verbesserte dieses verbesserte Modell die Genauigkeit beim Finden der richtigen Stelle um 12,3 % (gemessen als absoluter Anstieg des IoU@0.4) im Vergleich zur besten bisherigen Methode.

Das Paper argumentiert explizit gegen die Vorstellung, dass es ausreicht, einfach nur größere, intelligentere KI-Modelle zu verwenden oder lediglich Objekte zu erkennen. Sie zeigten, dass selbst die fortschrittlichsten Modelle scheitern, wenn die Handlung neu ist. Sie demonstrierten auch, dass diese Modelle zwar ein „Messer“ erkennen können, aber nicht automatisch wissen, wie man damit „schält“, sofern sie nicht speziell darauf ausgelegt sind, die Beziehung zwischen der Aktion und der Form des Objekts zu betrachten. Die Ergebnisse legen nahe, dass wir, um Roboter wirklich anpassungsfähig zu machen, aufhören müssen, ihnen eine feste Liste von Handlungen beizubringen, und stattdend lernen müssen, wie sie über die Teile eines Objekts schlussfolgern, die eine Handlung erst möglich machen. Die Autoren hoffen, dass dieser neue Weg, solche Systeme zu testen und aufzubauen, Robotern helfen wird, flexibler und bereit für die reale Welt zu werden, in der Anweisungen sich ständig ändern.