Agent-X: Evaluating Deep Multimodal Reasoning in Vision-Centric Agentic Tasks
Dieser Beitrag stellt Agent-X vor, einen groß angelegten Benchmark mit 828 realen, multimodalen Aufgaben in sechs unterschiedlichen Umgebungen sowie ein fein abgestuftes Evaluierungsframework auf Ebene einzelner Schritte zur Bewertung tiefgreifenden Schlussfolgerns bei visuell zentrierten Agenten, das zeigt, dass aktuelle führende Modelle Schwierigkeiten haben, in komplexen, mehrstufigen Szenarien vollständige Erfolgsketten zu erzielen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben einen superintelligenten Roboter-Assistenten gebaut. Sie geben ihm eine Kamera, ein Gehirn und eine Werkzeugkiste voller Gadgets (wie eine Lupe, einen Taschenrechner oder einen Webbrowser). Sie bitten ihn, ein kniffliges Rätsel zu lösen, zum Beispiel: „Finden Sie den günstigsten Flug nach Paris, prüfen Sie das Wetter dort und sagen Sie mir, ob ich einen Regenschirm brauche."
Lange Zeit haben wir diese Roboter mit einfachen, künstlichen Rätseln getestet, die wie Videospielevels aussehen. Doch die reale Welt ist chaotisch, beinhaltet Videos und erfordert, dass der Roboter in mehreren Schritten denkt, nicht nur in einem.
Dann kommt Agent-X ins Spiel. Betrachten Sie dieses Papier als das Werk der Schöpfer eines neuen, unglaublich schwierigen „Hindernisparcours", der speziell entwickelt wurde, um zu testen, wie gut diese Roboter-Assistenten tiefgründig denken und ihre Werkzeuge in der realen Welt einsetzen können.
Hier ist die Aufschlüsselung dessen, was sie getan haben, unter Verwendung einiger alltäglicher Analogien:
1. Das Problem: Das „Videospielevel" vs. die „Reale Welt"
Frühere Tests waren so, als würde man einem Roboter ein Videospielevel geben, bei dem die Regeln an die Wand geschrieben sind: „Benutze den roten Schlüssel, um die blaue Tür zu öffnen." Der Roboter folgt einfach der Anweisung.
Aber im echten Leben sagt niemand Ihnen, welches Werkzeug Sie verwenden sollen. Sie sagen einfach: „Reparieren Sie den undichten Wasserhahn." Der Roboter muss herausfinden: Brauche ich einen Schraubenschlüssel? Muss ich ein Video-Tutorial suchen? Muss ich einen Klempner anrufen?
Die Autoren sagen, dass aktuelle Roboter wie Schüler sind, die hervorragend darin sind, Antworten für einen bestimmten Test auswendig zu lernen, aber einfrieren, wenn sie gebeten werden, ein Problem zu lösen, das sie noch nie gesehen haben. Sie haben Schwierigkeiten, mehrere Denkschritte zu verketten.
2. Die Lösung: Der „Agent-X"-Hindernisparcours
Das Team hat Agent-X entwickelt, eine riesige Sammlung von 828 realen Herausforderungen.
- Die Szenarien: Anstelle von künstlichen Bildern verwendeten sie echte Fotos, Videos und Screenshots aus sechs verschiedenen „Nachbarschaften" des Lebens:
- Fahren: Ein Video eines Autos ansehen und herausfinden, ob ein Fußgänger gleich die Straße überqueren wird.
- Überwachung: Sicherheitsaufnahmen ansehen, um eine verdächtige Person zu entdecken.
- Sport: Ein Spielvideo analysieren, um Spieler zu zählen oder den Gewinner vorherzusagen.
- Web-Browsing: Eine Website navigieren, um spezifische Informationen zu finden, ohne genau zu wissen, welche Buttons man klicken soll.
- Mathematik & Allgemeine Logik: Gleichungen lösen, die in Bildern zu finden sind, oder mehrere Bilder vergleichen.
- Die Wendung: Den Robotern wird keine Checkliste gegeben. Sie müssen das Bild ansehen, erkennen, was fehlt, das richtige Werkzeug aus ihrer Werkzeugkiste auswählen, es benutzen, das Ergebnis betrachten und dann entscheiden, was als Nächstes zu tun ist.
3. Der „Schiedsrichter": Wie die Roboter benotet werden
Dies ist der wichtigste Teil. Normalerweise prüfen wir nur, ob der Roboter die endgültige Antwort richtig hatte (wie ein Lehrer, der einen Mathe-Test korrigiert).
Agent-X führt einen schrittweisen Schiedsrichter ein. Stellen Sie sich einen Lehrer vor, der nicht nur die endgültige Antwort betrachtet, sondern das Kladdepapier des Schülers beobachtet.
- Haben sie das richtige Werkzeug gewählt? (z. B. Haben sie einen Taschenrechner statt einer Lupe benutzt?)
- Haben sie das Werkzeug korrekt verwendet? (z. B. Haben sie die Zahlen in der richtigen Reihenfolge eingegeben?)
- Hat ihre Logik Sinn ergeben? (z. B. Haben sie zu einer Schlussfolgerung gesprungen, ohne die Beweise zu betrachten?)
Wenn ein Roboter die richtige Antwort errät, aber dorthin gelangt ist, indem er halluzinierte (Dinge erfand) oder Schritte übersprang, gibt Agent-X ihm eine Durchfallnote. Das ist wie ein Koch, der einen köstlichen Kuchen backt, aber die falschen Zutaten verwendet hat; der Kuchen schmeckt gut, aber der Prozess war fehlerhaft.
4. Die Ergebnisse: Die Roboter lernen noch
Die Autoren testeten 12 der intelligentesten verfügbaren KI-Modelle (einschließlich großer Namen wie GPT-4, Gemini und Qwen).
Das Urteil: Selbst die „intelligentesten" Roboter haben Schwierigkeiten.
- Die Punktzahl: Die besten Modelle haben weniger als 50% der Aufgaben von Anfang bis Ende vollständig richtig gelöst.
- Die Engstelle: Die Roboter sind gut darin, das Bild zu sehen und darüber zu sprechen, aber sie sind schrecklich im Planen. Sie tun oft Folgendes falsch:
- Sie vergessen, ein benötigtes Werkzeug zu benutzen.
- Sie benutzen ein Werkzeug, das sie nicht haben (sie halluzinieren ein Werkzeug, das nicht existiert).
- Sie geraten in Verwirrung, wenn sie ein Video ansehen und verfolgen müssen, was im Laufe der Zeit passiert.
- Sie verderben das Format ihrer Antworten (z. B. indem sie einen Brief schreiben, anstatt ein Formular auszufüllen).
5. Das Fazit
Das Papier kommt zu dem Schluss, dass diese KI-Agenten zwar beeindruckend sind, aber noch nicht bereit sind, vollständig autonome Arbeiter zu sein. Sie sind wie ein brillanter Praktikant, der viele Fakten kennt, aber ständige Aufsicht benötigt, um herauszufinden, wie die Arbeit zu erledigen ist.
Die Autoren haben Agent-X als einen „Stresstest" entwickelt, der uns genau zeigt, wo diese Roboter versagen, damit Forscher die spezifischen Teile ihrer „Gehirne" beheben können, die für Planung und Werkzeugeinsatz zuständig sind. Sie fragen nicht nur: „Können Sie diese Frage beantworten?" Sie fragen: „Können Sie Ihren Weg durch dieses Problem denken?" und bisher lautet die Antwort: „Noch nicht ganz."
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.