EgoBench: An Interactive Egocentric Multimodal Benchmark for Tool-Using Agents
EgoBench führt den ersten interaktiven multimodalen Benchmark für Tool-verwendende Agenten ein, der 1.045 egozentrische Videoaufgaben und eine simulierte Benutzerumgebung umfasst, um die Synergie von Wahrnehmung, Schlussfolgerung und dynamischer Interaktion rigoros zu bewerten, und zeigt, dass aktuelle State-of-the-Art-Modelle mit diesen komplexen Fähigkeiten erheblich Schwierigkeiten haben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Roboterbutler beizubringen, Ihnen beim Kochen des Abendessens oder beim Einkaufen von Lebensmitteln zu helfen, während Sie eine Kamera auf Ihrem Kopf tragen. Sie möchten, dass der Roboter nicht nur sieht, was Sie tun, sondern auch überlegt, was als Nächstes zu tun ist, Werkzeuge verwendet, um eine Datenbank zu prüfen (wie ein Kochbuch oder eine Preisliste), und zurückantwortet, wenn er verwirrt ist.
Die Arbeit stellt EgoBench vor, was im Wesentlichen eine riesige, sehr schwierige „Abschlussprüfung" für diese Roboterbutler ist. Hier ist eine Aufschlüsselung dessen, was die Arbeit leistet, unter Verwendung einfacher Analogien:
1. Das Problem: Die „zu leichten" Tests
Stellen Sie sich vor, Sie trainieren einen Hund. Wenn Sie ihn nur testen, indem Sie ihn auf einem ruhigen, leeren Feld bitten, sich „hinzusetzen", mag er wie ein Genie wirken. Aber in der realen Welt muss der Hund sich hinsetzen, während ein Auto hupt, ein Eichhörnchen vorbeiläuft und Sie ihm einen komplexen Befehl geben wie: „Setz dich, dann hole den Ball, aber nur, wenn er rot ist."
Die Autoren sagen, dass die aktuellen Tests für KI-Agenten wie das ruhige Feld sind. Sie sind zu einfach. Sie testen nicht, ob die KI in der Lage ist:
- Zu sehen, was in einem unordentlichen, bewegten Video passiert (wie eine Ego-Perspektive Ihrer Hände beim Kochen).
- Ein mehrstufiges Logikrätsel zu durchdenken (z. B.: „Wenn die Tomate rot ist, prüfe den Kühlschrank; wenn sie abgelaufen ist, kaufe eine neue.").
- Mit einem Menschen zu sprechen, der vielleicht ungeduldig, vergesslich ist oder verwirrende Hinweise gibt.
2. Die Lösung: EgoBench (Der „Hindernisparcours")
EgoBench ist ein neuer Testgelände, das speziell entwickelt wurde, um zu sehen, ob KI-Agenten das Chaos des realen Lebens bewältigen können. Es hat drei Hauptteile:
- Das Video (Die Augen): Anstatt statischer Bilder schaut sich die KI kurze Videos aus der Ego-Perspektive an (wie GoPro-Aufnahmen von Ihrem Kopf). Es ist, als würde die KI Ihre Brille tragen. Sie muss herausfinden: „Oh, das ist eine Tomate links, und ich habe sie gerade aufgehoben."
- Die Werkzeuge (Die Hände): Die KI kann nicht einfach raten. Sie muss „Werkzeuge" (wie ein digitales Telefonbuch oder eine Datenbank) verwenden, um versteckte Informationen zu finden. Zum Beispiel zeigt das Video eine Flasche Wein, aber das Video sagt nicht, ob sie abgelaufen ist. Die KI muss ein Werkzeug verwenden, um die Datenbank zu prüfen.
- Der simulierte Nutzer (Der Mund): Dies ist der clevere Teil. Die Arbeit hat einen „falschen Menschen" (ein Computerprogramm, das wie eine Person agiert) gebaut, um mit der KI zu sprechen. Dieser falsche Mensch kann sein:
- Einfach: Nur höflich Fragen stellen.
- Schwer: Ungeduldig sein, irrelevante Informationen geben („Übrigens, das Wetter ist schön!") oder wütend werden, wenn die KI zu langsam ist.
- Statisch: Alle Anweisungen auf einmal in einem großen Absatz geben.
3. Das Benotungssystem: Kein Schummeln erlaubt
Bei vielen KI-Tests liest ein intelligenter Computer (eine andere KI) die Antwort und sagt: „Das klingt gut!" Das ist subjektiv.
EgoBench verwendet ein deterministisches Benotungssystem. Denken Sie daran wie an eine Videospiele-Punktzahl:
- Prozessprüfung: Hat die KI die richtigen Werkzeuge aufgerufen? (Hat sie den Preis geprüft? Hat sie das Verfallsdatum geprüft?)
- Ergebnisprüfung: Entsprach der endgültige Datenbankzustand dem Ziel? (Ist der Artikel tatsächlich im Einkaufswagen? Ist das Rezept aktualisiert?)
Wenn die KI sagt „Ich habe es geschafft", aber die Datenbank die Änderung nicht zeigt, erhält sie eine Null. Kein Diskutieren mit dem Lehrer.
4. Die Ergebnisse: Der „Realitätscheck"
Die Autoren testeten 8 der intelligentesten, fortschrittlichsten KI-Modelle, die heute verfügbar sind, auf dieser Prüfung.
Das Urteil? Sie haben kläglich versagt.
- Selbst das beste Modell bekam nur etwa 19 % bis 30 % der Aufgaben richtig, je nachdem, wie schwierig der „falsche Mensch" war.
- Im einfachsten Szenario (Einzelhandel/Einkaufen) bekam das beste Modell immer noch nur etwa 30 % richtig.
Warum sind sie gescheitert? Die Arbeit fand heraus, dass die KI-Agenten Schwierigkeiten hatten mit:
- Fehlinterpretation des Videos: „Ich dachte, das sei eine Tomate, aber es war tatsächlich eine rote Paprika."
- Halluzinieren: Erfinden von Fakten, die nicht im Video oder in der Datenbank waren.
- Schlechte Logik: Die „Wenn/Dann"-Regeln falsch verstehen.
- Risky Moves: Dinge tun, die der Nutzer nicht verlangt hat, wie das Löschen von Artikeln aus einer Liste.
Zusammenfassung
Die Arbeit argumentiert, dass KI zwar gut darin wird, zu sprechen und Bilder anzusehen, aber immer noch sehr schlecht darin ist, diese Fähigkeiten zu kombinieren, um tatsächlich Dinge in einer unordentlichen, realen Umgebung zu tun, in der sie mit einem Menschen sprechen, Werkzeuge verwenden und komplexen Regeln folgen muss. EgoBench ist das neue Lineal, das wir verwenden, um genau zu messen, wie weit wir noch gehen müssen.
Wichtiger Hinweis: Die Arbeit stellt nur diesen Benchmark und die Testergebnisse vor. Sie behauptet nicht, dass diese KI-Agenten bereit sind, in Krankenhäusern, für selbstfahrende Autos oder in irgendeiner anderen spezifischen realen Anwendung eingesetzt zu werden. Sie sagt einfach: „Hier ist ein Test, und hier ist, wie schlecht die aktuellen Top-Modelle dabei abschneiden."
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.