SMMBench: A Benchmark for Source-Distributed Multimodal Agent Memory
Dieser Beitrag stellt SMMBench vor, einen neuen Benchmark, der entwickelt wurde, um die Fähigkeit multimodaler Agenten zu bewerten, Beweise zu rekonstruieren, abzugleichen und zu kombinieren, die über heterogene, unabhängig voneinander entstandene Quellen verteilt sind, und zeigt, dass aktuelle Systeme mit dieser kritischen, quellenverteilten Speicherkapazität Schwierigkeiten haben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind eine persönliche Assistenzkraft, die für Ihren Chef ein Rätsel lösen muss. In der Vergangenheit gaben die meisten Tests für KI-Assistenten diesen ein einziges, riesiges Notizbuch, das alle benötigten Hinweise enthielt, ordentlich an einem Ort zusammengefasst. Die KI musste lediglich das gesamte Buch lesen und die Antwort finden.
Doch in der realen Welt ist Information nicht wie ein einzelnes Notizbuch. Sie ist überall verstreut. Ein Hinweis steckt in einer Textnachricht vom letzten Dienstag, ein anderer in einer Tabelle aus einem anderen Projekt, ein dritter ist ein Foto eines Flugplans und ein vierter eine Notiz in einem privaten Chat.
Das Problem: Die Herausforderung der „verstreuten Hinweise"
Die Autoren dieses Papiers, SMMBench, argumentieren, dass aktuelle KI-Assistenten zwar hervorragend darin sind, ein langes, einzelnes Notizbuch zu lesen, aber katastrophal darin, Rätsel zu lösen, wenn die Hinweise auf verschiedene, voneinander unabhängige Quellen verteilt sind. Sie bezeichnen dies als „quellenverteilte Erinnerung".
Stellen Sie es sich so vor:
- Alte Benchmarks: Sie geben der KI eine 100-seitige Geschichte und fragen: „Welche Farbe hatte das Auto?" Die KI liest die gesamte Geschichte und antwortet.
- SMMBench: Sie geben der KI eine Textnachricht mit dem Inhalt „John fährt nach New York", einen separaten Screenshot eines Kalenders mit der Angabe „Meeting A findet am 13. November statt" und ein anderes Dokument, das auflistet „Meeting A findet in New York statt". Die KI muss erkennen, dass diese drei separaten Dinge zusammenhängen, um zu antworten: „John fliegt am 13. November für Meeting A nach New York."
Der neue Benchmark: SMMBench
Das Team entwickelte einen neuen Test namens SMMBench (Source-distributed Multimodal Memory Benchmark), um zu prüfen, ob KI mit dieser Situation der „verstreuten Hinweise" umgehen kann.
- Der Aufbau: Sie erstellten 1.877 Testfälle unter Verwendung von 264 verschiedenen „Quellen" (wie Gruppenchats, privaten Nachrichten, Tabellen, Bildern und Dokumenten).
- Die Regeln: Um einen Test zu bestehen, muss die KI Informationen aus mindestens zwei verschiedenen Quellen ziehen. Wenn die Antwort in nur einer Quelle enthalten ist, zählt sie nicht.
- Die vier getesteten Fähigkeiten:
- Die Punkte verbinden: Kann die KI Hinweise in einem Chat und in einer Tabelle finden und diese kombinieren?
- Widersprüche auflösen: Was ist, wenn eine Quelle sagt „Meeting ist in Tokio" und eine ältere Quelle sagt „Meeting ist in LA"? Kann die KI herausfinden, welche die neueste und korrekte ist?
- Zwischen den Zeilen lesen: Kann die KI die Präferenzen eines Nutzers erraten, indem sie kleine Hinweise betrachtet, die über verschiedene Gespräche verteilt sind?
- Handeln: Kann die KI nicht nur eine Frage beantworten, sondern tatsächlich ein Werkzeug nutzen (wie das Buchen eines Fluges), basierend auf Details, die in verschiedenen Dateien gefunden wurden?
Was sie herausfanden
Die Forscher testeten viele der intelligentesten verfügbaren KI-Erinnerungssysteme von heute. Die Ergebnisse waren nicht gut.
- Die „Goldstandard"-Lücke: Als die Forscher der KI die exakt richtigen Hinweise zum Anschauen gaben (und den schwierigen Teil des Findens übersprangen), performte die KI sehr gut. Doch als die KI diese Hinweise selbst unter dem verstreuten Chaos finden musste, sank ihre Leistung erheblich.
- Das Problem „Suchen" vs. „Denken": Selbst die besten Systeme hatten Schwierigkeiten, die richtigen Quellen zu finden. Es ist wie in einer Bibliothek, wo die Bücher zwar auf den Regalen stehen, die KI aber nicht herausfinden kann, welches Regal sie anschauen soll.
- Die „Handlungs"-Lücke: Die KI war okay bei der Beantwortung von Multiple-Choice-Fragen, scheiterte jedoch kläglich, wenn sie aufgefordert wurde, eine präzise Aktion auszuführen (wie das Aufrufen einer spezifischen Funktion mit den richtigen Zahlen). Es ist, als könnte die KI Ihnen sagen, was zu tun ist, aber sie kann es nicht tatsächlich richtig ausführen, wenn die Anweisungen aufgeteilt sind.
Die große Erkenntnis
Das Papier kommt zu dem Schluss, dass wir KI-Erinnerung bisher zu leicht getestet haben. Wir haben sie gebeten, lange Bücher zu lesen, aber wir haben nicht getestet, ob sie gute Detektive sein können, die eine Geschichte aus einem chaotischen Haufen verschiedener Notizen, Fotos und E-Mails zusammensetzen.
Derzeit sind KI-Agenten immer noch sehr schlecht in diesem „quellenverteilten" Gedächtnis. Sie verirren sich, wenn die Beweise über verschiedene Orte fragmentiert sind. Dies ist eine wesentliche Engstelle, die behoben werden muss, bevor KI-Assistenten wirklich in unserem komplexen, multi-app-, multi-chat-Alltag funktionieren können.
Kurz gesagt: KI ist gut darin, eine lange Geschichte zu lesen, aber sie lernt noch, wie man ein Puzzle löst, wenn die Teile in verschiedenen Räumen des Hauses versteckt sind.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.