← Neueste Arbeiten
🤖 AI

RECON: Benchmarking Agent Memory for Compositional Reasoning over Long Contexts

Dieses Paper stellt RECON vor, einen neuartigen Benchmark bestehend aus 24 Long-Context-Fallakten aus den Bereichen Kriminalistik, Medizin und Finanzen, der darauf ausgelegt ist, die Grenzen aktueller LLM-basierter Agenten bei der Durchführung komplexer kompositorischer Aufgaben wie Multi-Hop-Evidenzrekonstruktion, Konfliktlösung und kontrafaktischer Analyse zu evaluieren, wobei selbst die stärksten Systeme lediglich eine Genauigkeit von 22,4 % erreichen.

Ursprüngliche Autoren: Mihir Shriniwas Arya

Veröffentlicht 2026-07-21
📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre
CC BY 4.0

Ursprüngliche Autoren: Mihir Shriniwas Arya

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein Rätsel zu lösen, aber die Hinweise liegen nicht einfach nur in einem Raum verstreut; sie sind in einer Bibliothek begraben, die so groß ist wie eine Kleinstadt. Dies ist die Welt der Large Language Models (LLMs), der superintelligenten Computergehirne hinter Chatbots und digitalen Assistenten. Diese Modelle sind erstaunlich gut darin zu lesen und zu sprechen, aber sie haben eine tückische Schwäche: das Gedächtnis. Denken Sie bei Gedächtnis nicht nur an eine Festplatte, auf der Fakten gespeichert sind, sondern an die Fähigkeit eines Detektivs, sich nicht nur daran zu erinnern, was passiert ist, sondern auch, wie ein Ereignis zum nächsten führte. Wenn ein Zeuge seine Geschichte ändert oder ein Labortest als gefälscht entlarvt wird, weiß ein guter Detektiv, welche alten Schlussfolgerungen nun hinfällig sind und welche weiterhin Bestand haben. Die große Frage, die sich die Forscher stellen, lautet: Können diese KI-Detektive wirklich solch komplexen, sich verändernden Geschichten über tausende von Seiten hinweg folgen, oder werden sie einfach verwirrt und erfinden Dinge dazu?

Hier kommt RECON ins Spiel, ein neuer „Stresstest“, der darauf ausgelegt ist, zu prüfen, ob KI-Agenten mit langen, komplizierten Geschichten umgehen können, in denen sich Fakten ändern, sich widersprechen und wie eine Welle durch die Erzählung rollen. Die Forscher erstellten 24 massive Fallakten – einige davon so lang wie 100.000 Wörter – die Kriminaluntersuchungen, medizinische Rätsel und Finanzbetrug abdecken. Dies sind keine langweiligen Datenlisten; es sind dynamische Geschichten, in denen ein am ersten Tag gefundener Hinweis am fünften Tag als gefälscht bewiesen werden kann, was die KI dazu zwingt, herauszufinden, welche ihrer früheren Vermutungen nun falsch waren. Der Test prüft sechs spezifische Fähigkeiten, wie etwa das Verknüpfen einer Kette aus 15 Hinweisen, das Ergründen dessen, was passiert wäre, wenn ein Schlüsselereignis zu einem anderen Zeitpunkt stattgefunden hätte, oder die Entscheidung, welcher Zeuge lügt, wenn zwei Personen unterschiedliche Geschichten erzählen.

Die Ergebnisse dieses Experiments sind ein wenig wie ein Realitätscheck für die Welt der KI. Selbst die klügsten getesteten KI-Systeme hatten schwer zu kämpfen. Die beste nicht spezialisierte KI kam in weniger als 23 % der Fälle auf die richtige Antwort. Um dies einzuordnen: Wenn Sie einen Menschen bitten würden, dieselben Rätsel mit dem vollständigen Text vor sich zu lösen, würde dieser deutlich besser abschneiden. Die Studie ergab, dass das Problem nicht nur darin besteht, dass die KI nicht die richtige Seite im Buch findet (Abruf/Retrieval); das eigentliche Nadelöhr ist das Schlussfolgern (Reasoning). Selbst als man der KI den „Spickzettel“ gab (eine perfekte, strukturierte Karte aller Fakten und deren Verbindungen), kam sie immer noch nur auf etwa 55 % der richtigen Antworten. Dies deutet darauf an, dass die KI zwar besser darin wird, lange Bücher zu lesen, aber die Kunst, die Punkte zu verbinden, wenn sich die Geschichte unter ihr verändert, noch nicht gemeistert hat. Die Forscher kommen zu dem Schluss, dass eine KI, um wirklich wie ein zuverlässiger Agent in realen Berufen agieren zu können, viel besser darin werden muss, zu verstehen, wie Fakten voneinander abhängen, anstatt sie nur zu memorieren.

Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?

Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.

Digest testen →

Mehr davon

Alle in dieser Kategorie 🤖 cs.AI →