PM-Bench: Evaluating Prospective Memory in LLM Agents
Dieses Paper führt PM-Bench ein, einen textbasierten Benchmark, der vom Virtual-Week-Paradigma inspiriert ist, um das prospektive Gedächtnis in LLM-Agenten zu evaluieren, wobei aufgezeigt wird, dass selbst modernste Modelle Schwierigkeiten haben, aufgeschobene Intentionen inmitten laufender Aktivitäten zuverlässig auszuführen, mit einem maximalen F1-Score von nur 65,1 %.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen superintelligenten digitalen Assistenten, einen Roboter-Butler, der das Internet durchforsten, Code schreiben und Ihren Tag planen kann. Man würde denken, er sei perfekt, oder? Nun, es gibt einen spezifischen Fehler, der selbst die klügsten scheitern lässt: Prospektives Gedächtnis.
In menschlichen Begriffen ist das prospektive Gedächtnis die Fähigkeit, sich daran zu erinnern, etwas zu tun, wenn zu einem späteren Zeitpunkt ein bestimmtes Ereignis eintritt. Es geht nicht nur darum, sich daran zu erinnern, was man tun sollte; es geht darum, sich daran zu erinnern, es zum exakt richtigen Zeitpunkt zu tun, während man mit etwas anderem beschäftigt ist. Stellen Sie es sich so vor: Sie sagen Ihrem Gehirn: „Wenn der Backofentimer piept, nimm die Kekse heraus.“ Aber während Sie warten, werden Sie durch ein lustiges Katzenvideo, einen Telefonanruf und den plötzlichen Drang, Ihre Socken Schublade neu zu sortieren, abgelenkt. Ein gutes Gehirn erinnert sich an das Piepen und greift nach den Keksen. Ein schlechtes Gehirn vergisst das Piepen völlig oder greift fünf Minuten zu spät nach den Keksen und verbrennt sie.
Genau das testet das Paper PM-Bench. Die Forscher haben eine videospielähnliche Welt namens „Virtual Week“ erschaffen, um zu sehen, ob KI-Agenten mit dieser Art von Multitasking-Gedächtnis umgehen können.
Das Spiel: Eine geschäftige Woche im Leben einer KI
Die Forscher erschufen eine simulierte sieben Tage dauernde Woche, in der ein KI-Agent ein Leben führen muss. Bei jedem Schritt führt der Agent etwas Banales aus, wie etwa das Frühstück zuzubereiten oder die Post zu prüfen. Doch im Hintergrund verbergen sich „aufgeschobene Intentionen“ – Aufgaben, die der Agent zu einem späteren Zeitpunkt erledigen sollte.
Einige Aufgaben sind einfach: „Nimm deine Medizin, wenn du den Nachbarn winken siehst.“ (Das ist eine ereignisbasierte Aufgabe).
Einige sind knifflig: „Nimm deine Medizin um 21:00 Uhr.“ (Das ist eine zeitbasierte Aufgabe).
Und einige sind hinterhältig: „Überprüfe das E-Mail-Portal auf eine neue Nachricht, bevor du den Termin buchst.“ Der Agent muss wissen, dass er die E-Mails prüfen muss, auch wenn ihm niemand sagt, dass er es tun soll. Dies nennt man proaktive Überwachung.
Der Haken dabei? Der Agent kann nicht einfach nur dasitzen und warten. Er muss sich währenddessen durch seinen Tag bewegen, Entscheidungen treffen wie „Kaffee einschenken“ oder „Brot toasten“, während er gleichzeitig im Auge behalten muss, ob bestimmte versteckte Hinweise auftreten. Wenn er den Hinweis vergisst, hat er versagt. Wenn er sich an den Hinweis erinnert, die Aufgabe aber zum falschen Zeitpunkt ausführt, hat er ebenfalls versagt. Wenn er zu paranoid wird und Aufgaben erledigt, die noch gar nicht fällig sind, ist das ebenfalls ein Fehlschlag.
Die Ergebnisse: Selbst die beste KI bekommt verbrannte Kekse
Die Forscher testeten acht verschiedene hochmoderne KI-Modelle (darunter Giganten wie GPT-5.4 und Llama 3.3) in diesem Spiel. Sie probierten alle möglichen Tricks aus, um der KI beim Erinnern zu helfen:
- Der „To-Do-Listen“-Trick: Der KI ein digitales Notizbuch zu geben, um ihre Aufgaben aufzuschreiben.
- Der „Herzschlag“-Trick: Die KI dazu zu zwingen, alle 30 oder 60 Minuten innezuhalten und zu fragen: „Hey, ist es Zeit, etwas zu tun?“
- Der „Teamwork“-Trick: Die KI in einen Chef und drei Arbeiterbienen aufzuteilen, von denen jede auf unterschiedliche Hinweise achtet.
Hier kommt die große Überraschung: Kein einziger Trick funktionierte für alle gleichermaßen.
Das leistungsstärkste Setup war ein einzelner Agent mit einem optionalen „Herzschlag“ (einer Selbstkontroll-Erinnerung). Selbst mit dieser Hilfe erreichte das Top-Modell, GPT-5.4, nur einen Wert von 65,1 % (gemessen an einer Metrik namens Set-F1). Das bedeutet, dass es immer noch etwa 35 % der Aufgaben verpasst oder falsch erledigt hat.
Das Paper schließt explizit die Idee aus, dass „mehr Gedächtnis“ oder „größere Gehirne“ das Problem automatisch lösen. Nur weil eine KI eine ganze Bibliothek lesen kann, heißt das nicht, dass sie auch daran denkt, den Müll rauszubringen, wenn die Tonne voll ist. Die Forscher fanden heraus:
- Mehr Erinnerungen wirken oft kontraproduktiv: Wenn sie die KI zwangen, ihren „Herzschlag“ alle 30 Minuten zu prüfen, begann sie, Aufgaben zu früh oder zu häufig zu erledigen. Sie wurde „spammy“ und griff nach Aufgaben, die noch gar nicht fällig waren. Dies senkte ihre Punktzahl, da sie zu aggressiv vorging.
- Teamwork rettete den Tag nicht: Das Multi-Agenten-Team (der Chef und die Arbeiter) fragte viel öfter nach Informationen als die Einzelagenten (über 1.600 Mal!), erzielte aber insgesamt schlechtere Ergebnisse. Sie waren groß darin, Hinweise zu finden, aber schlecht darin, zu entscheiden, wann sie danach handeln sollten.
- Das Problem des „versteckten Kanals“: Die schwierigsten Aufgaben waren jene, bei denen die KI einen versteckten Kanal (wie eine bestimmte E-Mail oder einen Versand-Tracker) prüfen musste, ohne dass dies explizit gesagt wurde. Die besten Modelle bekamen nur etwa 10 % dieser Aufgaben richtig. Wenn der Hinweis nicht direkt in der Geschichte enthalten war, die die KI gerade las, wusste die KI oft nicht, dass sie suchen sollte.
Was dies bedeutet (und was es nicht bedeutet)
Das Paper legt nahe, dass das prospektive Gedächtnis eine eigenständige Fähigkeit ist, mit der aktuelle KIs einfach nicht gut umgehen können. Es geht nicht nur darum, die Vergangenheit zu „vergessen“; es geht darum, beim Handeln in der Zukunft im richtigen Moment zu versagen.
Die Autoren betonen vorsichtig, dass dies auf Simulationen basiert. Sie haben ein kontrolliertes Testfeld aufgebaut, um diese Fehler zu diagnostizieren, und nicht behaupten wollen, dass KI bereit ist, ein Krankenhaus zu leiten oder ein Flugzeug zu steuern. Tatsächlich warnen sie davor, dass eine KI, die zu gut in „proaktiven“ Erinnerungen wird, ohne perfekte Kontrolle, anfangen könnte, Sie zu nerven oder Dinge zu tun, die Sie gar nicht wollten.
Obwohl unsere digitalen Assistenten also immer besser darin werden, zu planen und zu coden, kämpfen sie immer noch mit der menschlichen Kunst des „Sich-Erinnerns-an-das-Erinnern“. Sie wissen vielleicht, was sie tun müssen, aber sie verpassen oft das Wann. Bis wir herausfinden, wie wir das beheben können, wird selbst die fortschrittlichste KI immer noch die Kekse verbrennen, während Sie sich gerade ein Katzenvideo ansehen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.