Did You Forget What I Asked? Prospective Memory Failures in Large Language Models

Die Studie zeigt, dass Large Language Models unter kognitiver Last häufig Formatierungsanweisungen vergessen, wobei insbesondere Endbedingungen stark beeinträchtigt werden, sich die Compliance jedoch durch salienzerhöhende Formatierungen signifikant wiederherstellen lässt.

Das Wesentliche

Stell dir vor, du bist ein sehr talentierter Koch (das ist das KI-Modell), der gerade ein komplexes Rezept zubereitet. Der Gast (der Nutzer) sagt: „Bitte koche mir ein leckeres Steak, aber vergiss nicht, am Ende einen kleinen Zettel mit der Aufschrift ‚Guten Appetit!' unter das Teller legen."

Normalerweise schafft der Koch das problemlos. Aber was passiert, wenn der Gast plötzlich sagt: „Und während du das Steak zubereitest, löse mir bitte noch drei schwierige Mathe-Rätsel und fasse einen langen Zeitungsartikel zusammen"?

Plötzlich passiert etwas Merkwürdiges: Der Koch liefert ein perfektes Steak und löst die Rätsel korrekt, aber er vergisst den Zettel mit dem „Guten Appetit!".

Genau dieses Phänomen untersucht die vorliegende Studie. Die Forscher nennen es „Prospektives Gedächtnis" – also die Fähigkeit, sich an eine Aufgabe zu erinnern, die man erst später ausführen muss. Hier ist die einfache Zusammenfassung der Ergebnisse:

1. Das Problem: Wenn die Arbeit zu viel wird

Die Forscher haben KI-Modelle getestet, indem sie ihnen eine Formatierungs-Anweisung (wie „Schreibe alles in Großbuchstaben" oder „Beende den Text mit einem bestimmten Wort") gaben und gleichzeitig eine schwierige Aufgabe (wie Mathe oder Faktenwissen) dazu packten.

• Das Ergebnis: Je schwieriger die Hauptaufgabe war, desto öfter vergaß die KI die Formatierung.
• Die Analogie: Stell dir vor, du hältst einen schweren Koffer in der Hand (die Matheaufgabe). Wenn du nur einen leichten Koffer trägst, merkst du noch, dass du eine Postkarte in der Tasche hast (die Formatierung). Wenn der Koffer aber so schwer wird, dass du dich ganz darauf konzentrieren musst, ihn nicht fallen zu lassen, vergisst du die Postkarte komplett.

2. Wer vergisst am meisten?

Nicht alle KI-Modelle sind gleich vergesslich, und nicht alle Anweisungen sind gleich schwer zu merken:

• Die „End-Regeln" sind am gefährlichsten: Anweisungen wie „Beende den Text mit dem Wort Frieden" werden am häufigsten vergessen. Warum? Weil die KI erst am allerletzten Moment daran denken müsste. In der Zwischenzeit hat sie schon hunderte von Wörtern über Mathe geschrieben. Die Erinnerung an das Ende ist wie ein leises Flüstern, das im Lärm des Mathe-Geschreis untergeht.
• Die „Vermeidungs-Regeln" sind sicher: Anweisungen wie „Benutze keine Kommas" werden fast nie vergessen. Das ist wie beim Autofahren: Du musst ständig auf die Bremse achten, um nicht zu schnell zu werden. Da die KI bei jedem einzelnen Wort prüfen muss, ob sie ein Komma setzt, bleibt die Regel im Gedächtnis.

3. Die Lösung: Der „Erinnerungs-Zettel"

Die Forscher haben eine einfache, aber geniale Lösung gefunden. Sie haben die Formatierungs-Anweisung nicht einfach in den Text eingebaut, sondern sie herausgeholt und wie einen Warnhinweis platziert:

• Der Trick: Sie schrieben oben groß: „WICHTIGE ANWEISUNG: Schreibe alles in Großbuchstaben!" und fügten am Ende des Prompts noch einen Satz hinzu: „Vergiss nicht, die Anweisungen oben zu befolgen!"
• Das Ergebnis: Dieser kleine „Erinnerungs-Zettel" hat Wunder gewirkt. Die KI erinnerte sich fast immer wieder daran, auch wenn sie gerade Mathe löste. Die Erfolgsrate stieg von oft unter 80 % zurück auf fast 100 %.
• Die Metapher: Es ist, als würde ein Lehrer einem Schüler, der gerade eine schwierige Prüfung schreibt, nicht nur am Anfang sagen: „Schreib sauber!", sondern ihm auch einen kleinen Zettel auf den Tisch legen, der sagt: „Denk dran: Schreib sauber!", genau bevor er mit der letzten Frage beginnt.

4. Der Preis der Aufmerksamkeit

Es gibt aber auch eine Kehrseite. Wenn die KI sich zu sehr auf die Formatierung konzentriert (besonders wenn sie kompliziert ist), wird sie bei der eigentlichen Aufgabe (z. B. Mathe) schlechter.

• Das Dilemma: Es ist wie bei einem Musiker, der versucht, ein schwieriges Klavierstück zu spielen, während er gleichzeitig eine akrobatische Balanceübung macht. Wenn er sich zu sehr auf die Balance konzentriert, macht er Fehler im Musikstück.

5. Wenn zu viele Regeln kommen

Was passiert, wenn man der KI mehrere Formatierungsregeln gleichzeitig gibt? (z. B. „Großbuchstaben", „keine Kommas" und „nur 3 Aufzählungspunkte").

• Das Ergebnis: Das System bricht zusammen. Je mehr Regeln, desto öfter vergisst die KI alles. Ein einzelner Erinnerungssatz am Ende reicht dann nicht mehr aus, um sich an alle Regeln gleichzeitig zu erinnern.

Fazit für den Alltag

Wenn du also eine KI nutzt, die komplexe Aufgaben lösen soll:

1. Sei nicht überrascht, wenn sie bei schwierigen Aufgaben kleine Formatierungsfehler macht.
2. Mach die Regeln laut und deutlich: Schreibe die Formatierungsvorgaben nicht nur in den Text, sondern hebe sie hervor (z. B. mit „WICHTIG:" oder einer Erinnerung am Ende).
3. Sei vorsichtig bei „End-Regeln": Wenn die KI etwas ganz am Ende tun soll, erinnere sie kurz vorher noch einmal daran.

Die Studie zeigt also: KIs haben kein schlechtes Gedächtnis im Sinne von „Datenverlust", sondern sie haben einfach zu viel zu tun. Wenn man ihnen hilft, den Fokus auf die „Erinnerungsaufgabe" zu halten, funktionieren sie viel besser.

Technische Zusammenfassung

1. Problemstellung

Große Sprachmodelle (LLMs) versagen häufig darin, Formatierungsanweisungen einzuhalten, wenn sie gleichzeitig komplexe inhaltliche Aufgaben lösen müssen. Dieses Phänomen wird als Analogon zum prospektiven Gedächtnis (Prospective Memory, PM) aus der kognitiven Psychologie untersucht. Beim Menschen nimmt die Fähigkeit, eine zukünftige Absicht zur richtigen Zeit auszuführen, unter kognitiver Belastung ab. Die Autoren untersuchen, ob LLMs ein ähnliches Verhaltensmuster zeigen: Wenn die Modellierung von Formatierungsregeln (z. B. „schreibe alles in Großbuchstaben") und das Lösen einer inhaltlichen Aufgabe (z. B. Mathe-Aufgaben) gleichzeitig erforderlich sind, führt dies zu einem „Vergessen" der Formatierungsvorgaben.

Das zentrale Problem ist, dass Modelle oft starke inhaltliche Antworten liefern, dabei aber die geforderten strukturellen oder formatierenden Constraints verletzen, insbesondere wenn die kognitive Last hoch ist.

2. Methodik

Die Studie verwendet ein kontrolliertes Paradigma, das verifizierbare Formatierungsanforderungen mit Benchmark-Aufgaben unterschiedlicher Schwierigkeit kombiniert.

• Experimentelles Design:

  • Formatierungsanweisungen (Constraints): Es wurden 15 Typen von Anweisungen aus dem IFEval-Benchmark verwendet (z. B. Großbuchstaben, Vermeidung von Kommas, spezifische Endphrasen, JSON-Format).
  • Ablenkungsaufgaben (Distraction Tasks): Diese wurden mit vier Benchmarks unterschiedlicher kognitiver Last kombiniert:
    • TriviaQA (Faktenabruf, niedrige Last)
    • MMLU (Multiple-Choice-Reasoning, mittlere Last)
    • GSM8K (Mehrschrittige Arithmetik, hohe Last)
    • CNN/DailyMail (Zusammenfassung langer Texte, lange Kontexte)
  • Modelle: Drei verschiedene Modellfamilien wurden getestet: o4-mini (Reasoning-Modell), DeepSeek-V3.1 (Open-Weight) und Llama-3.3-70B-Instruct.
  • Datensatz: Über 8.000 Prompts wurden evaluiert.

• Bedingungen:

  1. Baseline: Nur die Formatierungsanweisung (IFEval).
  2. Natürliches Embedding: Die Formatierungsanweisung ist im Text eingebettet, gefolgt von der Benchmark-Aufgabe.
  3. Salience-Enhanced (Erinnerung): Die Formatierungsanweisung wird explizit hervorgehoben („WICHTIGE FORMATIERUNGSANWEISUNG:") und durch einen abschließenden Erinnerungssatz („Denken Sie daran, alle Formatierungsanweisungen zu befolgen") verstärkt.

• Evaluation:

  • Die Auswertung erfolgt deterministisch durch Code-basierte Checker (kein „LLM-as-a-Judge").
  • Gemessen wurden:
    • Compliance Rate (CR): Anteil der Antworten, die die Formatierungsanforderung erfüllen.
    • Task Accuracy: Richtigkeit der gelösten Benchmark-Aufgabe.
    • Vergessens-Delta ($\Delta$): Differenz zwischen Compliance in der Baseline und unter Last.

3. Wichtige Beiträge und Ergebnisse

A. Systematisches Vergessen unter Last

Unter kognitiver Belastung sinkt die Compliance-Rate signifikant:

• Der Rückgang liegt zwischen 2 % und 21 % im Durchschnitt.
• DeepSeek-V3.1 war am anfälligsten (durchschnittlicher Rückgang von 10,8 %), gefolgt von o4-mini (6,3 %) und Llama (3,2 %).
• Typabhängigkeit: Die Anfälligkeit hängt stark vom Anweisungstyp ab:
  • Terminal Constraints (Anweisungen, die am Ende der Antwort ausgeführt werden müssen, z. B. „Ende mit dem Wort X") sind am anfälligsten. Hier sank die Compliance bei DeepSeek um bis zu 50 %.
  • Avoidance Constraints (z. B. „verwende kein Komma") bleiben relativ robust, da sie während der gesamten Generierung überwacht werden müssen.

B. Erholung durch Salience (Aufmerksamkeit)

Eine einfache Modifikation des Prompts kann das Vergessen fast vollständig beheben:

• Durch die Kombination aus expliziter Hervorhebung der Anweisung am Anfang und einer abschließenden Erinnerung („Reminder") stieg die Compliance wieder auf 90–100 % an.
• In vielen Fällen übertraf die Compliance mit Erinnerung sogar die Baseline ohne zusätzliche Aufgabe, was darauf hindeutet, dass Standard-Prompts die Fähigkeiten der Modelle unterschätzen.

C. Bidirektionale Interferenz (Dual-Task Tradeoffs)

Die Interferenz wirkt in beide Richtungen:

• Formatierungsanforderungen verschlechtern auch die Genauigkeit der eigentlichen Aufgabe.
• Ein drastisches Beispiel: Die Genauigkeit von o4-mini bei GSM8K (Mathe) fiel von 93 % auf 27 %, wenn gleichzeitig eine Formatierungsanweisung galt. Dies zeigt, dass das Modell seine „Rechenressourcen" (Reasoning Budget) zugunsten der Formatierung aufwendet.

D. Skalierungsfragilität bei Stapelung (Stacking)

Wenn mehrere Formatierungsanforderungen gleichzeitig gestellt werden:

• Die gemeinsame Compliance (Joint Compliance) sinkt drastisch. Bei o4-mini fiel sie von 99 % (1 Constraint) auf 47,5 % (5 Constraints).
• Die einfache „Erinnerung"-Strategie wird bei gestapelten Constraints unzuverlässig und hilft oft nicht mehr oder kann die Performance sogar verschlechtern.

4. Signifikanz und Implikationen

• Theoretische Bedeutung: Die Studie etabliert LLMs als Subjekte für kognitionspsychologische Experimente. Sie zeigt, dass „Vergessen" in LLMs nicht primär ein Retrieval-Problem (wie „Lost in the Middle") ist, sondern ein Repräsentationskonkurrenz-Problem: Während der Generierung komplexer Inhalte dominieren die hidden states der Aufgabe die Formatierungsanforderungen.
• Praktische Empfehlungen für Entwickler:
  1. Erinnerungen nutzen: Bei komplexen Aufgaben sollten Formatierungsanweisungen explizit hervorgehoben und am Ende des Prompts wiederholt werden.
  2. Terminal Constraints als Risiko: Anweisungen, die nur am Ende wirken, sind besonders fehleranfällig und benötigen spezielle Behandlung.
  3. Tradeoff akzeptieren: Das Hinzufügen von Formatierungsanforderungen kann die Genauigkeit der Hauptaufgabe signifikant senken; dies muss bei der Anwendung berücksichtigt werden.
  4. Strukturierte Ansätze für Stacking: Bei mehreren Constraints sollte nicht auf eine einzige generische Erinnerung vertraut werden; stattdessen sollten Constraints in separate Prompts aufgeteilt oder pro Constraint erinnert werden.

Zusammenfassend demonstriert das Paper, dass LLMs unter kognitiver Last anfällig für prospektive Gedächtnisfehler sind, dass diese jedoch durch gezielte Erhöhung der Anweisungs-Salience (Aufmerksamkeit) effektiv gemildert werden können.