Facts Without Owners. Consolidating a Conversation into a Language Model's Weights Stores What Was Said, Not Who Said It

Technisches Resümee: Fakten ohne Besitzer

Problemstellung
Die Arbeit untersucht die Grenzen des „internen“ Gesprächsgedächtnisses, bei dem ein Sprachmodell (LM) den Gesprächsverlauf eines Nutzers direkt in seine Gewichte durch Fine-Tuning konsolidiert, im Gegensatz zu „externem“ Gedächtnis, das auf der Abfrage von Daten aus einem Archiv basiert. Während das interne Gedächtnis Widerstandsfähigkeit gegen Retrieval-Fehler und eine nahtlose Integration mit Vorwissen verspricht, birgt es Risiken wie Halluzinationen und Fehler beim gerichteten Lernen. Die spezifische Forschungsfrage lautet: Wenn ein Gespräch in realer Länge in die Gewichte eines Modells konsolidiert wird, welche Informationen werden gespeichert und was geht verloren? Konkret: Lernt das Modell, wer einen Fakt sagte, oder lediglich, was gesagt wurde?

Methodik
Die Studie nutzt drei Gespräche realer Länge von zwei Personen aus dem LoCoMo-Benchmark (conv-42, conv-43, conv-48), die jeweils 629–681 Gesprächsverläufe enthalten. Diese Gespräche beinhalten eine spezifische adversarielle Kategorie (Kategorie 5), die für „Vertauschte-Personen-Fragen“ bekannt ist, bei denen eine Frage nach Sprecher A bezüglich eines Fakts gestellt wird, den nur Sprecher B erwähnt hat. Das korrekte Verhalten des Modells ist die Enthaltung (Abstention), da der Fakt nicht zu Sprecher A gehört.

• Modell & Konsolidierung: Das Basismodell ist Qwen3-4B. Der Autor verwendet einen LoRA-Adapter (Low-Rank Adaptation, Rang 16), der auf selbst generierten Fragen trainiert wurde. Das Basismodell liest Gesprächsfenster und schreibt Fragen mit kurzen Antworten. Entscheidend ist, dass 15 % der Fragen über einen Sprecher „Fallen“ sind, bei denen der Name vertauscht wurde und die Zielantwort „Nicht erwähnt“ lautet.
• Trainingsrezept (D1): Der Adapter wird für drei Epochen auf diesen generierten Fragen trainiert. Um katastrophales Vergessen von Allgemeinwissen zu verhindern, bindet ein KL-Divergenz-Term den Adapter über Ankertexte (SQuAD und Chat-Anfragen) an das Basismodell.
• Evaluierung: Das Modell wird auf den ursprünglichen LoCoMo-Benchmark-Fragen getestet (die es während des Trainings nie gesehen hat) über vier Arme: Basismodell ohne Archiv (B0), konsolidiertes Modell ohne Archiv (D), Basismodell mit Archiv (B0S) und konsolidiertes Modell mit Archiv (DS).
• Interventionsvarianten: Sieben vorregistrierte Varianten (D2–D6) wurden getestet, um Attributionsfehler ausschließlich über Gewichte oder Modellsignale zu beheben (z. B. inverse Fragen, „Ich weiß es nicht“-Beispiele mit vertauschten Sprechern und Konfidenzschwellen).
• Provenienz-Check (D7): Ein modellfreier Check gegen das Roharchiv wurde implementiert. Er vergleicht die abgerufenen Gesprächsverläufe für die Antwort gegen den in der Frage genannten Sprecher. Wenn die Antwort stärker mit den Verläufen des anderen Sprechers übereintimmt, wird das Modell zur Enthaltung gezwungen.
• Strenge: Alle Experimente wurden vorregistriert. Die Labels wurden von einem LLM (Claude) unter Einhaltung fester Regeln generiert, wobei Grenzfälle streng behandelt wurden.

Wesentliche Ergebnisse

1. Konsolidierung funktioniert für Fakten, nicht für Besitzer:

   • Ohne Archiv hält sich das Basismodell (B0) bei fast 100 % der Fragen zurück (0,00 Genauigkeit).
   • Das konsolidierte Modell (D) ruft Fakten erfolgreich ab und erreicht eine Genauigkeit von 28–39 % bei Standard-Benchmark-Fragen (Kategorien 1–4) über die drei Gespräche hinweg.
   • Allgemeinwissen (TriviaQA) blieb stabil und zeigte keine nachweisbaren Schäden durch die Konsolidierung.

2. Der Attributionsfehler:

   • Der dominante Fehlermodus ist die Attribution. Bei „Vertauschte-Personen“-Fragen hält sich das konsolidierte Modell nur in 9–33 % der Fälle zurück.
   • Statt sich zu enthalten, antwortet das Modell oft selbstbewusst mit dem Fakt, obwohl dieser zum falschen Sprecher gehört. In etwa 30 % dieser Fehler entspricht die Antwort des Modells einem Ich-Satz des anderen Sprechers.
   • Das Modell lernt die Assoziation zwischen Thema und Antwort, behandelt den Namen des Sprechers jedoch als schwaches Signal.

3. Ineffektivität von gewichtsbasierter Korrektur:

   • Varianten, die versuchten, dem Modell das Enthalten beizubringen (D2–D6) – mittels inverser Fragen, „Ich weiß es nicht“-Beispielen oder Konfidenzschwellen – konnten sich nicht auf gehaltenen (held-out) Gesprächen replizieren.
   • Diese Methoden erzeugten eine Trade-off-Linie: Eine Erhöhung der Enthaltung bei Vertauschte-Personen-Fragen ging auf Kosten der Gesamtgenauigkeit (Verlust von 0,09–0,17 Genauigkeit pro 0,40 Erhöhung der Enthaltung).
   • Die „Ich weiß es nicht“-Beispiele lehrten dem Modell die Form der Falle, aber nicht die tatsächlichen Wissensgrenzen. Die Konfidenzwerte des Modells waren zwischen korrekter und fehlerhafter Attribution ununterscheidbar (AUROC ~0,54–0,56 auf gehaltenen Daten).

4. Effizienz von Archiv-Checks:

   • Der modellfreie Provenienz-Check (D7) gegen das Roharchiv schnitt signifikant besser ab als die gewichtsbasierten Methoden.
   • Er steigerte die Enthaltung bei Vertauschte-Personen-Fragen von ~0,17 auf 0,45–0,47, während er nur 0,005–0,042 an Genauigkeit kostete.
   • Diese Kosten sind nur ein Fünftel bis die Hälfte der Kosten, die die gewichtsbasierten Varianten bei gleichem Enthaltungsgrad verursachten.
   • Hinweis zur Vorregistrierung: In einem von zwei Durchläufen überstieg der Genauigkeitsverlust (7,0 %) leicht das vorregistrierte Limit von 5 %, weschehalb der Autor den Check gemäß seinen eigenen strengen Regeln als „nicht übernommen“ bezeichnete, trotz der signifikanten Effizienzsteigerung.

Bedeutung und Behauptungen
Die Arbeit kommt zu dem Schluss, dass die Konsolidierung eines Gesprächs in die Gewichte eines Modells „was gesagt wurde“, aber nicht „wer es sagte“, speichert.

• Komplementäre Rollen: Der Autor argumentet, dass parametrisches Gedächtnis (Gewichte) und externe Archive komplementär sind. Gewichte sind effektiv für das Halten von Wissen, während das Archiv essenziell für die Provenienz (die Urheberschaft von Fakten) ist.
• Beschränkungen aktueller Heilmittel: Aktuelle Techniken, um Modelle zur Enthaltung zu bewegen (durch Manipulation der Trainingsdaten oder Konfidenzschwellen), sind ineffizient, da das Modell technisch gesehen „korrekt“ bezüglich des Fakts ist, was es schwierig macht, den Attributionsfehler durch interne Signale zu detektieren.
• Praktische Empfehlung: Für persönliche Assistenten ist die alleinige Abhängigkeit von der Gewichtskonsolidierung für eine genaue Attribution unzureichend. Das Archiv sollte beibehalten werden, nicht unbedingt für jede Abfrage, aber als Quelle für Provenienz-Checks, um die Sprecherzugehörigkeit zu verifizieren.

Die Studie betont, dass das interne Gedächtnis zwar ein gangbarer Mechanismus für die Wissensretention ist, es jedoch derzeit nicht über die inhärente Fähigkeit verfügt, Fakten ohne externe Verifizierung an spezifische Sprecher zu binden.