Facts Without Owners. Consolidating a Conversation into a Language Model's Weights Stores What Was Said, Not Who Said It

Technische Samenvatting: Feiten zonder Eigenaars

Probleemstelling
Het paper onderzoekt de beperkingen van "interne" conversationele geheugen, waarbij een taalmodel (LM) de gesprekshistorie van een gebruiker direct consolideert in zijn gewichten via fine-tuning, in tegenstelling tot "extern" geheugen dat steunt op het ophalen van gegevens uit een archief. Hoewel intern geheugen belooft resistent te zijn tegen het falen van retrieval en naadloos te integreren met voorkennis, brengt het risico's met zich mee zoals hallucinaties en falen in directioneel leren. De specifieke onderzoeksvraag is: Wanneer een gesprek van werkelijke lengte wordt geconsolideerd in de gewichten van een model, welke informatie wordt opgeslagen en wat gaat er verloren? Specifiek: leert het model wie een feit heeft gezegd, of enkel wat er is gezegd?

Methodologie
De studie maakt gebruik van drie gesprekken van werkelijke lengte tussen twee personen uit de LoCoMo-benchmark (conv-42, conv-43, conv-48), die elk 629–681 beurten bevatten. Deze gesprekken bevatten een specifieke adversariële categorie (Categorie 5) die bekend staat als "swapped-person" vragen, waarbij een vraag over Spreker A gaat met betrekking tot een feit dat alleen Spreker B heeft genoemd. Het correcte gedrag voor het model is om te onthouden (abstain), aangezien het feit niet toebehoort aan Spreker A.

• Model & Consolidatie: Het basismodel is Qwen3-4B. De auteur gebruikt een LoRA (Low-Rank Adaptation) adapter (Rank 16) die getraind is op zelf gegenereerde vragen. Het basismodel leest gespreksvensters en schrijft korte antwoordvragen. Cruciaal is dat 15% van de vragen over één spreker "vallen" zijn waarbij de naam is omgewisseld, en het doelantwoord "Niet vermeld" is.
• Trainingsrecept (D1): De adapter wordt getraind op deze gegenereerde vragen voor drie epochs. Om catastrofaal vergeten van algemene kennis te voorkomen, koppelt een KL-divergentie term de adapter aan het basismodel op ankerteksten (SQuAD en chatverzoeken).
• Evaluatie: Het model wordt getest op de originele LoCoMo-benchmarkvragen (die het nooit tijdens de training heeft gezien) over vier armen: Basismodel zonder archief (B0), Geconsolideerd model zonder archief (D), Basis met archief (B0S), en Geconsolideerd met archief (DS).
• Interventie Varianten: Zeven vooraf geregistreerde varianten (D2–D6) werden getest om attributiefouten te herstellen met behulp van enkel gewichten of modelsignalen (bijv. inverse vragen, "ik weet het niet"-voorbeelden met omgewisselde sprekers, en confidentiedrempels).
• Herkomstcontrole (D7): Een model-vrije controle tegen het ruwe archief werd geïmplementeerd. Het vergelijkt de opgehaalde beurten voor het antwoord met de spreker die in de vraag wordt genoemd. Als het antwoord sterker overeenkomt met de beurten van de andere spreker, wordt het model gedwongen om te onthouden.
• Rigor: Alle experimenten waren vooraf geregistreerd. Labels werden gegenereerd door een LLM (Claude) volgens vaste regels, met strikte afhandeling van grensgevallen.

Belangrijkste Resultaten

1. Consolidatie werkt voor feiten, niet voor eigenaren:

   • Zonder archief onthoudt het basismodel (B0) bijna 100% van de vragen (0,00 nauwkeurigheid).
   • Het geconsolideerde model (D) haalt feiten succesvol op en bereikt 28–39% nauwkeurigheid op standaard benchmarkvragen (Categorieën 1–4) over de drie gesprekken.
   • Algemene kennis (TriviaQA) bleef stabiel, wat aantoont dat er geen detecteerbare schade is opgetreden door consolidatie.

2. De Attributiefout:

   • De dominante foutmodus is attributie. Bij "swapped-person" vragen onthoudt het geconsolideerde model zich slechts 9–39% van de tijd.
   • In plaats van te onthouden, geeft het model vaak zelfverzekerd het feit weer, ook al behoort het tot de verkeerde spreker. In ongeveer 30% van deze fouten komt het antwoord van het model overeen met een eerste persoon-beurt van de andere spreker.
   • Het model leert de associatie tussen onderwerp en antwoord, maar behandelt de naam van de spreker als een zwakke aanwijzing.

3. Ineffectiviteit van Fixes op basis van gewichten alleen:

   • Varianten die probeerden het model te leren te onthouden (D2–D6) met behulp van inverse vragen, "ik weet het niet"-voorbeelden of confidentiedrempels, slaagden er niet in om te repliceren op andere gesprekken.
   • Deze methoden creëerden een trade-off lijn: het verhogen van het onthouden bij "swapped-person" vragen ging gepaard met een hoge kost voor de algehele nauwkeurigheid (een verlies van 0,09–0,17 nauwkeurigheid voor elke 0,40 toename in onthouden).
   • De "ik weet het niet"-voorbeelden leerden het model de vorm van de valstrik aan, in plaats van de werkelijke kennisgrenzen. De confidence scores van het model waren niet te onderscheiden tussen correcte en incorrecte attributie (AUROC ~0,54–0,56 op de gehouden data).

4. Efficiëntie van Archiefcontroles:

   • De model-vrije herkomstcontrole (D7) tegen het ruwe archief presteerde aanzienlijk beter dan de methoden gebaseerd op gewichten alleen.
   • Het verhoogde het onthouden bij "swapped-person" vragen van ~0,17 naar 0,45–0,47, terwijl het slechts 0,005–0,042 aan nauwkeurigheid kostte.
   • Deze kost is één vijfde tot één halve van de kosten die de varianten op basis van gewichten alleen in rekening brachten bij hetzelfde niveau van onthouden.
   • Opmerking over Pre-registratie: In één van de twee runs overschreed het verlies in nauwkeurigheid (7,0%) de vooraf geregistreerde limiet van 5%, waardoor de auteur de controle als "niet geadopteerd" rapporteerde onder de eigen strikte regels, ondanks de aanzienlijke efficiëntiewinst.

Betekenis en Claims
Het paper concludeert dat het consolideren van een gesprek in de gewichten van een model "wat er gezegd is" opslaat, maar niet "wie het zei".

• Complementaire Rollen: De auteur stelt dat parametrisch geheugen (gewichten) en externe archieven complementair zijn. Gewichten zijn effectief voor het vasthouden van kennis, terwijl het archief essentieel is voor het vasthouden van herkomst (eigendom van feiten).
• Beperkingen van Huidige Oplossingen: Huidige technieken om modellen te dwingen te onthouden (via manipulatie van trainingsdata of confidentiedrempels) zijn inefficiënt omdat het model technisch gezien "correct" is over het feit, waardoor het moeilijk is voor interne signalen om de attributiefout te detecteren.
• Praktische Aanbeveling: Voor persoonlijke assistenten is het vertrouwen op enkel gewichtsconsolidatie onvoldoende voor accurate attributie. Het archief moet worden behouden, niet noodzakelijkerwijs voor elke retrieval, maar als een bron voor herkomstcontroles om de eigendom van sprekers te verifiëren.

De studie benadrukt dat hoewel intern geheugen een levensvatbaar mechanisme is voor kennisretentie, het momenteel niet de inherente capaciteit heeft om feiten aan specifieke sprekers te koppelen zonder externe verificatie.