When Not to Write Memory: Governing False Promotion from Correlated Agent Traces

Technische Samenvatting: Wanneer geen geheugen te schrijven: Het beheersen van valse promotie uit gecorreleerde agent-traces

Probleemstelling
Nu langdurige taalagenten steeds vaker herbruikbare herinneringen genereren uit hun eigen executietraces, is er een kritieke veiligheidsfoutmodus ontstaan: valse promotie. De kern van het probleem is dat herhaalde observaties over meerdere agenten niet noodzakelijkerwijs onafhankelijke bewijslast vormen. Een bewering die door vijf agenten wordt herhaald, kan vijf onafhankelijke ontdekkingen vertegenwoordigen, of het kan een enkele verouderde notitie, een gedeeld prompt-artefact, een gekopieerde bron of een door een tool geïnduceerde echo zijn. Het naïef promoten van dergelijke gecorreleerde herhalingen naar het langetermijngeheugen creëert een persistentielaag voor gecorreleerde fouten. Het artikel stelt de uitdaging niet als wat te onthouden, maar als wanneer het weigeren van het schrijven van geheugen noodzakelijk is, waarbij specifiek wordt ingegaan op de governance van write-paden voor gecorreleerde multi-agent traces.

Methodologie: GovMem
De auteurs introduceren GovMem, een conservatief diagnostisch referentiebeleid en een side-agent auditor, ontworpen om de write-paden van het geheugen te beheren. In plaats van het schrijven van geheugen te behandelt als een samenvattingsprobleem, frameert GovMem het als een evidence-governance beslissing. Het systeem functioneert als een taakonafhankelijke auditor die kandidaat-herinneringen onderschept voordat ze de langetermijnopslag bereiken.

De GovMem-pipeline voert vier stappen uit:

1. Kandidaat-aggregatie: Het aggregeert observaties met vergelijkbare claim-tekst terwijl de provenance-metadata (bron, prompt-familie, ouder-event, omgeving, vertrouwen) behouden blijft.
2. Afhankelijkheidsbewuste ondersteuningsschatting: In plaats van ruwe frequenties of unieke bronnen te tellen, groepeert het observaties op basis van hun afhankelijkheidsstructuur. Observaties die prompts, tools, tussenliggende context of ouder-events delen, worden behandeld als niet-onafhankelijk en tellen niet als aparte stemmen.
3. Tegengegenbewijs-retrieval & Scope-toewijzing: Het haalt potentieel tegenbewijs op en controleert de compatibiliteit van de doel-scope, in het besef dat tekstuele overeenstemming alleen een ongekalibreerd vertrouwenssignaal is.
4. Beslissingsroutering: Op basis van afhankelijkheidsbewuste verificatie geeft het een van drie beslissingen uit: PROMOTE (promoten), REJECT (afwijzen) of NEEDS-REVIEW (vereist beoordeling).

Belangrijkste Bijdragen

1. Identificatie van de foutmodus: Het artikel identificeert "valse promotie" door gekopieerde, prompt-gecorreleerde, verouderde, kwaadwillige en buiten-scope observaties als een onderscheidende en kritieke geheugenfoutmodus.
2. Governance-formulering: Het herformuleert het schrijven van geheugen als een evidence-governance probleem, waarbij kandidaten naar promotie, afwijzing of beoordeling worden gerouteerd op basis van provenance en afhankelijkheid in plaats van de kwaliteit van de samenvatting.
3. GovMem-implementatie: Het realiseert dit als een conservatief side-agent beleid dat write-voorstellen auditeert met behulp van afhankelijkheidsbewuste ondersteuning, tegenbewijs en scope-controles.
4. Uitgebreide Evaluatie: De auteurs bieden gecontroleerde mechanisme-experimenten (GovMem-Bench), een project-interne menselijke gold-trace evaluatie en externe stress-tests, inclus\nbij een finale door mensen beoordeelde high-impact pakket.

Experimentele Resultaten
De evaluatie omvat synthetische benchmarks, interne echte traces en externe coding-agent stress-tests.

• Gecontroleerde Synthetische Tests (GovMem-Bench): In de standaardinstellingen verminderde GovMem-Verified de foutieve promotie-ratio van 0,597 (raw frequency baseline) naar 0,040, terwijl een recall van 0,960 werd behouden. Dit ging gepaard met een expliciete review-last van 0,151.
• Interne Real-Trace Evaluatie: Op een door mensen gelabelde subset van 120 kandidaten uit 79 traces, verminderde de afhankelijkheidsbewuste promotie de foutieve promotie van 0,371 (source+scope baseline) naar 0,032. Deze veiligheidswinst vereiste echter een aanzienlijke toename in de review-last (van 0,042 naar 0,692) en een daling in directe recall (van 0,985 naar 0,448).
• Externe Stress-tests (V2 High-Impact Packet): Een finale menselijke beoordeling van 133 high-impact externe coding-agent kandidaten leverde een drastisch resultaat op: nul kandidaten werden als veilig beschouwd voor automatische promotie. Opvallend genoeg werden alle 11 kandidaten die een lokale verificatiepoort passeerden, door menselijke beoordelaars afgewezen als boilerplate, gedeelde tool-artefacten, file dumps of niet-herbruikbare debugging traces.
• Baseline Vergelijkingen: Een "review-all-correlated" baseline (waarbij alle niet-onafhankelijke bewijslast naar mensen wordt gerouteerd) presteerde verrassend goed en kwam bijna overeen met de veiligheid van GovMem, met een betere recall en lagere last in de interne setting, wat suggereert dat GovMem een specifiek ontwerppunt is in een risicocontrole-ruimte in plaats van een universeel dominante oplossing.

Betekenis en Claims
Het artikel positioneert zichzelf expliciet als een diagnostisch en methodisch artikel in plaats van een validatie van een algemeen efficiënte automatische geheugen-schrijver.

• Diagnostische Veiligheidsclaim: De primaire bijdrage is het aantonen dat beheerde write-paden, die herhaling behandelen als gecorreleerd bewijs dat provenance en scope-controles vereist, de foutieve promotie aanzienlijk kunnen verminderen.
• Beperkingen op Automatisering: De auteurs waarschuwen dat automatische promotie fragiel blijft wanneer verificatiebewijs wordt geëxtraheerd uit ruisige agent-traces. De externe resultaten tonen aan dat oppervlakkige verificatie-indicatoren (bijv. pytest output, file listings) vaak onvoldoende zijn voor veilige geheugen-writes.
• Ontwerpplek: GovMem wordt gepresenteerd als één punt in een risicocontrole-ontwerpplek, waarbij de nadruk ligt op expliciete provenance en conservatieve beslissingen. Het artikel stelt dat de write-paden van agent-geheugen moeten worden geëvalueerd als risicogestuurde evidence-governance systemen.
• Toekomstige Vereisten: De auteurs stellen dat sterkere claims over automatisch geheugen schrijven bredere onafhankelijk gelabelde externe dekking, downstream-harm bewijs en sterkere event-level verificatie vereisen, waarvan er geen volledig in dit werk zijn vastgesteld.

Samenvattend betogen het artikel dat "herhaling geen bewijs is" voor langetermijngeheugen en stelt het een governance-framework voor om gecorreleerde fouten te filteren, terwijl het erkent dat huidige automatische promotiemechanismen nog niet robuust genoeg zijn voor inzet zonder aanzienlijke menselijke beoordeling of verdere validatie.