When Not to Write Memory: Governing False Promotion from Correlated Agent Traces

Sintesi Tecnica: Quando non scrivere in memoria: governare la falsa promozione da tracce di agenti correlati

Definizione del Problema
Man mano che gli agenti linguistici a lungo termine generano sempre più memorie riutilizzabili dalle proprie tracce di esecuzione, è emurso un modo critico di fallimento della sicurezza: la falsa promozione. Il problema centrale è che le osservazioni ripetute attraverso più agenti non sono necessariamente prove indipendenti. Un'affermazione ripetuta da cinque agenti può rappresentare cinque scoperte indipendenti, oppure può rappresentare una singola nota obsoleta, un artefatto di un prompt condiviso, una fonte copiata o un eco indotto da uno strumento. Promuovere ingenuamente tali ripetizioni correlate in una memoria a lungo termine crea uno strato di persistenza per errori correlati. Il documento inquadra la sfida non su cosa ricordare, ma su quando rifiutare la scrittura in memoria, affrontando specificamente la governance dei percorsi di scrittura per tracce multi-agente correlate.

Metodologia: GovMem
Gli autori introducono GovMem, una politica di riferimento diagnostica conservativa e un agente-auditor laterale progettato per governare i percorsi di scrittura della memoria. Piuttosto che trattare la scrittura in memoria come un problema di riepilogo, GovMem la inquadra come una decisione di governance delle prove. Il sistema opera come un auditor indipendente dal compito che intercetta le memorie candidate prima che raggiungano l'archiviazione a lungo termine.

La pipeline GovMem esegue quattro passaggi:

1. Aggregazione dei Candidati: Aggrega le osservazioni con testi di affermazioni simili mantenendo al contempo i metadati di provenienza (fonte, famiglia di prompt, evento genitore, ambiente, fiducia).
2. Stima del Supporto Sensibile alle Dipendenze: Invece di contare le frequenze grezze o le fonti uniche, raggruppa le osservazioni per struttura di dipendenza. Le osservazioni che condividono prompt, strumenti, contesto intermedio o eventi genitori sono trattate come non indipendenti e non contano come voti separati.
3. Recupero di Controesempi e Assegnazione dello Scopo: Recupera potenziali controprove e controlla la compatibilità dello scopo target, riconoscendo che l'accordo testuale da solo è un segnale di fiducia non calibrato.
4. Routing della Decisione: In base alla verifica sensibile alle dipendenze, restituisce una di tre decisioni: PROMOTE (Promuovi), REJECT (Rifiuta) o NEEDS-REVIEW (Richiede Revisione).

Contributi Chiave

1. Identificazione del Modo di Fallimento: Il documento identifica la "falsa promozione" da osservazioni copiate, correlate ai prompt, obsolete, avversarie e fuori ambito come un modo di fallimento della memoria distinto e critico.
2. Formulazione della Governance: Riformula la scrittura della memoria come un problema di governance delle prove, indirizzando i candidati a promuovere, rifiutare o revisionare in base alla provenienza e alla dipendenza piuttosto che alla qualità del riepilogo.
3. Implementazione di GovMem: Lo implementa come una politica di agente laterale conservativa che audita le proposte di scrittura utilizzando il supporto sensibile alle dipendenze, i controesempi e i controlli dello scopo.
4. Valutazione Completa: Gli autori forniscono esperimenti meccanicistici controllati (GovMem-Bench), una valutazione su tracce reali interne etichettate da umani e stress test esterni, incluso un pacchetto ad alto impatto adjudicato da esseri umani.

Risultati Sperimentali
La valutazione abbraccia benchmark sintetici, tracce reali interne e stress test esterni per agenti di codifica.

• Test Sintetici Controllati (GovMem-Bench): Nelle impostazioni predefinite, GovMem-Verified ha ridotto il tasso di falsa promozione da 0,597 (baseline della frequenza grezza) a 0,040, mantenendo un richiamo (recall) di 0,960. Ciò è avvenuto a fronte di un carico di revisione esplicito di 0,151.
• Valutazione su Tracce Reali Interne: Su un sottoinsieme etichettato da umani di 120 candidati da 79 tracce, la promozione sensibile alle dipendenze ha ridotto la falsa promozione da 0,371 (baseline fonte+scopo) a 0,032. Tuttavia, questo guadagno di sicurezza ha richiesto un aumento significativo del carico di revisione (da 0,042 a 0,692) e un calo del richiamo diretto (da 0,985 a 0,448).
• Stress Test Esterni (Pacchetto V2 ad Alto Impatto): Un'ultima adjudicazione umana di 133 candidati ad alto impatto di agenti di codifica esterni ha prodotto un risultato severo: zero candidati sono stati ritenuti sicuri per la promozione automatica. Notevolmente, tutti gli 11 candidati che avevano superato un gate di verifica locale sono stati rifiutati dagli adjudicatori umani come boilerplate, artefatti di strumenti condivisi, dump di file o tracce di debugging non riutilizzabili.
• Confronti con Baseline: Una baseline di "revisione di tutte le correlazioni" (indirizzare tutte le prove non indipendenti agli umani) si è comportata sorprendentemente bene, quasi eguagliando la sicurezza di GovMem con un migliore richiamo e un minor carico nell'impostazione interna, suggerendo che GovMem sia un punto di design specifico in uno spazio di controllo del rischio piuttosto che una soluzione universalmente dominante.

Significatività e Rivendicazioni
Il documento si posiziona esplicitamente come un documento diagnostico e metodologico piuttosto che come la validazione di un efficiente scrittore di memoria automatica in generale.

• Rivendicazione di Sicurezza Diagnostica: Il contributo primario è dimostrare che i percorsi di scrittura governati, che trattano la ripetizione come prove correlate che richiedono controlli di provenienza e scopo, possono ridurre significativamente la falsa promozione.
• Limitazioni dell'Automazione: Gli autori avvertono che la promozione automatica rimane fragile quando le prove di verifica vengono estratte da tracce di agenti rumorose. I risultati esterni mostrano che i segnali di verifica superficiali (ad es. l'output di pytest, gli elenchi di file) sono spesso insufficienti per scritture di memoria sicure.
• Spazio di Design: GovMem è presentato come un punto in uno spazio di design del controllo del rischio, enfatizzando la provenienza esplicita e le decisioni conservative. Il documento sostiene che i percorsi di scrittura della memoria degli agenti dovrebbero essere valutati come sistemi di governance delle prove controllati dal rischio.
• Requisiti Futuri: Gli autori affermano che rivendicazioni più forti riguardo alla scrittura automatica della memoria richiedono una copertura esterna etichettata indipendentemente più ampia, prove di danno a valle eseguite e una verifica a livello di evento più forte, nessuna delle quali è pienamente stabilita in questo lavoro.

In sintesi, il documento sostiene che "la ripetizione non è una prova" per la memoria a lungo termine e propone un framework di governance per filtrare gli errori correlati, pur riconoscendo che gli attuali meccanismi di promozione automatica non sono ancora abbastanza robusti per la distribuzione senza una significativa revisione umana o ulteriore validazione.