MEMAUDIT: An Exact Package-Oracle Evaluation Protocol for Budgeted Long-Term LLM Memory Writing

Sintesi Tecnica di MEMAUDIT

Enunciato del Problema
Gli agenti LLM a lungo termine affrontano la sfida di comprimere flussi di interazioni passate in una memoria persistente prima che siano note le future query. I protocolli di valutazione esistenti misurano tipicamente l'accuratezza finale nel rispondere alle domande (QA). Gli autori sostengono che questo approccio è difettoso perché intreccia tre modalità di fallimento distinte: la scrittura della memoria (selezione e rappresentazione), il recupero e il ragionamento del lettore. Un sistema può fallire perché ha memorizzato la memoria sbagliata, perché il recuperatore ha perso una buona memoria, o perché il lettore ha ignorato le prove; l'accuratezza QA finale da sola non può isolare quale livello ha fallito. Inoltre, i sistemi distribuiti spesso memorizzano elementi in forme troppo costose per il budget target o non riescono a selezionare la rappresentazione ottimale (ad esempio, span grezzo vs. fatto estratto vs. tombstone) da un insieme di candidati.

Metodologia: Il Protocollo MEMAUDIT
Il documento introduce MEMAUDIT, un protocollo di valutazione esatto tipo "oracolo di pacchetto" progettato per valutare il livello di scrittura della memoria in isolamento. L'unità fondamentale di valutazione è il pacchetto MEMAUDIT, che trasforma il problema della selezione della memoria in un problema di ottimizzazione finito, auditabile, con un denominatore certificato.

• Definizione del Pacchetto: Un pacchetto $P$ è definito da un flusso di esperienze fisso, un insieme di rappresentazioni candidate della memoria (ad esempio, testo grezzo, fatti, riassunti, tombstone), costi di archiviazione, unità di prova semantiche, requisiti di query future e un budget di archiviazione $B$.
• Vincoli di Fattibilità: L'archivio di memoria fattibile $X$ deve soddisfare due vincoli:
  1. Vincolo dello Zaino: Il costo totale $\sum c_u \le B$.
  2. Vincolo del Matroide di Partizione: Al massimo una rappresentazione è scelta per esperienza ($|X \cap G_i| \le 1$), forzando una scelta di rappresentazione piuttosto che mantenere tutte le varianti.
• Funzione Obiettivo: L'utilità di un archivio è definita da un obiettivo di copertura semantica concava-sopra-modulare:
  $$F(X) = \sum_{r \in R} w_r h_r \left( \sum_{u \in X} a_{ur} \right)$$
  Dove $R$ sono le unità di prova, $w_r$ sono i pesi di importanza, $a_{ur}$ è la copertura dell'unità $r$ da parte della memoria $u$, e $h_r$ è una funzione concava, non decrescente (che defaulta a $\min(1, z)$). Questa struttura garantisce rendimenti decrescenti per la copertura duplicata della stessa unità di prova.
• Ottimizzazione Esatta: Il protocollo calcola l'ottimo esatto del pacchetto ($OPT_P(B)$) utilizzando solver branch-and-bound e certifica i risultati con Programmazione Lineare Intera Mista (MILP). Questo fornisce un denominatore di verità fondamentale contro cui qualsiasi scrittore può essere valutato.
• Denominatore di Unione per Sistemi Esterni: Per valutare sistemi reali (come Mem0, Letta, A-Mem) che potrebbero generare memorie al di fuori dell'insieme di candidati predefinito, il protocollo utilizza un pacchetto di unione. Le memorie esportate vengono aggiunte come candidati di prima classe con righe di copertura giustiziate. Il punteggio è il rapporto tra l'utilità raggiunta dal sistema e l'utilità ottimale raggiungibile da qualsiasi sottoinsieme dell'unione (candidati originali + esportazioni del sistema). Questo distingue tra qualità di estrazione (quanto contenuto utile è stato trovato) e qualità di selezione (quanto bene è stato scelto sotto vincoli di budget).

Contributi Chiave

1. Definizione di un Oracolo di Pacchetto Finito: Il documento definisce un quadro rigoroso per la scrittura della memoria con budget, dotato di un denominatore riproducibile e certificato, separando la qualità al momento della scrittura dal recupero e dal ragionamento a valle.
2. Struttura di Copertura Semantica: Istanzia una nota struttura di copertura submodulare concava-sopra-modulare per modellare la conservazione della memoria semantica, gestendo esplicitamente gli stati di validità (ad esempio, tombstone per invalidare vecchi fatti) come unità di prova positive piuttosto che come penalità negative.
3. Solver Esatti e Baseline: Gli autori forniscono ottimi esatti del pacchetto tramite branch-and-bound e certificazione MILP. Introducono una baseline di riferimento Group Value-Threshold (GVT) che utilizza margini esatti per calibrare il sistema, e dimostrano che le euristiche basate solo sulla densità possono essere arbitrariamente scadenti.
4. La Suite MEMAUDIT: Una release di dataset e strumenti che include:
   • Pacchetti Esatti Controllati: Ambienti sintetici (MEMAUDIT-Small) con grafi di eventi nascosti per testare le scelte di rappresentazione.
   • Test di Stress Pesanti sulla Validità: Scenari specificamente progettati per testare la conservazione della verità corrente rispetto a fatti obsoleti (ad esempio, catene di aggiornamento, intervalli temporali).
   • Pacchetti Naturali ed Esportati: Un sottoinsieme "Natural-87" auditato da umani derivato da slice di conversazione realistiche, e archivi di memoria esportati da Mem0, A-Mem e Letta valutati secondo lo stesso protocollo.

Risultati

• Separazione dei Livelli: Negli esperimenti controllati, MEMAUDIT isola con successo la qualità della rappresentazione. Ad esempio, un'euristica "solo densità" (che sceglie l'elemento con il valore per costo più alto) fallisce sistematicamente nel preservare le unità di stato di validità (tombstone), raggiungendo solo il 26–36% dell'OPT esatto su budget stretti, mentre la baseline GVT rimane vicina all'ottimo.
• Importanza dei Candidati di Validità: Rimuovere i candidati di tombstone/aggiornamento-composto dall'insieme dei candidati riduce l'utilità massima raggiungibile (OPT) in margini significativi (ad esempio, scendendo a ~52–81% dell'OPT completo a seconda del budget), dimostrando che i colli di bottiglia nella generazione dei candidati sono distinti dai colli di bottiglia nella selezione.
• Diagnostica dei Sistemi Esterni: Quando applicato agli archivi esportati:
  • Mem0: Mostra un alto limite "potato dall'alto" (indicando una buona estrazione di prove utili) ma un rapporto di archivio selezionato inferiore, identificando la selezione consapevole del budget come il principale collo di bottiglia.
  • Letta: Raggiunge forti rapporti di unione potati per salienza, indicando una selezione efficace dei contenuti rilevanti.
  • A-Mem: Preserva le prove in note ricche, ma la dimensione serializzata spesso supera i budget stretti, risultando in un punteggio zero per le visualizzazioni dell'archivio completo a meno che non vengano compattate.
• Stabilità: Il protocollo è robusto alle variazioni del modello di costo (ad esempio, conteggio delle parole vs. sovraccarico in byte) e al rumore di annotazione, con etichette validate da umani che preservano le classifiche rispetto alle etichette giustiziate dal modello.

Significato e Affermazioni
Il documento afferma che MEMAUDIT fornisce uno strumento diagnostico necessario per il livello di scrittura della memoria che il QA end-to-end non può offrire. Congelando l'insieme dei candidati, i costi e le unità di prova, risponde alla domanda specifica: "Dato questo pacchetto, quanto del valore semantico fattibile del pacchetto è stato preservato dallo scrittore?"

Gli autori sottolineano che questo è un diagnostico al momento della scrittura, non un sostituto per la valutazione dell'assistente end-to-end. Il suo significato risiede in:

1. Localizzazione: Individua se i fallimenti derivano dalla generazione dei candidati, dalla scelta della rappresentazione o dalla selezione consapevole del budget, piuttosto che confonderli con errori di recupero o del lettore.
2. Riproducibilità: Offre un denominatore deterministico e auditabile (l'OPT esatto) invece di affidarsi a QA stocastici a valle.
3. Comparabilità: Permette a sistemi eterogenei (con diverse rappresentazioni interne) di essere valutati su una verità fondamentale semantica condivisa tramite il denominatore di unione.

Il documento rimane modesto, notando che Natural-87 è un "primo pacchetto naturale auditato" e tagliato per il supporto, destinato alla diagnostica piuttosto che come benchmark finale su intero mucchio di fieno. Non afferma di risolvere l'intero problema della memoria a lungo termine, ma fornisce l'"oracolo di pacchetto esatto" necessario per valutare rigorosamente i componenti di compressione e selezione.