💬 NLP

Total Recall at What Cost? Benchmarking the Serving Cost of Agentic Memory Systems

Questo articolo analizza i costi di servizio e l'accuratezza di tre sistemi di memoria agentica rispetto alle strategie standard, rivelando che i costi sono determinati dai comportamenti interni del sistema piuttosto che dalla sola lunghezza della conversazione, variano significativamente tra diversi backbone e sistemi, e comportano un compromesso in cui nessuna singola soluzione ottimizza contemporaneamente sia il costo che l'accuratezza.

Autori originali: Natchanon Pollertlam, Witchayut Kornsuwannawit

Pubblicato 2026-08-13

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Natchanon Pollertlam, Witchayut Kornsuwannawit

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di parlare con un amico robot molto intelligente, ma un po' smemorato. State chiacchierando da settimane, condividendo storie, progetti e segreti. Ora, vuoi chiedere: "Ti ricordi quel posto che pizza di cui abbiamo parlato tre settimane fa?". Se il robot non ha memoria, devi raccontargli l'intera storia della vostra amicizia dal primo giorno ogni singola volta che fai una domanda. È come spedire uno zaino enorme e pesante pieno di ogni parola che hai mai detto al robot solo per fare una semplice domanda. Funziona, ma diventa pesante, lento e costoso molto rapidamente.

Per risolvere questo problema, gli ingegneri hanno costruito dei "sistemi di memoria". Invece di portare uno zaino intero, il robot scrive piccoli appunti, fatti o riassunti in un quaderno speciale. Quando fai una domanda, lui deve solo sfogliare la pagina giusta e leggere l'appunto. Questo sembra perfetto: più leggero, più veloce e più economico. Ma ecco il trucco: scrivere gli appunti, organizzarli e trovare la pagina giusta richiede comunque lavoro. La grande domanda è: il robot risparmia denaro usando il quaderno, o il costo di gestire il quaderno rende l'intero processo più costoso rispetto al semplice trasporto dello zaino pesante? Questo articolo si addentra proprio in questo mistero, misurando il prezzo reale di questi trucchi di memoria per vedere se ne vale davvero la pena.

Lo scontro finale sui costi della memoria

In questo studio, i ricercatori hanno organizzato una vera e propria corsa per vedere quanto costi realmente mantenere viva la memoria di un chatbot. Non si sono limitati a indovinare; hanno condotto un esperimento controllato con tre diversi "sistemi di memoria" (pensa a loro come a tre diversi modi di organizzare quel quaderno): Mem0, Hindsight e Mastra Observational Memory.

Per rendere il test equo, hanno confrontato questi sistemi di memoria con due strategie estreme:

La "Finestra Scorrevole" (Il baseline economico): Questa è come ricordare solo le ultime 10 cose che hai detto. È super economica, ma dimentica tutto il resto.
La "Trascrizione Completa" (Il baseline costoso): Questo è il metodo dello "zaino pesante". Ogni singola volta che fai una domanda, il robot rilegge l'intera cronologia della vostra conversazione dalla prima parola.

Hanno fatto passare questi sistemi attraverso conversazioni fino a 400 turni (ovvero 400 messaggi di andata e ritorno) e li hanno testati su 665 domande specifiche per vedere se il robot ricordava effettivamente le cose giuste. Hanno anche testato due diversi "cervelli" (modelli di base) per il robot, per vedere se il tipo di cervello cambiava il costo.

La grande sorpresa: non puoi prevedere il prezzo

La prima grande scoperta è che non puoi guardare solo quanto è lunga la conversazione o quanto sono grandi i messaggi per indovinare il costo. I ricercatori hanno cercato di costruire una semplice formula matematica per prevedere il costo in base alla lunghezza della conversazione e alla dimensione dei messaggi.

Per le strategie "Trascrizione Completa" e "Finestra Scorrevole", la matematica funzionava perfettamente. Se sai quante parole hai inviato, sai esattamente quanto costa.
Per i Sistemi di Memoria, la matematica falliva miseramente. La formula sbagliava il costo effettivo del 18% al 69%.

Perché? Perché il costo di un sistema di memoria non riguarda solo quanto parli; riguarda ciò che il sistema sta facendo internamente mentre parli. A volte il sistema decide di scrivere un lungo riassunto, altre volte prende solo un fatto veloce. A volte riorganizza tutto il suo quaderno. Queste decisioni interne sono guidate dal contenuto della conversazione, non solo dalla sua lunghezza. È come cercare di prevedere il costo di un viaggio su strada guardando solo la mappa, senza sapere se l'autista farà una sosta per un pranzo elegante o prenderà solo una barretta energetica. Il "pranzo" (l'elaborazione interna) varia enormemente, rendendo il conto totale imprevedibile.

Il "Punto di Pareggio": Quando il quaderno ripaga?

I ricercatori si sono posti una domanda cruciale: A che punto l'uso di un sistema di memoria diventa più economico rispetto al semplice rileggere l'intera cronologia?

La risposta è: Dipende interamente dal sistema e dal cervello del robot.

Mastra Observational Memory era il velocista. In alcuni casi, era più economico del metodo "Trascrizione Completa" fin dal primissimo turno (Turno 0).
Mem0 impiegava un po' più di tempo, solitamente raggiungendo il pareggio intorno al Turno 82, ma solo se i messaggi erano ragionevolmente lunghi.
Hindsight era il più lento. In molti casi, non è diventato più economico del metodo "Trascrizione Completa" nemmeno dopo 400 turni. In effetti, per alcune configurazioni, era ancora più costoso alla fine del test.

Questo significa che se hai una conversazione breve, usare un sistema di memoria complesso potrebbe in realtà costare più del semplice inviare nuovamente l'intera cronologia della chat. Devi parlare per un certo periodo di tempo (il "punto di pareggio") prima che il sistema di memoria inizi a farti risparmiare denaro.

Accuratezza vs Costo: Non esiste un pasto gratis

Lo studio ha anche verificato se i sistemi di memoria fossero effettivamente bravi a rispondere alle domande. I risultati hanno mostrato una vasta gamma di prestazioni:

L'accuratezza variava dal 21% al 54%.
Mem0 aveva le oscillazioni di accuratezza più grandi, andando bene con alcuni cervelli robotici e male con altri.
Hindsight era generalmente il più accurato (spesso sopra il 50%), ma era anche il più costoso da gestire.
Mastra era un performer di via di mezzo, ma spesso il più efficace in termini di costi se si considerava quanti risultati corretti forniva.

I ricercatori hanno scoperto che la scelta del "cervello" del robot (il modello di base) contava tanto quanto la scelta del sistema di memoria. Un sistema di memoria che era economico su un cervello robotico poteva essere costoso su un altro.

Il Verdetto Finale

L'articolo conclude che non esiste un unico "miglior" sistema di memoria.

Se vuoi l'opzione più economica per ogni risposta corretta su un determinato cervello robotico, Mastra sul cervello gpt-oss-20b è stato il vincitore (costando circa $0,028 per risposta corretta a 100 turni).
Se usi un cervello robotico diverso (Gemma 4 26B A4B), Mem0 diventa l'opzione più economica.
Hindsight, pur essendo accurato, è spesso troppo costoso per valere la pena, a meno che la conversazione non sia molto lunga.

Il punto principale è che non puoi scegliere un sistema di memoria solo perché suona bene. Devi guardare la tua situazione specifica: Quanto sarà lunga la conversazione? Quanto sono grandi i messaggi? E quale cervello robotico stai usando? Solo allora potrai sapere se il sistema di memoria ti farà risparmiare denaro o se aggiungerà solo una voce alla tua fattura. La "Memoria Totale" di un sistema di memoria ha un costo, e tale costo è molto più complesso del semplice conteggio delle parole che digiti.

Riepilogo Tecnico: Total Recall a che costo? Analisi comparativa del costo di servizio dei sistemi di memoria agentica

Definizione del Problema

Poiché gli agenti conversazionali stanno passando da dimostrazioni a sessione singola a implementazioni a lungo termine che durano settimane o mesi, essi richiedono meccanismi per trattenere le informazioni attraverso i turni. Esistono due strategie primarie: (1) Risottomissione della trascrizione completa, in cui l'intera cronologia della conversazione viene inviata nuovamente alla finestra di contesto dell'LLM ad ogni turno, e (2) Sistemi di memoria agentica, che distillano le interazioni passate in record compatti (fatti, riassunti, grafi di conoscenza) e recuperano solo i sottoinsiemi rilevanti.

Sebbene i sistemi di memoria siano adottati per sfuggire alla crescita incontrollata dei costi della risottomissione della trascrizione completa, il reale costo di servizio di questi sistemi rimane scarsamente compreso. Le valutazioni esistenti si concentrano quasi esclusivamente su accuratezza e richiamo (recall), riportando spesso cifre isolate di risparmio di token in condizioni specifiche. Manca un benchmarking sistematico e cross-system che misuri il costo di servizio end-to-end dei sistemi di memoria rispetto a baseline trasparenti, accoppiato a metriche di accuratezza. Di conseguenza, i professionisti non possono determinare se un sistema di memoria sia economicamente vantaggioso rispetto alla semplice risottomissione della trascrizione.

Metodologia

Gli autori hanno condotto un benchmark controllato valutando tre sistemi di memoria agentica contro due strategie di riferimento attraverso due modelli backbone e diversi livelli di sforzo di ragionamento.

Sistemi Valutati

Mem0: Un sistema di estrazione e recupero piatto che memorizza fatti atomici in un database vettoriale.
Hindsight: Un sistema che utilizza una pipeline di ritenzione–richiamo–riflessione per l'ingestione della memoria.
Mastr Osservational Memory: Un ciclo osservatore–riflettore–attore con consolidamento attivato da soglie.
Strategie di Riferimento:
- Rolling Window (Floor): Una finestra di dimensione fissa degli ultimi 10 turni (senza archiviazione persistente).
- Full History (Ceiling): Risottomissione dell'intera trascrizione ad ogni turno.

Design Sperimentale

Backbone: Valutati su gpt-oss-20b e Gemma 4 26B A4B a livelli di sforzo di ragionamento "low" e "medium".
Carico di Lavoro: Conversazioni sintetiche generate con lunghezze specifiche ( $N$ ) e dimensioni di token per turno ( $L$ ), fino a 400 turni.
Misurazione del Costo: Lo studio ha modellato il totale dei token di input fatturabili attraverso tre fasi della pipeline: Ingest (estrazione dei fatti/consolidamento), Retrieval (recupero), e Answer (risposta).
Modello di Costo: È stato applicato un modello di regressione log-log separabile per predire il costo ( $C$ ) basato sulla dimensione del messaggio ( $L$ ) e sulla profondità della conversazione ( $t$ ):
$\log(C+1) = a + p\log(L+1) + q\log(t+1)$
dove $p$ rappresenta la sensibilità del costo alla dimensione del messaggio e $q$ alla profondità della conversazione.
Benchmark di Accuratezza: Accoppiato alle misurazioni del costo, l'accuratezza è stata valutata su un sottoinsieme stratificato del benchmark LoCoMo (665 domande attraverso dialoghi multi-sessione).
Validazione: I modelli sono stati validati utilizzando la cross-validazione leave-one-cell-out (LOOCV) per testarne la generalizzabilità.

Risultati Chiave

1. Modellazione del Costo e Prevedibilità

Strategie di Riferimento: Il modello di costo si adatta eccezionalmente bene alle strategie di riferimento ( $R^2 \geq 0.91$ ). La baseline della cronologia completa mostra $p \approx q \approx 1$ (il costo scala con il contenuto totale), mentre la finestra mobile mostra $p \approx 0.9$ ma $q \approx 0.1$ (il costo scala con la dimensione del messaggio ma è piatto rispetto alla profondità).
Sistemi di Memoria: Il modello fallisce nel predire i costi dei sistemi di memoria.
- Mem0: $p \approx 0.17, q \approx 0.08$ (bassa sensibilità a entrambi).
- Hindsight: $p \approx 0.15, q \approx 0.42$ (alta sensibilità alla profondità).
- Mastra OM: $p \in [0.61, 0.79], q \in [0.23, 0.36]$ .
- Errore su Dati Non Visti (Held-out Error): Mentre le baseline generalizzano con un errore <6.5%, i sistemi di memoria mostrano un errore del 18–69% nella validazione su dati non visti. Ciò indica che il costo di servizio dei sistemi di memoria è guidato dallo stato interno della memoria (es. soglie di attivazione, tassi di consolidamento) piuttosto che dalla semplice lunghezza della conversazione o dalla dimensione del messaggio.

2. Analisi del Punto di Pareggio (Break-Even Analysis)

Lo studio ha calcolato il "break-even turn"—il punto in cui un sistema di memoria diventa più economico della risottomissione della trascrizione completa.

Alta Variabilità: Il punto di pareggio è altamente sensibile al sistema, al backbone e al carico di lavoro.
- Mastra OM: Può raggiungere il pareggio immediatamente (turno 0) o entro decine di turni.
- Mem0: Raggiunge il pareggio entro decine di turni per messaggi grandi, ma può impiegare fino a 342 turni per messaggi piccoli.
- Hindsight: Spesso non riesce a raggiungere il pareggio entro 400 turni, specialmente con dimensioni di messaggio ridotte.
Magnitudo: Una volta raggiunto il pareggio, un sistema di memoria può essere fino a 12.7 volte più economico della risottomissione della cronologia completa. Al contrario, i sistemi che non raggiungono il pareggio (come Hindsight con messaggi piccoli) possono costare fino a 3.3 volte di più rispetto alla trascrizione completa.

3. Trade-off tra Costo e Accuratezza

Range di Accuratezza: L'accuratezza su LoCoMo è variata significativamente (21%–54%) a seconda del sistema e del backbone.
Nessun Sistema Dominante: Nessun singolo sistema vince sia in termini di costo che di accuratezza.
- Mastra OM su gpt-oss-20b (low effort) ha ottenuto il costo per risposta corretta più basso ($0.028 a 100 turni).
- Mem0 su Gemma 4 26B A4B è stata l'opzione più efficiente dal punto di vista dei costi per quel backbone.
- Hindsight è stato generalmente il più costoso da servire, sebbene abbia ottenuto un'accuratezza superiore in alcune configurazioni.
Impatto del Backbone: La scelta del modello backbone influenza il costo tanto quanto la scelta del sistema di memoria. Ad esempio, il costo di Mem0 è sceso significativamente su Gemma 4 26B A4B grazie a un minor utilizzo di token di ragionamento rispetto a gpt-oss-20b.

Significato e Rivendicazioni

Il paper sostiene di fornire il primo benchmark controllato e cross-system dei costi di servizio della memoria agentica accoppiato all'accuratezza. I suoi principali contributi e scoperte sono:

Il Costo è Non Lineare e Dipendente dallo Stato: Il costo di servizio di un sistema di memoria non può essere predetto esclusivamente dalla lunghezza della conversazione e dalla dimensione del messaggio. Il comportamento interno della pipeline di memoria (trigger, consolidamento) guida la varianza del costo, rendendo i semplici modelli di regressione insufficienti per la predizione.
Viabilità Economica Dipendente dal Contesto: Se un sistema di memoria è più economico della risottomissione della trascrizione completa non è una proprietà intrinseca del sistema, ma una funzione del carico di lavoro (lunghezza della conversazione, dimensione del messaggio) e del modello backbone. I punti di pareggio vanno dall'immediato al "mai" entro 400 turni.
Processo Decisionale Congiunto: I professionisti non possono ottimizzare il costo o l'accuratezza isolatamente. La scelta del modello backbone e del sistema di memoria sono accoppiati; un backbone che riduce il costo per un sistema di memoria può aumentarlo per un altro.
Limiti dei Benchmark Attuali: Lo studio evidenzia come i benchmark esistenti focalizzati solo sull'accuratezza trascurino il vincolo di produzione critico del costo di servizio, e come gli attuali modelli di costo per la memoria siano descrittivi piuttosto che meccanicistici.

Gli autori concludono che la selezione di un sistema di memoria richiede un'analisi specifica della lunghezza prevista della conversazione e del backbone scelto, poiché non esiste un sistema universalmente "migliore" in tutti i contesti.