🤖 AI

MEMONDEMAND: A Memory Management System for Large-Scale Enterprise Data

MEMONDEMAND è un sistema di gestione della memoria scalabile per dati aziendali su larga scala che impiega una gerarchia dinamica multi-livello, una doppia separazione della memoria e una promozione on-demand per superare i metodi di recupero esistenti attraverso varie scale di dati e domini.

Autori originali: Xinyuan Song, Bowen Zhu, Hasibul Haque, Liang Zhao

Pubblicato 2026-08-25

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Xinyuan Song, Bowen Zhu, Hasibul Haque, Liang Zhao

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Nel mondo moderno, le grandi organizzazioni generano una quantità sbalorditiva di informazioni ogni giorno. Politiche, contratti, email, codice e registri si accumulano in enormi depositi digitali che possono contenere centinaia di milioni di documenti. Quando un essere umano ha bisogno di trovare un fatto specifico all'interno di questo oceano di dati, si affida agli strumenti di ricerca. Oggi, i sistemi di intelligenza artificiale vengono sempre più utilizzati per agire come questi strumenti di ricerca, leggendo i documenti e rispondendo alle domande. Tuttavia, questi sistemi di IA hanno un limite significativo: possono contenere solo una piccola quantità di informazioni nella loro memoria attiva in un dato momento, proprio come una persona che cerca di ricordare una conversazione mantenendo a mente solo le ultime frasi. Se la risposta si trova in profondità all'interno di una massiccia collezione di file, l'IA spesso la perde di vista o si confonde con dettagli irrilevanti. I ricercatori hanno cercato di risolvere questo problema fornendo all'IA una banca di memoria permanente, ma i metodi esistenti faticano a organizzare tali quantità di dati in modo efficiente senza sovraccaricare il sistema o perdere i dettagli precisi necessari per dimostrare che una risposta è corretta.

Un team di ricercatori ha introdotto un nuovo sistema chiamato MEMONDEMAND per risolvere questo problema. L'idea centrale è smettere di cercare di caricare tutti i documenti nella memoria attiva dell'IA contemporaneamente. Invece, il sistema costruisce una struttura flessibile e multistrato per i dati, simile al modo in cui una biblioteca organizza i libri in categorie ampie, poi sezioni e infine singoli scaffali. All'apice di questa struttura, il sistema conserva un riassunto compresso e ad alto livello delle informazioni. Questo riassunto è leggero e permette all'IA di scansionare rapidamente l'intera collezione per trovare quale area generale potrebbe contenere la risposta. Man mano che il sistema restringe il campo di ricerca, si sposta più in profondamente nei livelli, raggiungendo i documenti originali e dettagliati solo quando è assolutamente necessario. Questo approccio assicura che l'IA dedichi la sua limitata memoria ai fatti più rilevanti invece di sprecare spazio in testi irrilevanti.

I ricercatori hanno testato questo sistema su un enorme set di dati contenente 618 milioni di token di testo, che rappresenta una collezione di circa 500.000 documenti aziendali. Hanno confrontato il loro nuovo sistema con i più forti metodi attualmente disponibili. I risultati hanno mostrato che MEMONDEMAND era significativamente più accurato. Alla scala più piccola del loro test, con 10 milioni di token, il nuovo sistema ha migliorato la qualità delle risposte del 12,23 percento rispetto al precedente miglior metodo. Anche alla scala più grande, con l'intero corpus di 618 milioni di token, ha superato la concorrenza del 4,66 percento. Fondamentalmente, il sistema ha ottenuto questo risultato utilizzando molte meno risorse. Separando la memoria di "ricerca" dalla memoria della "risposta", il sistema ha ridotto la quantità di dati da elaborare per ogni domanda di oltre il 70 percento rispetto ai metodi che cercavano di caricare immediatamente i dettagli completi.

Una caratteristica chiave di questo sistema è la sua capacità di adattarsi nel tempo. Proprio come un essere umano potrebbe ricordare meglio un cassetto di un archivio utilizzato frequentemente rispetto a uno che apre raramente, il sistema impara quali parti dei dati sono più utili. Monitora quali documenti vengono consultati spesso e li mantiene prontamente disponibili, mentre sposta le informazioni meno utili o obsolete in secondo piano. Ciò avviene automaticamente senza che il sistema debba ricostruire l'intera struttura. I ricercatori hanno scoperto che questo comportamento adattivo ha permesso al sistema di prepararsi per nuove domande in soli 1,46 secondi, mentre un approccio tradizionale che cercava di preparare tutto in anticipo avrebbe richiesto quasi dieci minuti. Questa differenza di velocità evidenzia l'efficienza di preparare solo la memoria che è effettivamente necessaria per l'attuale compito.

Lo studio ha anche dimostrato che questo approccio funziona bene con diversi tipi di dati, non solo con i documenti aziendali specifici utilizzati nel test principale. Quando i ricercatori hanno applicato il sistema a documenti finanziari, domande di ragionamento complesso a più fasi e compiti di recupero di fatti, esso ha mantenuto prestazioni elevate. Ciò suggerisce che il metodo è abbastanza robusto da gestire la natura disordinata e mutevole delle informazioni del mondo reale. Il sistema non si limita a trovare risposte; assicura anche che ogni risposta sia accompagnata da una citazione chiara del documento sorgente esatto, preservando l'integrità dell'informazione. Gestendo la memoria in modo dinamico, il sistema permette all'intelligenza artificiale di lavorare efficacemente con librerie di dati che sono molto più grandi della capacità interna dell'IA stessa, colmando il divario tra i massicci record aziendali e la limitata capacità di attenzione degli attuali modelli di IA.

Sintesi Tecnica: MEMONDEMAND

Formulazione del Problema

I repository aziendali presentano una sfida di recupero unica caratterizzata da una scala massiccia (centinaia di milioni o miliardi di elementi), eterogeneità (policy, contratti, email, codice, ticket) ed evoluzione continua. I sistemi esistenti di Generazione Aumentata da Recupero (RAG) e di memoria affrontano tre limitazioni primarie quando applicati a questo dominio:

Gerarchia Rigida: Le tassonomie fisse o le gerarchie predefinite non riescono ad accomodare le diverse strutture delle differenti collezioni e dei diversi tenant aziendali.
Scambi Inefficienti di Memoria: I sistemi spesso impongono una scelta tra memoria compressa (efficiente per il routing ma soggetta a omettere dettagli critici) e memoria dettagliata (fedele alle fonti ma costosa da cercare e caricare).
Gestione dello Stato Statica: La preparazione preventiva di tutte le rappresentazioni di memoria spreca risorse su dati non utilizzati, mentre la mancata adattabilità ai cambiamenti dei carichi di lavoro porta a stati attivi obsoleti o irrilevanti.

Il problema centrale è progettare un sistema di memoria che supporti un recupero accurato e fedele alla fonte e una generazione su scale ultra-large, mantenendo l'efficienza e adattandosi ai pattern di query dinamici senza superare i budget di contesto.

Metodologia: MEMONDEMAND

MEMONDEMAND (On-Demand Memory) affronta queste sfide attraverso un design di gestione unificato composto da tre meccanismi coordinati:

1. Gerarchia Multi-livello Dinamica

Invece di una tassonomia fissa, MEMONDEMAND costruisce una gerarchia specifica per ogni collezione.

Costruzione: Partendo dai record sorgente di Livello 0 (L0), il sistema raggruppa le rappresentazioni distillate e propone livelli di astrazione superiori (L1, L2, ecc.). Un controller LLM valuta queste proposte sulla base della coerenza del gruppo, del rumore residuo e dei vincoli di budget, decidendo di CREARE (CREATE), RICLUSTERIZZARE (RECLUSTER) o FERMARSI (STOP).
Navigazione: Al momento della query, il recupero inizia dal livello più alto disponibile e scende gerarchicamente (L $\ell$ $\to$ L0). Questo approccio da grossolano a fine (coarse-to-fine) restringe efficacementamente lo spazio di ricerca preservando al contempo l'accesso diretto ai nodi sorgente L0 qualora le astrazioni di livello superiore manchino dei dettagli necessari.

2. Memoria Duale ad Ogni Livello

Per bilanciare il costo di recupero con la fedeltà dell'evidenza, ogni nodo nella gerarchia mantiene due rappresentazioni distinte:

Memoria Distillata: Una rappresentazione compatta contenente argomenti, entità, identificatori e fatti rilevanti per le decisioni. Viene utilizzata per un routing e un ranking efficienti durante la traversata della gerarchia.
Memoria Dettagliata: Il contenuto sorgente completo (a L0) o l'astrazione completa (ai livelli superiori). Questa non viene caricata durante il routing.
Selezione: Solo dopo che la traversata della gerarchia ha identificato i candidati L0 più rilevanti, il sistema carica la memoria dettagliata per le fonti con il ranking più alto che rientrano nel budget di token di risposta-input ( $B$ ). Ciò assicura che il modello di generazione riceva prove ricche senza incorrere nel costo di token del caricamento del contenuto completo per ogni candidato.

3. Promozione della Memoria On-Demand

MEMONDEMAND si adatta ai cambiamenti del carico di lavoro gestendo dinamicamente la priorità dei nodi sotto un budget di stato attivo limitato ( $K$ ).

Promozione: Quando un nodo viene accessato, un controller di promozione calcola un punteggio basato sulla rilevanza della query e sulla cronologia d'uso. Se il punteggio supera una soglia ( $\theta$ ), il nodo viene promosso, aumentando la sua priorità di recupero.
Decadimento e Demozione: I punteggi di ritenzione decadono nel tempo ( $\rho_t(v)$ ). Se lo stato attivo supera il budget $K$ , i nodi con ritenzione scaduta o punteggi bassi vengono demossi.
Efficienza: Questo meccanismo evita la preparazione "eager" (immediata) di tutte le rappresentazioni di livello superiore. Le rappresentazioni vengono costruite o prioritarizzate solo quando l'evidenza della query indica che sono utili, riducendo significativamente la computazione iniziale.

Contributi Chiave

Design del Sistema: Introduzione di MEMONDEMAND, un sistema di gestione della memoria che gestisce congiuntamente l'organizzazione gerarchica, la rappresentazione del recupero, il caricamento delle evidenze e gli aggiornamenti dello stato tra le query per dati aziendali su larga scala.
Tre Meccanismi Coordinati:
- Una gerarchia multi-livello dinamica che inferisce struttura e profondità per ogni collezione.
- Memoria duale ad ogni livello, separando il routing efficiente dalla risposta fedele alla fonte.
- Promozione on-demand che adatta la priorità dei nodi ai cambiamenti del carico di lavoro entro un budget limitato.
Validazione Empirica: Dimostrazione del funzionamento con successo su scale ultra-large (fino a 618M di token) con significativi guadagni di performance rispetto ai baseline esistenti.

Risultati

Il sistema è stato valutato su EnterpriseRAG-Bench (500k documenti, fino a 618M di token) e tre benchmark esterni (FinanceBench, HotpotQA, FRAMES).

Performance di Scalabilità: MEMONDEMAND ha superato il più forte baseline pubblicato (LB#1) in tutte le scale.
- A 10M di token, ha ottenuto un guadagno del 12,23% nel punteggio combinato.
- Sulla collezione completa di 618M di token, ha mantenuto un guadagno del 4,66% (72,88% vs 68,22%).
- Ha raggiunto l'80,0% di Correttezza e il 74,28% di Completezza alla scala maggiore, nonostante un calo nel Document Recall (48,77%), indicando che il sistema privilegia prove di alta qualità rispetto al mero volume.
Efficienza:
- Riduzione dei Token: Il caricamento selettivo della memoria dettagliata ha ridotto i token di risposta-input del 70,2% (alla scala di 20M) rispetto al caricamento della memoria dettagliata per tutti i candidati, mantenendo un'alta qualità.
- Tempo di Preparazione: La promozione on-demand ha ridotto il tempo di esecuzione (wall time) per la preparazione delle rappresentazioni genitoriali da un valore stimato di 593,5 secondi (preparazione eager) a 1,46 secondi, una riduzione di 407 $\times$ .
Generalizzazione: Il sistema ha mantenuto prestazioni solide su FinanceBench (80,0% DocRcl), HotpotQA (78,4% Correttezza) e FRAMES (88,76% DocRcl), provando la sua applicabilità oltre il benchmark aziendale primario.

Significato e Rivendicazioni

L'articolo sostiene che MEMONDEMAND stabilisca una soluzione pratica, accurata e scalabile per estendere la memoria dei Large Language Models (LLM) oltre i limiti della finestra di contesto del modello verso scale ultra-large.

Scalabilità: Dimostra che i sistemi di gestione della memoria possono operare efficacemente alla scala di centinaia di milioni di token, un regime in cui il recupero standard o gli approcci a contesto fisso falliscono.
Fedeltà alla Fonte: Separando il routing (distillato) dall'evidenza (dettagliata) e imponendo regole di citazione rigorose, il sistema assicura che i record compressi guidino l'accesso senza sostituire le fonti autorevoli.
Adattabilità: Il meccanismo di promozione on-demand dimosta che la memoria aziendale può adattarsi ai cambiamenti di dati e carichi di lavoro senza incorrere nei costi proibitivi della pre-computazione completa.

Gli autori segnalano alcune limitazioni, tra cui il fatto che i risultati si basano su singole esecuzioni (la varianza non è stata studiata) e che il Document Recall diminuisce alle scale più grandi, suggerendo che un forte recupero delle fonti non garantisce sempre la perfetta correttezza della risposta. Il lavoro futuro suggerito esplora domini più ampi e flussi di query più lunghi.