🤖 AI

Improving Coherence and Persistence in Agentic AI for System Optimization

Il paper presenta Engram, un'architettura di agenti AI che supera i limiti di coerenza e persistenza nella ricerca euristica di sistemi complessi, organizzando l'esplorazione in cicli iterativi che salvano risultati e intuizioni in un archivio persistente per permettere ai futuri agenti di costruire su scoperte precedenti senza degradazione del contesto.

Autori originali: Pantea Karimi, Kimia Noorbakhsh, Mohammad Alizadeh, Hari Balakrishnan

Pubblicato 2026-03-24

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Pantea Karimi, Kimia Noorbakhsh, Mohammad Alizadeh, Hari Balakrishnan

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

🧠 Engram: Il Ricercatore AI che non dimentica mai nulla

Immagina di dover risolvere un problema di ingegneria molto complesso, come organizzare il traffico aereo globale o ottimizzare i costi di un server cloud. Per farlo, hai bisogno di un esperto umano che provi un'idea, la testi, fallisca, capisca perché ha fallito, e poi provi un'idea diversa basandosi su quella lezione.

Il problema è che le Intelligenze Artificiali (LLM) attuali, se lasciate sole, tendono a comportarsi in due modi disastrosi:

Sono come un topo in un labirinto che gira in tondo: Provano piccole modifiche al codice (come cambiare un numero da 5 a 6) sperando che funzioni, ma non riescono a fare un "salto di qualità" concettuale.
Hanno la memoria corta (o "amnesia"): Se un'AI lavora su un problema per troppo tempo, inizia a confondersi, dimentica le lezioni apprese all'inizio e ricomincia da capo ogni volta che prova qualcosa di nuovo.

Gli autori di questo paper (del MIT) hanno creato Engram, un nuovo sistema che risolve questi problemi. Ecco come funziona, usando delle analogie semplici.

🏗️ Il Problema: Due modi sbagliati di pensare

Per capire Engram, dobbiamo guardare come lavorano gli altri sistemi:

L'Approccio Evolutivo (Come un allevatore di piante):
Immagina di avere 100 piante. Ne misuri l'altezza (il punteggio), tagli via quelle corte e fai crescere i rami di quelle alte. Ripeti.
- Il difetto: Se la soluzione migliore richiede di cambiare completamente il tipo di pianta (es. da un albero a un fiore), questo metodo non ci arriva mai. Rimane bloccato a migliorare solo l'altezza di un albero che non è mai stato il migliore. Inoltre, non sa perché una pianta è cresciuta, sa solo che è alta.
L'Approccio Agente Singolo (Come un genio solitario):
Immagina un genio che lavora in una stanza senza finestre. Ha una lavagna enorme. Può pensare a lungo e fare collegamenti complessi.
- Il difetto: La lavagna è grande, ma non infinita. Dopo un po', la lavagna è piena di appunti confusi. Il genio inizia a dimenticare cosa ha scritto all'inizio ("amnesia") e perde il filo del discorso. Se si blocca, non può chiedere aiuto a nessuno perché è solo.

✨ La Soluzione: Engram, la "Squadra a Turni" con un Diario di Bordo

Engram non è un singolo robot, né una folla cieca. È una catena di ricercatori che si passano il testimone, ma con un segreto: hanno un diario di bordo indelebile.

Ecco come funziona il processo, passo dopo passo:

1. Il Ricercatore (L'Agente)

Immagina un team di investigatori che lavorano a turno su un caso.

Il Ricercatore A entra in scena. Ha una lavagna pulita (così non è confuso).
Prima di iniziare, legge il Diario di Bordo (chiamato Research Digest) lasciato dal Ricercatore precedente.
Il Diario non contiene tutto il codice o i log tecnici (che sarebbero troppo lunghi), ma solo le lezioni chiave: "Abbiamo provato X, ha fallito perché Y. La prossima volta proviamo Z."

2. Il Ciclo di Scoperta

Il Ricercatore A usa il Diario per capire dove non sono arrivati gli altri. Poi:

Idea: "Proviamo a usare la matematica invece della logica semplice."
Esperimento: Scrive il codice e lo testa.
Analisi: Guarda i risultati. Se fallisce, capisce perché. Se funziona, capisce perché.

3. Il Passaggio di Testimone (Handoff)

Quando il Ricercatore A finisce il suo turno (o si blocca), non lascia tutto lì.

Salva tutto il "materiale grezzo" (codice, log, grafici) in un Archivio (come una biblioteca fisica).
Scrive un Diario di Bordo sintetico e intelligente. Non dice "Ho scritto 500 righe di codice", ma dice: "Ho scoperto che il problema non è la velocità, ma la memoria. La prossima persona deve concentrarsi sulla gestione della memoria."
Poi, il Ricercatore A esce di scena.

4. Il Nuovo Arrivo

Entra il Ricercatore B.

Ha una lavagna pulita (niente confusione mentale).
Legge il Diario di Bordo. Sa esattamente cosa è stato provato, cosa ha funzionato e cosa no.
Non perde tempo a riscoprire l'acqua calda. Parte da dove A si è fermato, ma con una mente fresca e concentrata.

🚀 Perché è rivoluzionario?

Immagina di dover scalare una montagna molto alta.

Gli altri metodi sono come un gruppo di scalatori che si fermano ogni 10 metri, si dimenticano perché sono saliti, e ricominciano a cercare la strada da zero, o si fermano su un piccolo ripiano pensando di essere arrivati in cima.
Engram è come una catena umana dove ogni scalatore lascia un faro (il Diario) che dice: "Non andare a sinistra, c'è un burrone. Vai a destra, ho visto una strada che sembra buona, anche se ora sembra difficile".

Grazie a questo sistema, Engram è riuscito a:

Superare gli esperti umani: In un test su come inviare dati tra diversi cloud, Engram ha trovato una soluzione che costava meno di quella trovata dai migliori ingegneri umani.
Non arrendersi: Quando un'idea falliva e il punteggio peggiorava, Engram non si spaventava. Il "Diario" permetteva al prossimo agente di capire che era una fase temporanea e di continuare a spingere nella stessa direzione fino a trovare la soluzione.
Creare idee nuove: Ha scoperto strategie che nessun umano aveva mai pensato di provare, combinando concetti in modi originali.

🎯 In sintesi

Engram è un sistema che insegna alle Intelligenze Artificiali a lavorare come un team di ricerca scientifica ben organizzato:

Non dimenticano mai (grazie al Diario di Bordo).
Non si confondono (grazie al cambio frequente di agente).
Imparano dai fallimenti (grazie all'Archivio e alla sintesi).

È come se avessimo dato alle AI la capacità di avere una "memoria collettiva" che non si cancella mai, permettendo loro di risolvere problemi complessi che finora sembravano impossibili.

1. Il Problema: Limiti degli Approcci Attuali

La progettazione di euristiche ad alte prestazioni per i sistemi informatici è un processo creativo e iterativo che richiede ipotesi, sperimentazione e spostamenti concettuali multi-step. Sebbene i Large Language Models (LLM) mostrino potenziale nell'automatizzare questo ciclo, i metodi attuali falliscono su problemi complessi a causa di due modalità di errore critiche:

Bias del Vicinato Evolutivo (Evolutionary Neighborhood Bias): I sistemi di evoluzione del codice (es. OpenEvolve, FunSearch) propongono varianti di codice e le selezionano in base a un punteggio scalare. Questo approccio funziona bene per raffinamenti incrementali su un template stabile, ma fallisce quando i miglioramenti richiedono cambiamenti multi-step coordinati (es. riformulare il problema, accettare regressioni temporanee per cambiare famiglia algoritmica). Tendono a rimanere intrappolati in ottimi locali.
Il "Tetto di Coerenza" (The Coherence Ceiling): I framework agentici iterativi (es. Glia) permettono la formazione di ipotesi e la sperimentazione mirata, ma soffrono di degradazione del contesto ("context rot") su orizzonti temporali lunghi. Inoltre, esecuzioni indipendenti non accumulano conoscenza; ogni agente deve riscoprire le stesse intuizioni da zero, sprechendo risorse.

2. Metodologia: Architettura Engram

Gli autori presentano Engram, un'architettura di ricercatore agente progettata per decouplare l'esplorazione a lungo termine dai vincoli di una singola finestra di contesto. Engram organizza la ricerca come una sequenza di agenti che lavorano in modo iterativo, ma con un meccanismo di passaggio delle consegne strutturato.

Componenti Chiave:

Esplorazione Agente Singola: Ogni agente opera in un workspace con accesso a strumenti (esecuzione di codice, simulatori, analisi dati). Segue un ciclo scientifico strutturato: Ipotizzare → Implementare → Sperimentare → Analizzare.
Archivio Persistente (Archive): Al termine di ogni esecuzione, l'agente salva snapshot del codice, log di esecuzione e risultati grezzi in un archivio persistente.
Digest della Ricerca (Research Digest): Questo è il cuore dell'innovazione. L'agente distilla le intuizioni di alto livello, le diagnosi dei fallimenti e i risultati in un documento compatto e strutturato.
Handoff (Passaggio delle consegne): Quando un agente termina (o esaurisce il budget), un nuovo agente viene istanziato con una finestra di contesto pulita. Questo nuovo agente legge il Research Digest e l'Archivio per costruire sulle scoperte precedenti senza subire la degradazione del contesto tipica dei thread agentici lunghi.

Vantaggi dell'Architettura:

Coerenza: Il Research Digest mantiene la coerenza logica tra le sessioni, permettendo agli agenti di capire perché un approccio ha fallito, non solo il punteggio finale.
Persistenza: La conoscenza si accumula attraverso centinaia di tentativi senza degradare la qualità delle risposte dell'LLM.
Flessibilità: Gli agenti possono eseguire azioni libere (esecuzione di codice, analisi dati) invece di essere vincolati a template fissi.

3. Contributi Principali

Miglioramento della Coerenza a Lungo Termine: Introduzione di un meccanismo di handoff strutturato e di un archivio che permette un progresso cumulativo tra agenti, superando i limiti della finestra di contesto.
Scoperta di Nuove Euristiche Super-SOTA: Engram ha scoperto euristiche innovative in diversi domini che superano lo stato dell'arte (SOTA) umano e le basi evolutive.
Prestazioni Superiori su Problemi Diversi: Valutazione su nove problemi di sistemi (inclusi benchmark ADRS), dove Engram ha superato il SOTA umano in 8 casi su 9 e ha battuto o pareggiato OpenEvolve in tutte le categorie.

4. Risultati Sperimentali

Gli autori hanno valutato Engram su tre casi di studio principali:

A. Multicast Multi-Cloud

Obiettivo: Minimizzare il costo di trasferimento dati tra regioni cloud rispettando vincoli di tempo.
Risultato: Engram ha sintetizzato nuove euristiche basate su Programmazione Lineare Intera Mista (MILP) e Programmazione Dinamica (DP).
- Costo Migliore: $622 (rispetto al SOTA umano di $626).
- Confronto: Ha superato OpenEvolve, FunSearch, EoH e Glia.
- Insight: Engram è riuscito a persistere in un approccio di ottimizzazione anche quando i costi temporaneamente peggioravano (es. da $772 a$ 1104), diagnosticando il problema e continuando a rifinire la soluzione fino a raggiungere un ottimo globale, mentre gli approcci evolutivi rimanevano bloccati in euristiche greedy (Steiner tree).

B. Instradamento delle Richieste LLM (LLM Request Routing)

Obiettivo: Ridurre il tempo medio di risposta (RT) instradando richieste tra istanze LLM replicate.
Risultato: Engram ha scoperto una strategia di instradamento strutturata che combina ordinamento "Shortest-Prefill-First", limiti di coda sensibili alla fase di decodifica e guardie di utilizzo della memoria.
- Tempo di Risposta: 23.9 secondi (migliore rispetto al SOTA umano di 25.7s e a Glia).
- Innovazione: L'agente ha capito l'interazione tra pressione sulla memoria e contenzione nella fase di decodifica, andando oltre le semplici euristiche basate sulla lunghezza della coda.

C. Ottimizzazione della Riciclo KV Cache in Database (LLM-SQL)

Obiettivo: Riordinare righe e colonne in tabelle relazionali per massimizzare la riciclo della cache KV durante l'inferenza LLM.
Risultato: Engram ha raggiunto il punteggio medio migliore (0.721), superando leggermente Glia e OpenEvolve, convergendo più velocemente verso soluzioni di alta qualità.

5. Significato e Implicazioni

Il lavoro di Engram dimostra che per risolvere problemi complessi di ottimizzazione dei sistemi, l'AI non deve solo generare codice, ma deve imitare il processo di ricerca scientifica umana:

Accettazione della Non-Monotonicità: Engram è in grado di tollerare regressioni temporanee nei punteggi per esplorare famiglie algoritmiche promettenti (es. passaggio da euristiche greedy a solver MILP), cosa che i metodi evolutivi puri non fanno.
Gestione della Conoscenza: La separazione tra contesto attivo (finestra dell'LLM) e memoria a lungo termine (Digest/Archivio) risolve il problema della "coerenza" su lunghi orizzonti temporali, permettendo a sistemi multi-agente di agire come un unico ricercatore coerente nel tempo.
Generalizzazione: L'approccio è stato validato su domini eterogenei (reti, sistemi distribuiti, database), suggerendo che l'architettura è applicabile a una vasta gamma di problemi di ingegneria dei sistemi.

In sintesi, Engram rappresenta un passo avanti significativo verso l'automazione della ricerca di sistemi, superando i limiti attuali degli LLM nella pianificazione a lungo termine e nell'accumulo di conoscenza contestuale.