Riepilogo Tecnico: MILES (Modular Instruction Memory with Learnable Selection)

Formulazione del Problema

I Large Language Models (LLM) hanno dimostrato significative capacità di ragionamento attraverso tecniche di computazione al tempo di test (test-time computation) come la Chain-of-Thought (CoT), la Self-Consistency e la Tree Search. Tuttavia, gli approcci esistenti trattano in gran parte ogni problema in isolamento. In scenari pratici in cui i problemi arrivano sequenzialmente, i modelli non riescono ad accumulare e riutilizzare l'esperienza tra query correlate. L'aggiornamento dei parametri del modello per ogni nuovo problema è spesso impraticabile, in particolare per modelli chiusi o congelati (frozen).

Sebbene esistano metodi di memoria esterna, essi soffrono di critiche limitazioni:

1. Scarsa Generalizzazione: I metodi che memorizzano template o strategie di intera soluzione spesso falliscono quando i nuovi problemi possiedono strutture innovative.
2. Selezione Euristica: Gli approcci di memoria a livello di step si affidano tipicamente a una selezione euristica (ad esempio, recupero per similarità o prompting) piuttosto che ottimizzare la correttezza della risposta finale.
3. Vincoli di Addestamento: L'apprendimento di policy di selezione richiede solitamente dataset etichettati su larga scala, spazi di azione fissi o aggiornamenti dei parametri, il che è incompatibile con gli scenari di test-time dove la memoria si espande incrementalmente e la supervisione è limitata.

La sfida centrale consiste nell'organizzare, mantenere e riutilizzare una memoria esterna che migliori l'accuratezza del ragionamento man mano che l'esperienza si accumula, senza aggiornare i parametri del sottostante LLM.

Metodologia: Framework MILES

MILES (Modular Instruction Memory with LEarnable Selection) affronta queste sfide abilitando il self-improvement al tempo di test attraverso l'accumulo e la composizione di moduli di ragionamento riutilizzabili a livello di step. Il framework opera su un LLM congelato e consiste in quattro componenti core:

1. Struttura della Memoria Asimmetrica Modulare

MILES memorizza la memoria come una collezione di unità modulari, definite come coppie asimmetriche $(g_i, u_i)$:

• Embedding del Sub-goal ($g_i$): Un vettore denso che riassume l'obiettivo di un passo di ragionamento. Funge da chiave di recupero (retrieval key).
• Sub-instruction ($u_i$): Una direttiva in linguaggio naturale utilizzata per condizionare la generazione dell'LLM quando l'unità viene applicata.
• Selection Head: Ogni unità di memoria è associata a una selection head leggera e apprendibile ($\pi_{\theta_a}$) che predice l'applicabilità dell'unità dato lo stato attuale del ragionamento.

Questa struttura permette l'espansione incrementale; nuove unità e le relative head possono essere aggiunte senza riaddestrare i componenti esistenti.

2. Meccanismo di Recupero Coarse-to-Fine

Per bilanciare l'efficienza del recupero con l'accuratezza della selezione, MILES impiega un processo di selezione a due livelli:

• Livello 1 (Recupero Coarse): Basato sulla similarità del sub-goal. L'LLM genera sub-goal candidati e i loro embedding vengono confrontati con i sub-goal memorizzati tramite la similarità del coseno. Una soglia efficace per unità filtra le unità irrilevanti. Questo livello facilita l'espansione della memoria e la raccolta di dati di addestramento.
• Livello 2 (Scoring di Applicabilità Appreso): Una selection head appresa valuta l'applicabilità dei candidati recuperati in base al pieno stato del ragionamento. Per gestire stati di lunghezza variabile, MILES utilizza un context codebook (embedding raggruppati dei passati sub-goal e condizioni) per creare vettori di feature a lunghezza fissa tramite max-similarity pooling.
• Score Combinato: La selezione finale combina la similarità semantica del Livello 1 e lo score di applicabilità appreso del Livello 2.

3. Composizione della Memoria Apprendibile

MILES tratta la selezione della memoria come un problema di decision-making sequenziale. L'obiettivo è massimizzare la probabilità di una risposta corretta finale.

• Raccolta Dati di Addestramento: Per i campioni "sicuri" (dove più rollout dell'LLM concordano su una risposta), il sistema esegue una ricerca Monte Carlo Tree Search (MCTS) utilizzando il campionamento del Livello 1. Ciò genera traiettorie in cui vengono applicate le sub-instruction, e la correttezza risultante funge da pseudo-label.
• Ottimizzazione: Le selection head vengono addestrate utilizzando la cross-entropy binaria su queste traiettorie raccolte. L'obiettivo approssima una policy ottimale derivata sotto un vincolo di divergenza KL, incoraggiando le head a selezionare unità che portino a risposte corrette pur evitando l'overfitting attraverso metodi di classificazione one-vs-rest ed ensemble.

4. Pipeline di Inferenza

Il sistema instrada i campioni di test in base alla confidenza:

• Campioni Sicuri: Utilizzati per espandere la memoria e addestrare le selection head. L'LLM genera risposte; se coerenti, la traiettoria viene utilizzata per la raccolta dati MCTS e la sintesi della memoria.
• Campioni Incerti: Instradati verso una ricerca ad albero guidata dalla memoria. Il sistema recupera i candidati tramite il Livello 1, li riclassifica tramite il Livello 2 e applica la migliore sub-instruction per guidare il passo di ragionamento successivo, ripetendo il processo fino al raggiungimento di una risposta finale.

Contributi Chiave

1. Framework MILES: Un nuovo framework per il self-improvement al tempo di test che costruisce incrementalmente una memoria di istruzioni modulari da tracce di ragionamento sicure e applica la memoria appresa a casi incerti senza aggiornamenti dei parametri, supervisione esterna o spazi di azione fissi.
2. Memoria Asimmetrica Modulare: Una struttura di coppie (sub-goal, sub-instruction) con selection head per ogni elemento, che abilita un meccanismo coarse-to-fine che supporta sia l'espansione incrementale della memoria che la composizione apprendibile.
3. Composizione della Memoria Apprendibile: Un metodo per addestrare selection head leggere dai risultati dei rollout su campioni sicuri, consentendo una composizione della memoria auto-supervisionata e ottimizzata sulla correttezza sotto dati limitati di test-time.
4. Validazione Empirica: Esperimenti estesi che dimostrano come MILES eguagli o superi i metodi precedenti su sei benchmark e quattro modelli backbone.

Risultati Sperimentali

Gli autori hanno valutato MILES su sei benchmark (MATH-500, AIME 2024/2025, GPQA-Diamond, MMLU-Pro Physics/Engineering) utilizzando quattro backbone (GPT-4.1, GPT-4.1-mini, GPT-OSS-20B, Qwen3-30B-Instruct).

• Accuratezza: MILES eguaglia o supera costantemente i metodi baseline (inclusi Zero-shot CoT, Self-Consistency, Buffer-of-Thoughts e Dynamic CheatSheet). Miglioramenti notevoli sono stati osservati su backbone open-weight più piccoli dove altri metodi basati sulla memoria non sono riusciti a superare lo zero-shot CoT.
• Efficienza: MILES domina la frontiera accuratezza-vs-token. A differenza delle baseline che si stabilizzano all'aumentare del calcolo, MILES continua a migliorare all'aumentare del budget di token costruendo ulteriori unità di memoria.
• Trasferibilità: Il framework supporta il trasferimento cross-modello. La memoria costruita dai rollout di modelli ausiliari (es. Qwen3-30B) migliora efficacementamente le prestazioni di un diverso e più forte backbone congelato (es. GPT-4.1-mini).
• Studi di Ablazione: Rimuovere o il livello di recupero coarse o la selection head appresa degrada significativamente le prestazioni, validando la necessità del meccanismo a due livelli. Le head apprese superano le alternative di reranking basate sulla similarità dello stato o sul prompting dell'LLM.

Significato e Rivendicazioni

Il paper sostiene che MILES dimostra che la composizione di memoria modulare è un meccanismo vitale ed efficace per il self-improvement al tempo di test di LLM congelati.

I punti chiave di significatività includono:

• Complementarità: L'approccio di composizione della memoria step-wise è complementare ai metodi esistenti di prompting e di ricerca al tempo di test, fornendo una via aggiuntiva per il miglioramento attraverso l'esperienza accumulata.
• Robustezza: Il metodo è robusto attraverso diverse famiglie di modelli e distribuzioni di dataset, e non dipende da Process Reward Models (PRM) esterni o dataset curati.
• Scalabilità: Decoppiando la selezione della memoria dagli aggiornamenti dei parametri, MILES offre una strada per il miglioramento continuo in contesti in cui i pesi del modello non possono essere modificati.

Gli autori concludono che l'apprendimento di una conoscenza di selezione della memoria riutilizzabile è una direzione promettente per costruire sistemi di ragionamento in continuo miglioramento, pur riconoscendo i limiti relativi all'overhead computazionale della raccolta dati basata su rollout e alla dipendenza dalle capacità di instruction-following del sottostante LLM.