Riepilogo Tecnico: CORE – La Riflessione Contrastiva Abilita Miglioramenti Rapidi nel Ragionamento

Enunciato del Problema

I modelli linguistici possiedono la capacità di migliorare nelle attività di ragionamento utilizzando ricompense verificabili, tuttavia gli approcci attuali soffrono di inefficienze significative. I metodi parametrici (ad es. GRPO) e i metodi non parametrici (ad es. GEPA, ottimizzazione dei prompt) richiedono tipicamente centinaia di campioni di addestramento e migliaia di rollout del modello per ottenere progressi significativi. Ciò li rende computazionalmente costosi e spesso intrattabili per un adattamento rapido. Al contrario, gli esseri umani possono spesso padroneggiare nuovi compiti con solo una manciata di problemi di pratica. La sfida centrale affrontata da questo lavoro è come abilitare i modelli linguistici ad apprendere da ricompense verificabili con un'efficienza di campioni e rollout simile a quella umana, mantenendo al contempo l'interpretabilità ed evitando l'opacità degli aggiornamenti dei pesi.

Metodologia: CORE (Riflessione Contrastiva)

CORE è un algoritmo di apprendimento non parametrico progettato per un modello linguistico congelato. Invece di aggiornare i pesi del modello o ottimizzare un singolo prompt globale, CORE impara generando e accumulando "intuizioni" – brevi descrizioni in linguaggio naturale di strategie di ragionamento o vincoli che distinguono i tentativi di risoluzione di successo da quelli falliti.

L'algoritmo opera attraverso quattro componenti principali:

1. Memorie Esterne:

   • Memoria dei Rollout ($R$): Archivia le tracce di ragionamento passate (problema, intuizioni recuperate, output del modello, ricompensa) indicizzate per embedding del problema.
   • Memoria delle Intuizioni ($I$): Archivia intuizioni in linguaggio naturale accoppiate a stime di utilità empirica. Per ogni intuizione, il sistema traccia il numero di applicazioni e l'utilità media relativa alla baseline.

2. Campionamento dei Problemi Biasato verso il Fallimento:
   Per massimizzare l'efficienza dell'apprendimento, CORE orienta il campionamento verso problemi che il modello risolve con minore affidabilità. Calcola un peso di campionamento basato sulla stima corrente dell'accuratezza, mescolando il campionamento biasato verso il fallimento con il campionamento uniforme per garantire la copertura del set di addestramento.

3. Riflessione Contrastiva (Il Meccanismo Centrale):
   Quando il modello non riesce a risolvere un problema, CORE attiva un passaggio di riflessione. Recupera un rollout di successo ($\tau^+$) da un problema semanticamente simile (o dallo stesso problema se precedentemente risolto) e lo confronta con il rollout fallito ($\tau^-$). Il modello congelato viene sollecitato a generare intuizioni candidate che descrivono le strategie o i vincoli che spiegano la differenza tra successo e fallimento.

   • Test di Ammissione: Le intuizioni candidate non vengono immediatamente archiviate. Sottostanno a un test di ammissione in cui il modello tenta il problema originario utilizzando solo quella intuizione candidata. Un'intuizione viene ammessa in memoria solo se migliora il tasso di successo rispetto alla baseline (nello specifico, se porta a una soluzione corretta al primo tentativo negli esperimenti).

4. Recupero Consapevole dell'Utilità:
   Durante l'inferenza, CORE recupera le intuizioni basandosi su un punteggio che combina la somiglianza semantica (tra il problema corrente e i problemi passati in cui l'intuizione è stata utilizzata) e l'utilità empirica (il tasso di successo osservato dell'intuizione su problemi simili). Ciò permette al modello di applicare selettivamente le intuizioni che si sono dimostrate efficaci in passato.

Contributi Chiave

1. Innovazione Algoritmica: Introduzione di CORE, un algoritmo non parametrico che abilita i modelli linguistici congelati ad apprendere da ricompense verificabili generando, testando e accumulando intuizioni astratte in linguaggio naturale invece di aggiornare i pesi o ottimizzare i prompt.
2. Miglioramenti nell'Efficienza: Dimostrazione su quattro compiti di ragionamento (Torre di Hanoi, MathGAP, ZebraLogic, Aritmetica dei Fiammiferi) che CORE supera sia le baseline parametriche (GRPO) che quelle non parametriche (GEPA, Episodic RAG, MemRL) in termini di efficienza dei campioni (apprendimento con meno campioni di addestramento) e efficienza dei rollout (apprendimento con meno tentativi del modello).
3. Efficienza Contestuale: Evidenza che CORE è sostanzialmente più efficiente dal punto di vista contestuale rispetto alle baseline non parametriche. Mentre metodi come Episodic RAG e MemRL aggiungono decine di migliaia di token al prompt recuperando tracce complete, CORE comprime l'esperienza in intuizioni compatte, aggiungendo significativamente meno token per valutazione.
4. Interpretabilità: Gli artefatti appresi sono intuizioni trasparenti in linguaggio naturale accoppiate a stime di utilità, offrendo un'alternativa più interpretabile agli aggiornamenti di parametri opachi o all'ottimizzazione dei prompt.
5. Analisi di Ablazione: Identificazione che sia la riflessione contrastiva (confronto tra fallimento e successo) che il recupero consapevole dell'utilità sono componenti necessari per le prestazioni dell'algoritmo.

Risultati Sperimentali

Gli autori hanno valutato CORE su quattro compiti di ragionamento utilizzando il modello gpt-oss-120b, confrontandolo con GRPO, GEPA, Episodic RAG e MemRL attraverso regimi di addestramento di 5, 10 e 100 campioni.

• Efficienza dei Rollout: Nel regime di 10 campioni, CORE ha raggiunto un'accuratezza su dati di test non visti superiore a quella di qualsiasi baseline dopo 350 rollout di addestramento. Anche quando alle baseline è stato consentito un totale di 4.000 rollout e CORE è stato limitato a 2.100, CORE ha raggiunto una performance finale più elevata.
• Efficienza dei Campioni: Su 12 condizioni di compito-per-regime di dati, CORE ha raggiunto la media più alta di accuratezza su dati di test non visti in 9 di esse. Ha migliorato la baseline senza apprendimento di circa il 54–56% su 5, 10 e 100 esempi di addestramento.
• Efficienza Contestuale: CORE ha aggiunto una media di 0,92k token per elemento di valutazione, rispetto a ~33k per Episodic RAG e ~32k per MemRL. È stato circa 1,4 volte più efficiente dal punto di vista contestuale rispetto a GEPA.
• Qualità delle Intuizioni: L'analisi delle intuizioni ammesse ha rivelato che rientrano in tre categorie funzionali: Strutturazione dello spazio di ricerca (euristiche per ridurre le possibilità), Tracciamento dello stato intermedio (aggiornamento di quantità/mosse) e Verifica e validazione (controllo dei vincoli). Queste intuizioni sono state trovate essere astrazioni procedurali piuttosto che riassunti di episodi specifici.

Significato e Affermazioni

Il paper ipotizza che l'efficienza dell'apprendimento umano derivi dalla capacità di riesaminare successi e fallimenti passati per scoprire principi astratti ed espliciti. CORE opera questo principio distillando i contrasti tra tracce di successo e di fallimento in conoscenza riutilizzabile.

Gli autori affermano che CORE offre una via più efficiente e interpretabile all'automiglioramento del modello rispetto agli aggiornamenti dei pesi, all'ottimizzazione dei prompt o al riutilizzo diretto di tracce di ragionamento archiviate. Archiviando "ipotesi di assegnazione del credito" (intuizioni) invece di dati grezzi o pesi, CORE riduce il rischio di introdurre comportamenti indesiderati associati ad aggiornamenti opachi. Il lavoro suggerisce che la chiave per un miglioramento rapido risiede non solo in cosa viene appreso, ma in come viene rappresentato e recuperato: come intuizioni compatte in linguaggio naturale, ponderate per utilità, derivate dalla riflessione contrastiva.

Limitazioni notate dagli autori:

• CORE presuppone l'accesso a ricompense verificabili, limitando l'applicabilità a domini con feedback binario chiaro.
• L'aggiornamento dell'utilità assegna lo stesso esito a tutte le intuizioni recuperate, lasciando irrisolta l'assegnazione del credito più fine-granulare tra più intuizioni.
• La riflessione e il test di ammissione introducono costi aggiuntivi di inferenza.
• Gli esperimenti sono attualmente limitati a compiti di ragionamento, pianificazione e risoluzione di problemi a turno singolo.