Riepilogo Tecnico: L'auto-addestramento senza insegnante amplifica ma non aggrega

1. Definizione del Problema

La questione centrale affrontata è se i cicli di auto-miglioramento per i modelli linguistici (LLM) che si addestrano sui propri output verificati possano aggregare capacità (acquisendo una reale nuova raggiungibilità oltre la distribuzione del modello base) o semplicemente amplificare la capacità (facendo emergere soluzioni rare e raggiungibili che il modello base poteva già generare con un campionamento sufficiente).

La letteratura esistente è divisa:

• Visione dell'elicitazione: L'addestramento su output verificati serve solo ad affinare la capacità del modello di accedere alle capacità latenti, portando spesso il modello base a superare il modello addestrato con budget di campionamento elevati (pass@K) [11].
• Visione dell'aggregazione: L'apprendimento per rinforzo (RL) prolungato può elevare i modelli oltre la loro distribuzione di base, risolvendo istanze che il modello base non può raggiungere a qualsiasi budget [8].

Esiste una lacuna metodologica critica: la maggior parte degli studi si basa su "insegnanti" (modelli più grandi, modelli di ricompensa o umani) che, per costruzione, pongono un limite alla novità, o dichiarano l' "emergenza" basandosi su metriche che si spostano da zeri apparenti, le quali possono essere artefatti di campionamento piuttosto che veri frontiere di capacità.

2. Metodologia: La Costellazione "Trapdoor"

Per rendere decidibile la distinzione tra amplificazione e aggregazione, gli autori costruiscono una costellazione "senza insegnante" su un dominio specifico:

• Dominio: Un linguaggio specifico di dominio (DSL) di tipo "trapdoor" stile FlashFill per trasformazioni di stringhe.
  • Generazione forward: Economica per sintetizzare coppie (problema, soluzione) verificate.
  • Risoluzione backward: Difficile da invertire per il modello.
  • Verifica: Un interprete esatto, totale e gratuito (senza parametri appresi) che controlla l'esattezza.
• Ruoli del Sistema:
  1. Verificatore: L'interprete esatto. Filtra i candidati coerenti con gli esempi visibili ma non può giudicare la generalizzazione su input non inclusi nel training.
  2. Generatore: Un modello Qwen3-4B a 4-bit con un adattatore LoRA, che mappa gli esempi visibili in programmi candidati.
  3. Critico: Un separato adattatore LoRA a 4-bit addestrato come classificatore generativo sì/no per classificare i candidati in base alla loro probabilità di generalizzare su input non inclusi.
  4. Conduttore: Orchestra il ciclo senza un modello.
• Ciclo di Addestramento (STaR):
  • Il generatore propone $K$ candidati.
  • Il verificatore filtra quelli che falliscono sugli esempi visibili.
  • Il critico classifica i superstiti; viene selezionato il miglior candidato.
  • Il verificatore giudica il candidato selezionato su esempi non inclusi nel training (held-out).
  • Solo i programmi che generalizzano, generati dal modello e confermati dal verificatore, vengono utilizzati come target di fine-tuning supervisionato (SFT) per il round successivo.
  • Vincolo Cruciale: Nessun modello più grande o insegnante esterno è coinvolto; il limite non è dettato dalla competenza di un insegnante.

Configurazione Sperimentale:

• Hardware: Singola GPU da 24 GB (RTX 3090).
• Modello: Qwen3-4B-Instruct (quantizzazione a 4-bit).
• Bank: Due bank di valutazione congelati (Easy: massimo 3 atomi; Hard: massimo 4 atomi, numero di atomi diverso da quello di training, fuori dal training).
• Traiettoria: Tre round (v0 $\to$ v1 $\to$ v2) di auto-addestramento.

3. Contributi Chiave

1. Una Costellazione Completamente Senza Insegnante: Un sistema generatore/critico/verificatore eseguibile su una singola GPU, dove il verificatore è un interprete esatto, garantendo che non vi siano limiti di novità derivanti da un "paracadute di distillazione".
2. Superiorità della Selezione Guidata dal Critico: Dimostrato che un critico appreso supera la baseline "best-of-k" (naïve) filtrata dal verificatore di +9,1 punti percentuali (su 6/6 seed). Il guadagno è localizzato interamente nei compiti in cui i candidati divergono sugli input non inclusi (il "sottoinsieme divergente"), confermando che il critico recupera la capacità esistente piuttosto che crearne di nuova.
3. Amplificazione a Passo Limitato dal Headroom: L'auto-addestramento innalza il tetto delle prestazioni ma non accelera mai. Il guadagno per round decelera man mano che il modello si avvicina alla frontiera raggiungibile della distribuzione di base.
4. Il Crossover Pass@K: Un crossover misurato dove il modello addestrato vince al budget operativo (pass@8) ma il modello base supera il modello addestrato a budget elevati (pass@64) in ogni traiettoria. Ciò conferma che il modello concentra la massa di probabilità su meno soluzioni invece di espandere la sua portata.
5. Correzione Metodologica sull' "Emergenza": In questo DSL compositivo, le apparenti celle a "capacità zero" a bassi conteggi di campionamento sono artefatti di sottocampionamento, non vere frontiere. Dichiarare l'emergenza basandosi sulla salita dallo zero è invalido senza una verifica su scala di popolazione.

4. Risultati

Performance di Selezione

• Critico vs Naive: Il critico migliora significativamente l'accuratezza della selezione, specialmente sul sottoinsieme divergente (dove i candidati divergono sui dati non inclusi).
  • Seed 1234: Naive 53,3% $\to$ Critico 93,3%.
  • Seed 7: Naive 61,9% $\to$ Critico 92,9%.
• Consistenza: Il miglioramento totale equivale esattamente al miglioramento sul sottoinsieme divergente, provando che il critico agisce solo dove esiste ambiguità strutturale.

Traiettoria di Auto-Addestramento (STaR)

• Innalzamento del Tetto: Il tetto del verificatore (pass@8) aumenta dal round 0 al round 2 su entrambi i bank.
  • Easy Bank: 46,7% $\to$ 53,1% $\to$ 55,4%.
  • Hard Bank: 37,9% $\to$ 41,1% $\to$ 45,0%.
• Decelerazione: Il guadagno per round non è accelerante.
  • Easy: +6,4% (v0$\to$v1) $\to$ +2,3% (v1$\to$v2).
  • Hard: +3,2% (v0$\to$v1) $\to$ +3,9% (v1$\to$v2) in un singolo seed, ma attraverso 4 traiettorie di addestramento indipendenti, la tendenza è costantemente decelerante (+5,1% $\to$ +2,8%).
• Nessun Collasso: La diversità (cardinalità dei programmi che generalizzano per compito) è aumentata (2,79 $\to$ 4,05), e nessuna classe è regredita a capacità zero.

Il Diagnosi del Crossover (Amplificazione vs Aggregazione)

• Budget Operativo (pass@8): Il modello addestrato (v2) supera il base (v0).
  • Easy: v2 (53,0%) > Base (46,0%).
  • Hard: v2 (46,0%) > Base (38,0%).
• Grande Budget (pass@64): Il modello base supera il modello addestrato.
  • Easy: Base (68,0%) > v2 (61,5%).
  • Hard: Base (57,5%) > v2 (52,5%).
• Interpretazione: Il modello addestrato concentra la massa di probabilità su soluzioni "rare ma raggiungibili", rendendole comuni (vincendo a basso $K$), ma riduce la capacità del modello di esplorare l'intera coda della distribuzione (perdendo ad alto $K$). Il tetto del modello addestrato rimane strettamente sotto l'inviluppo del modello base a grande $K$.

Frontiere di Capacità Zero

• Le classi che sembravano avere il 0% di successo a bassi conteggi di campioni (es. specifiche strutture a 4 atomi) hanno mostrato tassi di successo non nulli (25–50%) quando misurate su scala di popolazione.
• Il "vero muro" non è allo zero, ma nel divario tra la capacità del modello base di trovare un programma che si adatta ma è sbagliato (alto pass@64) e un programma che generalizza. Questo divario (~11 pp) è il vero limite di capacità.

5. Significato e Rivendicazioni

Il paper sostiene di fornire un risultato negativo riguardo all'aggregazione in un regime specifico e rigoroso:

1. Amplificazione, non Aggregazione: In un contesto senza insegnante con un verificatore esatto e gratuito, l'auto-addestramento (STaR) amplifica la raggiungibilità esistente del modello base ma non aggrega per creare nuova raggiungibilità. Il "tetto" è dettato dall'headroom rimanente della distribuzione del modello base.
2. Validità Metodologica: Lo studio mette in discussione la validità dei test di "0% $\to$ salita = emergenza" in domini compositivi, sostenendo che tali zeri sono spesso artefatti di sottocampionamento.
3. Dissociazione tra Diversità e Copertura: Lo studio osserva che, mentre la diversità dei programmi raccolti aumenta durante la generazione dei dati, la copertura pass@K al momento della valutazione del modello addestrato si restringe. Ciò è in linea con le teorie del collasso della diversità nel SFT, dove l'ottimizzazione dell'accuratezza concentra la massa di probabilità sulle soluzioni modali.

Limitazioni e Ambito:

• Il risultato è interno al dominio specifico del DSL stile FlashFill e del regime senza insegnante con verificatore esatto.
• Il risultato "nessuna aggregazione" potrebbe essere specifico della mancanza di un bonus di esplorazione o di un verificatore rumoroso; un RL prolungato con esplorazione o modelli di ricompensa appresi potrebbe comportarsi diversamente.
• La potenza statistica è modesta (K=4 traiettorie di addestramento), sebbene sufficiente per rigettare l'accelerazione.
• Lo studio non pretende di risolvere il dibattito per tutti i regimi RL/SFT, ma isola specificamente il caso "senza insegnante e con verificatore esatto" per dimostrare che, senza guida esterna o meccanismi di esplorazione, il ciclo non può rompere l'inviluppo distributivo del modello base.

In sintesi, il paper sostiene che senza un insegnante capace di importare nuovi schemi di ragionamento o un meccanismo di esplorazione per spingersi oltre la frontiera raggiungibile, l'auto-addestramento è un processo di affilamento e messa in superficie delle capacità esistenti, non di aggregazione delle stesse in nuove capacità.