Riepilogo Tecnico: SE-BENCH: Valutazione dell'Auto-Evoluzione con Internalizzazione della Conoscenza

Definizione del Problema

Il lavoro affronta una lacuna critica nella valutazione degli agenti auto-evolutivi: la capacità di internalizzare conoscenze e abilità nuove per l'apprendimento continuo. Mentre le attuali linee di valutazione misurano adattamenti transitori (ad esempio, affinamento al momento dell'inferenza o auto-modifica iterativa), non riescono a misurare rigorosamente la capacità fondamentale di internalizzazione della conoscenza—il processo mediante il quale un agente apprende attivamente dall'esperienza per aggiornare permanentemente i propri parametri.

Le valutazioni esistenti soffrono di due confondimenti fondamentali:

1. Intreccio della Conoscenza Preesistente: È difficile distinguere se un agente ha risolto un compito che coinvolge conoscenze "nuove" imparandole durante l'esperimento o richiamandole dai dati di pre-addestramento.
2. Intreccio della Complessità del Ragionamento: I fallimenti su compiti complessi sono ambigui; potrebbero derivare dall'incapacità di internalizzare la conoscenza necessaria o semplicemente dalla difficoltà logica del ragionamento richiesto.

Per risolvere ciò, gli autori sostengono la necessità di un test "Ago nel Fieno" per l'auto-evoluzione: un ambiente in cui i compiti sono algoritmicamente banali se la conoscenza è internalizzata, ma impossibili senza di essa.

Metodologia: Costruzione di SE-BENCH

Gli autori introducono SE-BENCH, un ambiente diagnostico progettato per oscurare la libreria NumPy in un pacchetto pseudo-nuovo denominato ZWC. La pipeline di costruzione prevede tre fasi:

1. Oscuramento:

   • Rinomina: 268 funzioni comuni di NumPy sono mappate su identificatori randomizzati e semanticamente vuoti (ad esempio, numpy.mean $\rightarrow$ zwc.kocito).
   • Implementazione del Wrapper: Una classe personalizzata ZWCArray incapsula tutti gli input e gli output per impedire ai modelli di aggirare l'oscuramento chiamando metodi standard su array NumPy sottostanti.
   • Riscrittura della Documentazione: La documentazione dell'API viene riscritta da un LLM per descrivere il nuovo pacchetto ZWC, garantendo che la logica rimanga isomorfa a NumPy standard ma che la sintassi sia estranea.

2. Generazione delle Domande:

   • Compiti a Singola Funzione: Problemi che richiedono esattamente una specifica funzione ZWC per essere risolti, garantendo una copertura del 100% della libreria.
   • Compiti a Funzioni Multiple: Problemi complessi che richiedono la composizione di almeno tre funzioni da un insieme campionato per testare la generalizzazione oltre la semplice memorizzazione.

3. Filtraggio:

   • I compiti sono validati tramite un protocollo di consenso rigoroso utilizzando tre modelli all'avanguardia (Qwen3-Coder, Gemini-2.5-Pro, GPT-OSS-120B). Un compito viene mantenuto solo se tutti e tre possono risolverlo utilizzando NumPy standard.
   • Viene eseguita una verifica umana su un sottoinsieme casuale per garantire la chiarezza.

Protocollo di Valutazione:

• Fase di Addestramento: Agli agenti vengono fornite la descrizione del problema e la documentazione API ZWC rilevante.
• Fase di Test: Agli agenti viene fornita solo la descrizione del problema. Devono fare affidamento interamente sulla conoscenza internalizzata durante l'addestramento.
• Metrica di Successo: Una soluzione è corretta solo se supera tutti i casi di test, utilizza le API ZWC (verificate tramite analisi AST) e contiene zero importazioni della libreria NumPy originale.

Contributi e Insight Chiave

Il lavoro presenta tre insight principali derivanti dalla valutazione di varie strategie di auto-evoluzione (basate sulla Memoria, SFT, RL e Auto-Play) su SE-BENCH:

1. Il Paradosso del Libro Aperto

La presenza di documentazione di riferimento durante gli aggiornamenti dei parametri inibisce la ritenzione a lungo termine.

• Risultato: Il Supervised Fine-Tuning standard (Open-SFT), in cui la documentazione è presente sia durante la raccolta delle traiettorie che durante l'addestramento, risulta in una performance del 0% sul set di test (senza documenti).
• Meccanismo: Rimuovere la documentazione durante la fase di addestramento (Closed-SFT) costringe il modello a comprimere la logica esterna nei propri pesi invece di affidarsi al contesto. Closed-SFT supera significativamente Open-SFT, dimostrando che la vera internalizzazione richiede "fame di informazioni" durante l'ottimizzazione.

2. Il Divario RL

Il Reinforcement Learning (RL) standard non riesce a internalizzare nuove conoscenze, anche nell'impostazione Closed-Book.

• Risultato: Closed-RL ottiene una performance del 0%.
• Meccanismo: Il fallimento è attribuito a due meccanismi specifici nel RL standard (in particolare PPO/GRPO):
  • PPO Clipping: Previene i grandi spostamenti di massa probabilistica necessari per apprendere nuove mappature di vocabolario (ad esempio, np.mean $\rightarrow$ zwc.kocito).
  • Gradienti Negativi: L'uso di vantaggi normalizzati introduce un rinforzo negativo per le risposte inferiori alla media, che erode le associazioni tentate prima che possano consolidarsi durante le fragili fasi iniziali della memorizzazione.
• Successo Ibrido: Un approccio ibrido (Closed-SFT seguito da RL) ottiene una performance all'avanguardia. Qui, SFT stabilisce la memoria fondamentale, mentre RL agisce come ottimizzatore comportamentale, potando le "ipotesi pigre" e migliorando la disciplina esecutiva senza correggere errori fondamentali di memoria.

3. Fattibilità dell'Auto-Play

L'auto-evoluzione tramite dati auto-generati è fattibile, ma il meccanismo di ottimizzazione è critico.

• Risultato: L'Auto-Play puro basato su RL (Absolute-Zero) fallisce completamente (0%). Tuttavia, applicare Closed-SFT a compiti e risposte auto-generati (Closed-SFTself) produce una performance significativa (22,5% sui compiti a singola funzione).
• Implicazione: I modelli sono capaci di generare curricula validi per insegnare a se stessi; il fallimento dell'auto-play standard è dovuto all'inadeguatezza del RL per l'internalizzazione della conoscenza, non al paradigma dell'auto-play in sé.

Risultati

• Performance di Base: I metodi basati sulla memoria (Expel) hanno ottenuto risultati non banali (fino al 47,1%) mappando gli identificatori su concetti noti, ma non sono riusciti a ottenere una ritenzione perfetta.
• Ottimizzazione dei Parametri: Solo Closed-SFT e i metodi ibridi Closed-SFT-RL hanno avuto successo. Tutti gli altri metodi di aggiornamento dei parametri (Open-SFT, Open-RL, Closed-RL, Absolute-Zero) hanno fallito completamente.
• Generalizzazione: I risultati (Paradosso del Libro Aperto e Divario RL) sono stati validati su diverse famiglie di modelli (Qwen3 e Llama3) e scale (da 1,7B a 30B parametri).
• Analisi degli Errori: RL ha ridotto significativamente le "Allucinazioni di Attributo" (indovinare metodi inesistenti) incoraggiando il ricorso a primitive robuste, ma non ha corretto le "Allucinazioni di Funzione" (nomi API errati) o i "Disallineamenti di Firma", confermando il ruolo di RL come ottimizzatore comportamentale piuttosto che come internalizzatore di conoscenze.

Significato

Il lavoro posiziona SE-BENCH come una piattaforma diagnostica rigorosa per la comunità degli agenti auto-evolutivi. Il suo significato risiede in:

1. Isolamento dell'Internalizzazione: Fornisce un ambiente pulito e controllato per separare l'internalizzazione della conoscenza dalla complessità del ragionamento e dalla fuoriuscita di conoscenze preesistenti.
2. Strumento Diagnostico: Funge da "test unitario" per i futuri agenti auto-evolutivi, suggerendo che gli agenti devono superare SE-BENCH per essere affidati a evoluzioni complesse e aperte.
3. Insight Meccanicistico: Mette in discussione l'assunto che il RL sia una soluzione universale per il miglioramento autonomo, dimostrando che SFT è superiore per l'internalizzazione fattuale mentre RL è più adatto per ottimizzare l'utilizzo di conoscenze già internalizzate.
4. Ricerca Futura: Stabilisce una base per lo studio dei meccanismi fondamentali dell'internalizzazione della conoscenza, potenzialmente guidando la progettazione di algoritmi ibridi più mirati per lo sviluppo dell'AGI.