🤖 machine learning

From Instance Selection to Fixed-Pool Data Recipe Search for Supervised Fine-Tuning

Questo articolo introduce AutoSelection, un nuovo framework che riformula la selezione dei dati per il fine-tuning supervisionato come un problema di ricerca di ricette in un pool fisso, utilizzando un solver a due livelli per scoprire in modo efficiente ricette di curazione ottimali da un pool grezzo di istruzioni senza generare nuovi campioni, superando così il ranking delle istanze tradizionale e l'addestramento su dati completi su più modelli e compiti.

Autori originali: Haodong Wu, Jiahao Zhang, Lijie Hu, Yongqi Zhang

Pubblicato 2026-05-14

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Haodong Wu, Jiahao Zhang, Lijie Hu, Yongqi Zhang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere uno chef che cerca di creare la zuppa perfetta. Hai una dispensa enorme (il pool di dati grezzi) piena di 90.000 ingredienti diversi (istruzioni). Il tuo obiettivo è scegliere la migliore combinazione di ingredienti per preparare una zuppa dal sapore incredibile (un modello di intelligenza artificiale intelligente).

Il Vecchio Metodo: La Lista dei "Top 10"

Tradizionalmente, gli chef (e i ricercatori di intelligenza artificiale) cercavano di risolvere il problema assaggiando ogni singolo ingrediente individualmente, assegnando un punteggio a ciascuno e poi prendendo semplicemente i 10 elementi con il punteggio più alto.

Il Problema: Solo perché un ingrediente ha un buon sapore da solo non significa che funzioni bene in una zuppa. Forse hai bisogno di un po' di pepe piccante prima di aggiungere il sale, o forse devi rimuovere le verdure acquose prima di aggiungere le erbe aromatiche. Il vecchio metodo ignorava l'ordine e la combinazione. Trattava la zuppa come una semplice lista di "migliori elementi" piuttosto che come una ricetta.

La Nuova Idea: La "Ricerca della Ricetta"

Questo articolo, AutoSelection, suggerisce un approccio diverso. Invece di scegliere semplicemente gli ingredienti migliori, dovremmo cercare la migliore ricetta.

Pensa a una ricetta come a un insieme di istruzioni:

Filtra tutte le verdure insipide.
Mescola i peperoncini piccanti con i limoni aspri.
Rimuovi eventuali spezie duplicate.
Mantieni solo il 50% superiore del mix rimanente.

L'articolo definisce questo approccio Ricerca della Ricetta dei Dati a Pool Fisso. La "dispensa" rimane esattamente la stessa (non andiamo a comprare nuovi ingredienti né ne inventiamo di nuovi); proviamo semplicemente diverse sequenze ordinate di operazioni per vedere quale crea il miglior piatto finale.

Come Funziona AutoSelection (Lo "Chef Intelligente")

Cercare la ricetta perfetta è costoso. Per testare una ricetta, devi effettivamente cucinare la zuppa (addestrare il modello di intelligenza artificiale) e assaggiarla (eseguire i benchmark). Hai solo un budget limitato per farlo (diciamo, 15 tentativi). Non puoi semplicemente indovinare a caso; hai bisogno di una strategia intelligente.

AutoSelection è un sistema a due livelli di "Chef Intelligente" che ti aiuta a trovare la migliore ricetta senza sprecare il tuo budget:

La "Scheda Trucco" (Segnali in Cache): Prima ancora di iniziare a cucinare, il sistema esamina la dispensa e prende appunti su ogni ingrediente: "Questo è piccante", "Quello è pesante", "Questi due sono molto simili". In questo modo, quando si testa una nuova ricetta, non deve riassaggiare ogni singolo ingrediente da zero. Utilizza questi appunti preesistenti per prevedere come la ricetta potrebbe essere.
La "Prova Generale" (Warmup): Prima di impegnarsi in una sessione di cottura completa, lo chef esegue tre test rapidi e piccoli per vedere se la zuppa deve essere grande, media o piccola. Questo aiuta a impostare il contesto.
La "Degustazione" (Vettori di Stato): Quando una ricetta viene eseguita, il sistema non guarda solo il punteggio finale. Esamina lo stato della zuppa: "Abbiamo mantenuto abbastanza ingredienti? Il sapore è equilibrato?" Crea un "vettore di stato" (un rapporto riassuntivo) degli ingredienti selezionati.
La "Giuria di Assaggio" (Il Controllore della Ricerca):
- Sintetizzatore: Legge la storia delle zuppe passate e dice: "Ehi, ogni volta che abbiamo aggiunto il sale dopo il pepe, aveva un sapore fantastico."
- Propositore: Suggerisce nuove variazioni di ricetta basandosi su quel consiglio (ad esempio: "Proviamo a scambiare l'ordine del sale e del pepe").
- Classificatore: Esamina i nuovi suggerimenti e utilizza un "Processo Gaussiano" (un sofisticato indovino matematico) per prevedere quale abbia più probabilità di essere buono, quindi seleziona il singolo candidato migliore da cucinare effettivamente.
- Riavviatore: Se lo chef continua a preparare la stessa zuppa e non migliora (stagnazione), il sistema dice: "Ok, buttiamo via l'idea attuale e proviamo un punto di partenza completamente diverso."

I Risultati: Ha Funzionato?

I ricercatori hanno testato questo approccio su tre diversi modelli di intelligenza artificiale (piccoli e medi) utilizzando un pool di istruzioni da 90.000 elementi. Hanno confrontato AutoSelection con:

L'uso dell'intera dispensa (Dati Completi).
La scelta casuale delle ricette.
La semplice selezione dei "Top 10" migliori ingredienti (Operatore Singolo).

Le Scoperte:

Zuppa Migliore: AutoSelection ha creato modelli più intelligenti nei compiti di ragionamento rispetto persino ai modelli addestrati sull'intero dataset da 90.000 elementi.
L'Ordine Conta: Hanno dimostrato che la sequenza dei passaggi è importante. Ad esempio, fare "Passo A poi Passo B" ha prodotto un risultato molto migliore rispetto a "Passo B poi Passo A", anche se gli ingredienti erano gli stessi.
Stabilità: Il sistema non ha avuto solo fortuna una volta; ha trovato costantemente buone ricette in più tentativi.
Trasferibilità: Una ricetta che funzionava bene su un modello piccolo (1,5 miliardi di parametri) tendeva a funzionare bene anche su un modello più grande (7 miliardi di parametri), suggerendo che la "ricetta" stessa cattura qualcosa di fondamentale sui dati buoni.

La Conclusione

Questo articolo sostiene che rendere l'intelligenza artificiale più intelligente non riguarda solo trovare i "migliori" punti dati. Riguarda trovare il miglior processo per filtrare e mescolare quei dati. Trattando la selezione dei dati come una ricerca di ricette piuttosto che come una semplice lista di classifiche, e utilizzando un motore di ricerca intelligente e consapevole del budget (AutoSelection) per trovare quella ricetta, possiamo costruire modelli di intelligenza artificiale migliori con meno sforzo sprecato.

Cosa NON è:

Non inventa nuovi dati né riscrive le istruzioni.
Non utilizza l'intelligenza artificiale per generare nuovi campioni di addestramento.
Non afferma di funzionare per la diagnosi medica o usi clinici specifici (si concentra rigorosamente su benchmark di ragionamento generale come matematica e enigmi logici).

Riepilogo Tecnico: Dalla Selezione di Istanze alla Ricerca di Ricette per Dati a Pool Fisso

Formulazione del Problema

Gli approcci attuali alla selezione dei dati per il Fine-Tuning Supervisionato (SFT) sono prevalentemente formulati come ranking a livello di istanza: assegnazione di un punteggio a singoli campioni basata su euristiche, stime di influenza o rappresentazioni apprese, e mantenimento di un sottoinsieme top- $k$ . Sebbene efficaci, queste prospettive astraggono dalla realtà pratica dell'assemblaggio di dataset per SFT, che spesso coinvolge flussi di lavoro di curatela multistadio, inclusi filtraggio, miscelazione di fonti, deduplicazione e pulizia.

Questo documento riformula il problema come ricerca di ricette per dati a pool fisso. In questo contesto:

Il pool di istruzioni grezzo ( $D_0$ ) è fisso.
Esiste una libreria di operatori fondati ( $O$ ) (ad esempio, filtraggio per difficoltà, deduplicazione, miscelazione).
Una "ricetta" candidata è una sequenza ordinata di tali operatori.
L'obiettivo non è assegnare un punteggio finale a ogni istanza, ma scoprire una ricetta eseguibile che costruisca un sottoinsieme selezionato di alta qualità entro un budget limitato di valutazioni SFT complete.
Crucialmente, il metodo non genera, riscrive o aumenta i campioni di addestramento; seleziona e compone solo dati esistenti.

Questa formulazione include la selezione top-k a singolo operatore (vista come una ricetta degenerata di lunghezza uno), ma ottimizza esplicitamente la composizione, l'ordinamento degli operatori e i conseguenti stati intermedi dei sottoinsiemi.

Metodologia: AutoSelection

Gli autori introducono AutoSelection, un risolutore a due livelli progettato per navigare efficientemente lo spazio delle ricette composizionali sotto vincoli di validazione costosi.

1. Livello di Materializzazione del Pool Fisso (Ragionamento Economico sul Lato della Ricerca)
Per evitare di ricalcolare segnali costosi per ogni candidato, AutoSelection memorizza in cache segnali fondati sul pool grezzo canonizzato ( $D'_0$ ):

Segnali lato compito: Similitudine di attivazione condizionata al benchmark (seguendo MONA).
Segnali lato dati: Proprietà intrinseche come diversità lessicale (entropia N-gram) e diramazione azione-oggetto.
Segnali lato modello: Risposte del modello base memorizzate in cache, inclusa la difficoltà di seguire le istruzioni (IFD), la varentropia e le statistiche di attivazione sparsa.
Vettori di Stato: Per qualsiasi ricetta materializzata, un vettore di stato $z(r)$ riassume le proprietà del sottoinsieme realizzato (ad esempio, rapporti di token mantenuti, deriva della distribuzione, rilevanza del compito). Ciò permette al controllore di ricerca di confrontare i sottoinsiemi candidati prima di impegnarsi in una valutazione SFT completa.

2. Livello Controllore di Ricerca (Allocazione del Budget)
Il controllore gestisce il compromesso esplorazione-sfruttamento utilizzando un budget di $B$ valutazioni complete:

Sonde di Riscaldamento: La ricerca inizia sondando tre regimi distinti di scala dei dati (bassa, media, alta ritenzione) per stabilire un ancoraggio iniziale e identificare livelli di ritenzione promettenti.
Raffinamento Locale: Utilizzando un Sintetizzatore, il sistema converte la storia valutata in ipotesi supportate dai dati. Un Propositore genera quindi ricette candidate sorelle eseguendo modifiche locali (inserimento, cancellazione, scambio o ritaratura di passaggi) attorno al seme corrente.
Ranking: Un Classificatore seleziona il singolo candidato migliore per la valutazione completa. Combina:
- La struttura della ricetta.
- Il vettore di stato realizzato (proprietà del sottoinsieme).
- Un prior di sostituzione basato su Processi Gaussiani (GP) derivato dalle codifiche delle ricette.
- Dati storici di ricerca.
Riesame Attivato da Stagnazione: Se la ricerca non riesce a migliorare il punteggio migliore attuale per $P$ passaggi consecutivi, un Riesaminatore aggiorna l'ancoraggio di seme selezionando un nuovo motivo promettente dalla storia, impedendo alla ricerca di bloccarsi in regioni locali sature.

I modelli linguistici (in particolare DeepSeek-R1) sono utilizzati strettamente come assistenti sul lato della ricerca per riassumere la storia, proporre modifiche fondate, classificare i candidati e riesaminare; non riscrivono né generano dati di addestramento.

Contributi Chiave

Formulazione del Problema: Gli autori formalizzano la curatela dei dati per SFT come un problema di ottimizzazione a scatola nera con budget su ricette eseguibili su un pool grezzo fisso, rendendo la composizione e l'ordinamento degli operatori obiettivi di ottimizzazione espliciti.
Metodo (AutoSelection): Un risolutore a due livelli che disaccoppia la materializzazione dei candidati in cache dalla costosa valutazione SFT completa, utilizzando sonde di riscaldamento, modifiche locali consapevoli dello stato, ranking assistito da GP e riesame attivato da stagnazione.
Evidenza Empirica: Valutazione completa su tre modelli base (Qwen2.5-1.5B/3B, Llama3.2-1B) su un pool di 90K istruzioni.

Risultati Sperimentali

Valutato su un pool di istruzioni di 90K campioni con un budget di 15 valutazioni SFT complete:

Prestazioni: AutoSelection ha raggiunto la media di ragionamento in-distribution più forte su tutti e tre i modelli base, superando l'addestramento su dati completi, la ricerca casuale di ricette, il top-k casuale e i selezionatori a singolo operatore.
- Miglioramenti rispetto all'addestramento su dati completi: +1.82 (Llama3.2-1B), +3.40 (Qwen2.5-1.5B) e +3.72 (Qwen2.5-3B) punti.
- Miglioramenti rispetto al baseline non-AutoSelection più forte: da +0.90 a +2.89 punti.
Generalizzazione OOD: Su benchmark di ragionamento su grafi tenuti da parte (GraphWiz, NLGraph), AutoSelection è rimasta competitiva, classificandosi al primo posto su Qwen2.5-1.5B e quasi pareggiando il miglior baseline su Qwen2.5-3B.
Stabilità: Tre esecuzioni indipendenti sul modello da 1.5B hanno mostrato un intervallo di punteggio ristretto (0.59 punti), indicando che i guadagni non sono dovuti a una singola esecuzione fortunata.
Ablazioni:
- Rimuovere il Riscaldamento ha causato alla ricerca di spendere le prime valutazioni in regioni a punteggio basso.
- Rimuovere il Sintetizzatore ha portato a una traiettoria più fluida ma a una ricetta migliore finale più debole.
- Rimuovere il Riesame ha portato a una curva "migliore-fino-ad-ora" più piatta, indicando difficoltà nell'uscire dagli ottimi locali.
- Rimuovere i Vettori di Stato ha esposto la ricerca a candidati con forme promettenti ma stati di sottoinsieme realizzati deboli.
Sensibilità Strutturale: Ablazioni strutturali con seme abbinato hanno confermato che l'ordinamento e la composizione degli operatori influenzano significativamente le prestazioni oltre la mera presenza di specifici operatori.
Trasferibilità: Un controllo di trasferimento da 1.5B a 7B ha mostrato una correlazione di rango di Spearman positiva ( $\rho=0.82$ ), suggerendo che i motivi di dati di alta qualità scoperti su modelli più piccoli possono essere utili per modelli più grandi, sebbene la preservazione esatta del rango non sia garantita.

Significato e Affermazioni

Il documento afferma che il valore di AutoSelection non risiede nella scoperta di un singolo selezionatore universalmente migliore, ma nell'allocazione di un piccolo numero di valutazioni complete per trovare una composizione più forte di decisioni di curatela fondate.

Gli autori sostengono che:

La Struttura della Ricetta Conta: L'ordinamento e l'interazione degli operatori (ad esempio, filtraggio prima o dopo la deduplicazione) hanno un impatto misurabile sulle prestazioni SFT a valle, supportando la visione delle ricette di dati come oggetti di ottimizzazione di prima classe.
Controllo a Pool Fisso: Limitando la ricerca a un pool grezzo fisso senza generazione o riscrittura, il metodo isola gli effetti delle scelte degli operatori dai fattori confondenti introdotti dalla sintesi dei dati o dall'ingegneria dei prompt.
Efficienza: L'approccio dimostra che strategie di ricerca efficienti (riscaldamento, ranking consapevole dello stato, riesame) possono produrre sottoinsiemi migliori rispetto all'addestramento su dati completi o alla ricerca casuale entro un budget di valutazione rigoroso.

Il lavoro si posiziona come un'alternativa controllata ai sistemi di generazione di dati guidati da LLM, concentrandosi sull'ottimizzazione dei flussi di lavoro dei dati esistenti piuttosto che sulla sintesi di nuovi dati.