🤖 machine learning

Automatic Combination of Sample Selection Strategies for Few-Shot Learning

Il paper propone ACSESS, un metodo per la combinazione automatica di strategie di selezione dei campioni che, sfruttando la complementarità di 23 approcci diversi, supera sistematicamente le singole strategie e le baseline specifiche per l'apprendimento in contesto su 14 dataset di testo e immagini, dimostrando benefici particolarmente significativi nei scenari few-shot con un numero ridotto di esempi.

Autori originali: Branislav Pecher, Ivan Srba, Maria Bielikova, Joaquin Vanschoren

Pubblicato 2026-04-20

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Branislav Pecher, Ivan Srba, Maria Bielikova, Joaquin Vanschoren

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover preparare un esame importante, ma hai pochissimo tempo e solo un piccolo numero di appunti a disposizione. Cosa fai? Probabilmente non cerchi di leggere tutto il libro di testo (che sarebbe troppo lungo e dispersivo), ma cerchi di selezionare i punti chiave più importanti, quelli che ti aiuteranno davvero a superare l'esame.

Questo è esattamente il problema che affrontano gli autori di questo articolo nel campo dell'Intelligenza Artificiale, in una branca chiamata "Apprendimento con pochi esempi" (Few-Shot Learning).

Ecco una spiegazione semplice di cosa hanno scoperto e come hanno risolto il problema.

1. Il Problema: Troppi Appunti, Troppo Rumore

Quando un'intelligenza artificiale (come un grande modello linguistico) deve imparare qualcosa di nuovo con pochissimi dati (ad esempio, riconoscere una nuova malattia guardando solo 5 foto di pazienti), la scelta di quali 5 foto usare è cruciale.

La situazione attuale: Spesso gli scienziati scelgono questi esempi a caso, o usano regole molto specifiche per un solo tipo di compito. È come se uno studente decidesse di studiare solo le pagine con più immagini, ignorando che per quell'esame servono le formule scritte.
Il rischio: Se scegli gli esempi sbagliati (quelli confusi, ripetitivi o poco chiari), l'AI imparerà male, anche se ha un "cervello" molto potente.

2. La Soluzione: ACSESS (Il "Chef" degli Esempi

Gli autori hanno creato un nuovo metodo chiamato ACSESS. Immagina ACSESS come un Chef esperto che deve preparare un piatto delizioso (l'AI addestrata) usando solo 5 ingredienti (i 5 esempi).

Invece di scegliere un solo tipo di ingrediente (ad esempio, solo "spezie" o solo "verdure"), lo Chef ACSESS:

Guarda tutte le opzioni: Esamina 23 diversi modi per scegliere gli ingredienti (alcuni cercano gli ingredienti più simili, altri i più diversi, altri quelli più "difficili" da capire).
Mischia le strategie: Capisce che non esiste un ingrediente perfetto da solo. A volte serve un ingrediente difficile da capire (perché insegna di più), a volte serve uno molto chiaro (per dare sicurezza).
Crea la ricetta perfetta: Combina automaticamente queste diverse strategie per trovare il mix ideale di esempi. Non sceglie solo "i più simili", ma un mix equilibrato che ha proprietà complementari.

L'analogia della squadra di calcio:
Se devi formare una squadra di 5 giocatori per una partita importante, non vuoi 5 attaccanti (tutti uguali) né 5 portieri. Vuoi un mix: un portiere, due difensori, un centrocampista e un attaccante. ACSESS è l'allenatore che sa esattamente quale mix di "tipi di giocatori" (esempi) serve per vincere la partita, indipendentemente dal tipo di avversario.

3. Le Scoperte Sorprendenti (Cosa hanno imparato)

Durante i loro esperimenti, hanno scoperto alcune cose molto interessanti:

La "Qualità" batte la "Quantità": Avere più esempi non sempre aiuta. Se scegli 50 esempi a caso, l'AI potrebbe confondersi. Con ACSESS, scegliere solo 5 o 10 esempi perfetti funziona meglio che usarne 50 a caso. È come studiare 5 pagine ben riassunte invece di rileggere 50 pagine confuse.
Più è difficile, meglio è (a volte): Per le intelligenze artificiali più moderne, scegliere esempi che sono "difficili da imparare" (quelli che l'AI fatica a capire all'inizio) spesso porta a risultati migliori. Sono come gli esercizi di matematica più difficili che ti allenano di più rispetto a quelli facili.
Funziona anche con poco: Anche se hai un dataset piccolo (pochi dati disponibili), ACSESS riesce a trovare i migliori esempi. È come se riuscissi a trovare le perle più preziose anche in un piccolo secchio di sabbia.
Il punto di svolta: Se scegli troppe esempi (ad esempio, 30 o 40), il metodo di selezione intelligente smette di funzionare e diventa inutile, quasi come se stessi scegliendo a caso. La selezione intelligente serve soprattutto quando hai pochi esempi da scegliere.

4. Perché è importante?

Prima di questo lavoro, gli esperti pensavano che per scegliere gli esempi giusti per le Intelligenze Artificiali moderne servissero regole molto complesse e specifiche per ogni singolo compito.

Questo studio dimostra che unendo le vecchie regole semplici (quelle usate da decenni per l'apprendimento automatico classico) in modo intelligente, si ottengono risultati migliori o uguali a quelli delle strategie nuove e complesse.

In sintesi:
ACSESS è come avere un assistente personale che, invece di darti un mucchio di informazioni, ti dice esattamente: "Ehi, per imparare questo argomento, non leggere tutto. Leggi solo queste tre pagine specifiche, perché sono quelle che ti faranno passare l'esame con il voto più alto".

È un passo avanti verso un'Intelligenza Artificiale più efficiente, che impara di più con meno risorse, risparmiando tempo e energia (e anche CO2, dato che meno calcoli significano meno consumo energetico).

1. Il Problema

Nel contesto dell'apprendimento con pochi esempi (Few-Shot Learning o FSL), la selezione dei campioni di supporto (support set) ha un impatto critico sulle prestazioni del modello. Sebbene esistano strategie di selezione ben consolidate per l'apprendimento supervisionato (come l'apprendimento attivo), la ricerca sui Large Language Models (LLM) e sull'apprendimento in contesto (In-Context Learning o ICL) tende a ignorarle, favorendo invece strategie specifiche ma spesso limitate a singoli contesti.

Il problema centrale identificato dagli autori è che le strategie esistenti si concentrano solitamente su una singola proprietà dei campioni (es. similarità, diversità, informatività o qualità), il che porta spesso a selezioni subottimali. Inoltre, manca una valutazione sistematica su come combinare queste diverse strategie per sfruttare le loro proprietà complementari, specialmente attraverso diversi approcci FSL (ICL, meta-learning, fine-tuning) e su diversi domini (testo e immagini).

2. Metodologia: ACSESS

Gli autori propongono ACSESS (Automatic Combination of SamplE Selection Strategies), un metodo per combinare automaticamente e ottimamente gli obiettivi di selezione dei campioni. Il metodo si basa sull'idea che campioni con proprietà complementari (es. alta informatività e alta "imparabilità") possano fornire benefici superiori rispetto a quelli selezionati secondo un unico criterio.

Il processo ACSESS si articola in tre fasi principali:

Definizione delle Strategie a Singola Proprietà:
Vengono considerate 23 strategie esistenti basate su tre categorie di proprietà:
- Informatività: Similarità, Diversità, Apprendimento Attivo (Entropia, Margin, Least Confidence, Loss), Selezione del Core-Set (CAL, DeepFool, GraNd, Graph-Cut).
- Rappresentatività: Herding, KCenter, CRAIG, Glister.
- Imparabilità (Learnability): Forgetting (dimenticanza), Cartography (facilità di apprendimento: campioni facili, difficili, ambigui).
Identificazione del Sottogruppo Rilevante:
Per evitare una ricerca esaustiva (computazionalmente proibitiva) di tutte le combinazioni, ACSESS utilizza tre metodi ispirati alla selezione delle feature e ai Datamodels per identificare le strategie più promettenti:
- Selezione Forward: Aggiunge iterativamente la strategia che massimizza l'aumento delle prestazioni.
- Selezione Backward: Rimuove iterativamente le strategie che non contribuiscono al miglioramento.
- Selezione Datamodels: Addestra un modello di regressione lineare regolarizzato (LASSO) su combinazioni casuali di strategie per prevedere quale sottoinsieme massimizza il guadagno rispetto alla selezione casuale.
- Intersezione: Il set finale di strategie ( $S_{final}$ ) è l'intersezione dei risultati ottenuti dai tre metodi sopra, garantendo robustezza ed efficienza.
Combinazione e Ponderazione:
Una volta identificato il set di strategie, viene calcolato un punteggio finale per ogni campione come somma pesata dei punteggi forniti dalle singole strategie:
$score(x) = \sum_{s \in S} w_s \cdot objectives(x)$
Vengono valutate tre schemi di pesatura:
- Uniforme: Tutti i pesi sono uguali (basso costo computazionale, buona trasferibilità).
- Pesata: I pesi sono derivati dal modello LASSO (massime prestazioni, costo più alto, specifico per dataset/modello).
- Pesata con Selezione Casuale: Include la selezione casuale come strategia aggiuntiva per verificare la robustezza.

3. Contributi Chiave

Studio su Larga Scala: È il primo studio che valuta 23 strategie di selezione su 5 modelli ICL (Mistral, Zephyr, LLaMA, Gemma, Qwen) e 3 approcci FSL (Prototypical Networks, MAML, Few-Shot Fine-Tuning) su 6 dataset di testo e 8 di immagini.
Proposta di ACSESS: Un metodo automatico che combina obiettivi di selezione complementari, superando le strategie basate su una singola proprietà.
Analisi delle Dinamiche: Scoperta che la proprietà di "imparabilità" (learnability) è un indicatore di qualità più forte rispetto alla semplice informatività o rappresentatività per il FSL.
Riduzione della Dipendenza dai Dati: Dimostrazione che la selezione dei campioni è efficace anche su dataset ridotti (fino al 10-25% della dimensione originale).

4. Risultati Sperimentali

Prestazioni Superiori: ACSESS supera costantemente tutte le strategie singole e le baseline specifiche per l'ICL (come LENS, Active Prompt, EXPLORA, CASE).
- Guadagno medio fino a 2.5 punti percentuali per l'ICL.
- Guadagno medio fino a 1.8 punti percentuali per il FSL basato su gradienti.
Complementarità: Per l'ICL, la combinazione vincente include campioni "difficili da imparare" (Cartography), situati sul bordo decisionale (Margin) e con alta entropia. Per il FSL basato su gradienti, funzionano meglio campioni "facili" e "ambigui" che vengono dimenticati di meno (Forgetting).
Impatto del Numero di Shot (K):
- La selezione dei campioni è cruciale quando il numero di shot è basso (1-5 shot).
- Oltre un certo punto (circa 30-40 shot per FSL, 20-25 per ICL su modelli vecchi), l'effetto della selezione svanisce e le strategie regrediscono alla selezione casuale.
- Aumentare eccessivamente gli shot può addirittura degradare le prestazioni nell'ICL a causa dei limiti della finestra di contesto dei LLM.
Robustezza su Dataset Piccoli: La selezione dei campioni permette di ottenere prestazioni paragonabili all'uso del dataset completo utilizzando solo il 25% dei dati (per ICL) o il 10% (per FSL basato su gradienti).

5. Significato e Implicazioni

Il lavoro dimostra che le strategie di selezione "classiche" e ben consolidate, se combinate automaticamente, possono eguagliare o superare le strategie recenti e specifiche per l'ICL.

Efficienza Computazionale: ACSESS offre un compromesso eccellente tra costi computazionali e prestazioni. La versione "uniforme" (senza ottimizzazione dei pesi per ogni dataset) è quasi altrettanto efficace della versione pesata, rendendo il metodo pratico per l'uso reale.
Guida Pratica: Gli autori raccomandano di utilizzare la combinazione di strategie come Cartography, Margin e Forgetting come configurazione di base trasferibile, specialmente quando le risorse computazionali sono limitate o quando si lavora con pochi shot.
Cambiamento di Paradigma: Sposta l'attenzione dalla ricerca di una singola "strategia perfetta" alla combinazione dinamica di obiettivi complementari, sottolineando l'importanza della learnability dei campioni nel contesto del few-shot learning.

In sintesi, ACSESS fornisce un framework robusto e automatizzato per curare set di dati di supporto di alta qualità, migliorando significativamente l'adattabilità dei modelli a nuovi compiti con dati limitati, riducendo al contempo la variabilità delle prestazioni e i costi computazionali associati all'uso di dataset completi.