💬 NLP

Many-Shot CoT-ICL: Making In-Context Learning Truly Learn

Questo articolo rivela che l'apprendimento in contesto con catena di pensiero a molti esempi si comporta come un apprendimento in contesto durante il test piuttosto che come un semplice riconoscimento di pattern, dimostrando che le regole di scalatura standard falliscono nei compiti di ragionamento e proponendo la Selezione Curvilinea delle Dimostrazioni (CDS) per ottimizzare l'ordinamento delle dimostrazioni al fine di ottenere significativi miglioramenti delle prestazioni.

Autori originali: Tsz Ting Chung, Lemao Liu, Mo Yu, Dit-Yan Yeung

Pubblicato 2026-05-14

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Tsz Ting Chung, Lemao Liu, Mo Yu, Dit-Yan Yeung

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover insegnare a uno studente molto intelligente ma inesperto come risolvere un puzzle complesso. Hai un quaderno enorme (la "finestra di contesto lunga") in cui puoi scrivere centinaia di esempi per aiutarlo.

Questo studio esamina cosa succede quando riempi quel quaderno con centinaia di esempi che includono non solo la domanda e la risposta, ma anche il processo di pensiero passo dopo passo (chiamato "Chain-of-Thought") utilizzato per risolverla.

Ecco una semplice spiegazione di ciò che i ricercatori hanno scoperto:

1. La vecchia regola contro la nuova realtà

La vecchia regola (per compiti semplici):
Se stai insegnando a uno studente a ordinare la posta (un compito semplice), non importa molto se gli mostri 20 esempi o 200, o se glieli mostri in ordine casuale. Più esempi dai, meglio ce la cava, e l'ordine non conta davvero. È come lanciare un mucchio di palle rosse in un secchio; tutte sembrano uguali, quindi l'ordine è irrilevante.

La nuova realtà (per compiti di ragionamento):
Quando il compito è difficile, come risolvere una dimostrazione geometrica o un mistero da detective, le vecchie regole crollano.

Di più non è sempre meglio: Se versi semplicemente centinaia di esempi di ragionamento nel quaderno per un modello AI standard, spesso si confonde e performa peggio.
L'ordine conta molto: A differenza dell'ordinare la posta, l'ordine in cui presenti questi passaggi complessi di ragionamento è critico. Se passi da un concetto semplice a uno super difficile troppo rapidamente, lo studente si perde.

2. Perché gli esempi "simili" falliscono

Di solito, quando vogliamo aiutare uno studente, cerchiamo esempi che sembrano simili al problema attuale.

La trappola: Lo studio ha scoperto che per i compiti di ragionamento, scegliere esempi che sembrano simili (ad esempio, due problemi di matematica entrambi sui triangoli) è in realtà una cattiva idea.
L'analogia: Immagina di insegnare a qualcuno come fare una torta. Gli mostri una ricetta per una torta al cioccolato, e poi gli chiedi di fare una torta spugna. Sembrano simili (entrambe sono torte), ma il processo (i passaggi) è diverso. Se lo studente prova a copiare i passaggi della torta al cioccolato per la torta spugna, fallirà.
La scoperta: Per il ragionamento, i "passaggi" (la procedura) contano più dell'"argomento" (la somiglianza superficiale). Due problemi possono sembrare simili ma richiedere percorsi di pensiero completamente diversi. Se l'AI prova a copiare il percorso sbagliato, fallisce.

3. L'approccio "Curricolo"

Gli autori hanno realizzato che, affinché un AI impari davvero da una lunga lista di esempi, l'elenco deve agire come un curricolo scolastico, non solo come un mucchio di libri.

Principio 1: Comprensibilità. Gli esempi devono essere scritti in modo che l'AI specifica possa comprenderli. Se l'AI è "debole", mostrarle esempi scritti da un AI "genio" potrebbe essere troppo confuso. Impara meglio da esempi che corrispondono al suo attuale livello di pensiero.
Principio 2: Transizioni fluide. Gli esempi devono essere ordinati in modo che i concetti scorrano dolcemente da uno all'altro. Non puoi saltare dall'"addizione" al "calcolo" senza i passaggi intermedi.

4. La soluzione: "Selezione Curvilinea delle Dimostrazioni" (CDS)

Per risolvere il problema dell'ordinamento, i ricercatori hanno inventato un metodo chiamato CDS.

La metafora: Immagina che gli esempi siano punti su una mappa. Se li colleghi in ordine casuale, potresti dover fare svolte brusche e vertiginose (alta "curvatura"). Se li disponi in modo che il percorso sia fluido e dolce (bassa "curvatura"), lo studente può percorrere il sentiero facilmente.
Il risultato: Disponendo le centinaia di esempi in modo che il "percorso di pensiero" sia fluido e graduale, hanno migliorato le prestazioni dell'AI sui problemi geometrici di circa 5,4% rispetto all'ordinamento casuale.

Riepilogo

Lo studio sostiene che fornire a un AI centinaia di esempi di ragionamento non riguarda solo "più dati". Riguarda come quei dati vengono presentati.

Non prendere semplicemente esempi che sembrano simili.
Fai in modo che siano disposti come un piano di lezione fluido, passando dolcemente dai concetti più facili a quelli più difficili.
Fai in modo che gli esempi siano scritti in una lingua che l'AI specifica possa effettivamente comprendere.

Trattando la lunga lista di esempi come una lezione strutturata e non come un buffer di recupero, l'AI può effettivamente "imparare" il processo di ragionamento in tempo reale, invece di indovinare basandosi solo su schemi.

Riepilogo Tecnico: CoT-ICL a Molti Esempi: Rendere l'Apprendimento in Contesto Veramente Apprendimento

1. Enunciato del Problema

Sebbene sia stato dimostrato che l'Apprendimento in Contesto (ICL) adatta i Modelli Linguistici di Grandi Dimensioni (LLM) a nuovi compiti senza aggiornamenti dei parametri, la comprensione attuale del suo comportamento di scalabilità deriva in gran parte da compiti non deduttivi (ad es. classificazione). Con l'avvento di modelli a contesto lungo, l'ICL "a molti esempi" (che utilizza da decine a centinaia di esempi) è emerso, raggiungendo prestazioni comparabili al fine-tuning. Tuttavia, rimane poco chiaro se i principi consolidati dell'ICL a molti esempi—specificamente che l'ordine delle dimostrazioni diminuisce di importanza e che il recupero basato sulla similarità è efficace—si trasferiscano all'ICL a Catena di Pensiero (CoT) per compiti deduttivi.

Il documento indaga se fornire più dimostrazioni deduttive porti a un miglioramento affidabile o introduca nuove instabilità. Mette in discussione se l'ICL CoT a molti esempi sia semplicemente un abbinamento di pattern su larga scala o una forma di genuino apprendimento in contesto che segue principi pedagogici.

2. Metodologia

Gli autori stabiliscono un quadro sperimentale che abbraccia tre dimensioni:

Tipi di Compito: Compiti non deduttivi (classificazione, NLU, rilevamento delle intenzioni bancarie) vs. Compiti deduttivi (ragionamento matematico su GSM8K/MATH, ragionamento narrativo su DetectiveQA).
Tipi di Modello: LLM non deduttivi (ad es. LLaMA 3.1/3.3, Qwen 2.5) vs. LLM orientati al ragionamento (ad es. Qwen 3, QwQ, DeepSeek-R1) che espongono segmenti di ragionamento espliciti (ad es. token <thought>).
Configurazioni ICL: ICL tradizionale vs. CoT-ICL (prompt contenenti input, catena di ragionamento e output).

Lo studio valuta gli effetti di scalabilità variando il numero di dimostrazioni ( $n$ ) da pochi esempi a molti esempi (fino a $n=128$ ). Le principali analisi sperimentali includono:

Disparità di Scalabilità: Confronto delle tendenze delle prestazioni all'aumentare di $n$ tra diverse combinazioni di modello e compito.
Recupero Basato sulla Similarità: Costruzione di insiemi di dimostrazioni "più simili" e "più dissimili" basati sulla similarità degli embedding a livello di domanda per testare l'ipotesi di recupero.
Sensibilità all'Ordine: Misura della deviazione standard dell'accuratezza attraverso permutazioni casuali dello stesso insieme di dimostrazioni.
Ablazione Procedurale: Sostituzione di specifiche giustificazioni CoT con catene statiche per isolare se i modelli apprendono procedure o semplicemente abbinano coppie input-output.
Principi di Selezione delle Dimostrazioni: Test dell'impatto della "Facilità di Comprensione" (utilizzo di CoT auto-generati rispetto a quelli forniti dal dataset) e della "Fluidità del Flusso di Informazioni" (ordinamento delle dimostrazioni per minimizzare la curvatura concettuale).

3. Risultati Chiave

A. Scalabilità Dipendente dal Contesto

Compiti Non Deduttivi: L'ICL a molti esempi scala in modo affidabile; le prestazioni migliorano costantemente all'aumentare del numero di dimostrazioni e la sensibilità all'ordine delle dimostrazioni diminuisce.
Compiti Deduttivi (LLM Non Deduttivi): L'ICL CoT a molti esempi è instabile. L'aumento delle dimostrazioni porta spesso a un degrado delle prestazioni o a guadagni negativi per i modelli standard istruiti, anche a grandi scale parametriche (ad es. LLaMA 3.3 70B).
Compiti Deduttivi (LLM Orientati al Ragionamento): I modelli con capacità deduttive esplicite (ad es. Qwen 3, DeepSeek-R1) mostrano miglioramenti delle prestazioni coerenti e quasi monotoni con più dimostrazioni CoT. Ciò suggerisce che trarre vantaggio da contesti CoT lunghi richiede meccanismi per interpretare i segnali di ragionamento (ad es. token di pensiero) piuttosto che un semplice abbinamento di pattern superficiali.

B. Fallimento del Recupero Basato sulla Similarità

Non Deduttivo: La similarità semantica tra le domande è un proxy affidabile per la similarità delle etichette; recuperare esempi simili migliora le prestazioni.
Deduttivo: La similarità semantica a livello di domanda fallisce nel prevedere la compatibilità procedurale. Due domande matematicamente simili possono richiedere strategie di soluzione diverse. Di conseguenza, recuperare le dimostrazioni CoT "più simili" spesso produce prestazioni peggiori rispetto all'uso di insiemi dissimili o non curati, poiché può indurre passaggi intermedi conflittuali.

C. Effetto di Scalabilità dell'Ordine

Contrariamente ai compiti non deduttivi, dove la sensibilità all'ordine svanisce con la scala, i compiti deduttivi mostrano un effetto di scalabilità dell'ordine: la varianza delle prestazioni aumenta all'aumentare del numero di dimostrazioni CoT. Ciò indica che la sequenza delle dimostrazioni modella criticamente la traiettoria di ragionamento indotta.

D. Meccanismo: Apprendimento in Contesto al Momento del Test

Il documento ripensa l'ICL CoT a molti esempi non come abbinamento di pattern, ma come apprendimento in contesto al momento del test. Le evidenze mostrano che i modelli deduttivi assorbono procedure specifiche dalle dimostrazioni invece di memorizzare semplicemente le etichette. Quando le giustificazioni vengono corrotte (sostituite con catene statiche), le prestazioni crollano significativamente ad alti numeri di esempi, confermando che i modelli interiorizzano i passaggi procedurali.

4. Principi Proposti e Metodo (CDS)

Basandosi sul risultato secondo cui l'ICL CoT agisce come un processo di apprendimento, gli autori propongono due principi per una progettazione efficace delle dimostrazioni:

Facilità di Comprensione: Le dimostrazioni devono allinearsi con la conoscenza attuale del modello e la distribuzione di generazione. I CoT auto-generati (anche con alcuni errori) spesso superano i CoT ground-truth per modelli più deboli perché sono più "comprensibili" per il modello target.
Fluidità del Progresso della Conoscenza: Le dimostrazioni dovrebbero essere ordinate per creare una transizione concettuale fluida, evitando salti bruschi nelle strategie di ragionamento.

Per operationalizzare il secondo principio, gli autori introducono la Selezione Curvilinea delle Dimostrazioni (CDS).

Metodo: CDS tratta la sequenza di dimostrazioni come una traiettoria nello spazio degli embedding. Ordina le dimostrazioni per minimizzare la curvatura concettuale totale (la somma degli angoli di svolta tra vettori di embedding consecutivi).
Implementazione: Utilizza un'euristica basata sul TSP (vicino più prossimo + 2-opt) con una funzione di costo che bilancia la vicinanza euclidea e la minimizzazione della curvatura.
Risultati: CDS produce guadagni coerenti, ottenendo fino a un miglioramento di 5,42 punti percentuali su compiti geometrici con 64 dimostrazioni. Supera l'ordinamento casuale e le baseline ad alta curvatura su compiti di ragionamento matematico e narrativo.

5. Significato e Affermazioni

Il documento afferma di ripensare la comprensione delle finestre di contesto lunghe da un semplice "buffer di recupero" a un "curriculum strutturato" per l'apprendimento in contesto al momento del test.

Contributo Teorico: Dimostra che le regole che governano l'ICL a molti esempi per la classificazione non si trasferiscono al ragionamento. Sostiene che un ICL deduttivo efficace si basa sulla capacità del modello di interpretare e interiorizzare segnali procedurali, non solo sull'abbinamento di pattern superficiali.
Contributo Pratico: Fornisce un metodo semplice, a basso costo e privo di parametri (CDS) per migliorare le prestazioni deduttive ottimizzando l'ordine delle dimostrazioni in base alla fluidità concettuale.
Limitazioni: Gli autori notano che i benefici del CDS sono più pronunciati quando l'ordinamento di base è subottimale (alta curvatura) e che i guadagni possono essere minori in compiti dove l'accuratezza di base è già molto alta (ad es. teoria dei numeri).

Il lavoro suggerisce che per gli LLM capaci di ragionamento, la finestra di contesto lunga funge da ambiente di apprendimento dinamico in cui la struttura del prompt (curriculum) è critica quanto il contenuto degli esempi.