Riassunto Tecnico: Apprendimento Semi-supervisionato della Catena di Pensiero (Semi-CoT)

1. Definizione del Problema

Il documento affronta una lacuna nell'attuale applicazione della Chain-of-Thought (CoT). Sebbene la CoT si sia dimostrata efficace per elicitare capacità di ragionamento nei Large Language Models (LLM) durante l'inferenza, i metodi esistenti trattano tipicamente le catene di ragionamento come prompt transitori che vengono scartati dopo la generazione di una risposta finale. Di conseguenza, la vasta quantità di dati non etichettati disponibili in domini come la matematica e la logica rimane sottoutilizzata perché le annotazioni di alta qualità per la CoT sono costose da produrre manualmente.

Gli autori definiscono un nuovo scenario di problema chiamato Apprendimento Semi-supervisionato della Catena di Pensiero. L'obiettivo è sfruttare un piccolo set di domande etichettate e un set più ampio di domande non etichettate per costruire una pseudo-supervisione del ragionamento. A differenza del classico apprendimento semi-supervisionato che genera pseudo-label (solo risposte finali), questo scenario richiede la generazione di una coppia di pseudo-supervisione completa, composta da una pseudo-catena di ragionamento ($\hat{r}_u$) e una pseudo-risposta ($\hat{y}_u$) per ogni domanda non etichettata ($x_u$):
$$x_u \rightarrow (\hat{r}_u, \hat{y}_u)$$

La sfida principale consiste nel garantire l'affidabilità di queste catene generate. Un modello può produrre una risposta corretta tramite una derivazione non valida, oppure una risposta errata tramite una catena dall'aspetto plausibile. Pertanto, è necessario un meccanismo per filtrare le pseudo-CoT inaffidabili prima che vengano utilizzate come supervisione o dimostrazioni.

2. Metodologia: Framework Semi-CoT

Gli autori propongono Semi-CoT, un framework minimale che opera senza il fine-tuning dei parametri del modello. Funziona come un metodo semi-supervisionato a livello di prompt, progettato per testare se le domande non etichettate possano fornire segnali di ragionamento affidabili. Il processo prevede tre fasi principali:

A. Generazione della Pseudo-CoT

Per ogni domanda non etichettata, l'LLM campiona $K$ percorsi di ragionamento distinti (output CoT) utilizzando un trigger standard (ad es., "Ragioniamo passo dopo passo"). Ogni output produce una traccia di ragionamento e una risposta finale.

B. Gate di Affidabilità basato sull'Entropia Semantica

Per filtrare le generazioni inaffidabili, il framework utilizza l'entropia semantica come segnale di selezione.

1. Normalizzazione: Le risposte estratte vengono normalizzate (ad es., rimuovendo simboli di formattazione per risposte numeriche).
2. Clustering: Le risposte vengono raggruppate in cluster semantici.
3. Calcolo dell'Entropia: L'entropia semantica normalizzata $H_{sem}(x_u)$ viene calcolata sulla base della distribuzione di questi cluster.
   • Un'entropia bassa indica un alto grado di accordo tra i $K$ percorsi campionati.
   • Un'entropia alta indica disaccordo e incertezza.
4. Selezione: Una pseudo-CoT viene accettata solo se $H_{sem}(x_u) \leq \delta$, dove $\delta$ è una soglia predefinita. La pseudo-risposta accettata è il voto di maggioranza, e la pseudo-catena di ragionamento viene selezionata dai percorsi che conducono a quella risposta di maggioranza.

C. Banco di Pseudo-Ragionamento e Inferenza

Le pseudo-CoT accettate sono memorizzate in un banco di pseudo-ragionamento $\mathcal{B}$, ciascuna con un peso di affidabilità associato ($w_u = 1 - H_{sem}(x_u)$). Durante l'inferenza su una domanda di test:

• Il sistema recupera $M$ dimostrazioni da $\mathcal{B}$.
• Vengono testate due strategie di recupero: Selezione Casuale e Recupero TF-IDF (basato sulla similarità lessicale).
• Le dimostrazioni recuperate vengono aggiunte alla domanda di test come prompt, e l'LLM genera il ragionamento e la risposta finale.

3. Contributi Chiave

Il documento apporta i seguenti contributi specifici:

• Formulazione del Problema: Definisce l'Apprendimento Semi-supervisionato della Catena di Pensiero, spostando la visione della CoT da una tecnica puramente di inferenza a una fonte di segnali di apprendimento semi-supervisionato.
• Proposta del Framework: Introduce Semi-CoT, una pipeline che genera molteplici pseudo-CoT, le filtra tramite l'entropia semantica e utilizza i risultati ad alta confidenza come dimostrazioni di ragionamento.
• Evidenza Empirica: Fornisce prove pilota che la selezione basata sull'entropia produce pseudo-CoT ad alta precisione su diversi dataset di ragionamento aritmetico.
• Identificazione dei Limiti: Identifica che la affidabilità della pseudo-CoT (garantita dall'entropia) e la rilevanza della dimostrazione (garantita dal recupero) sono sfide distinte. L'alta precisione da sola non garantisce miglioramenti nelle prestazioni se le dimostrazioni sono irrilevanti rispetto alla domanda di test.

4. Risultati Sperimentali

Gli autori hanno condotto esperimenti pilota su quattro benchmark di ragionamento aritmetico: AQuA, SVAMP, GSM8K e MultiArith.

Affidabilità della Pseudo-CoT

Il gate dell'entropia semantica ha selezionato con successo pseudo-CoT di alta qualità. La precisione della pseudo-risposta (accuratezza delle pseudo-risposte selezionate rispetto alle etichette reali nascoste) è stata:

• MultiArith: 100%
• AQuA: 97,14%
• SVAMP: 96,30%
• GSM8K: 91,36%

Prestazioni del Task

L'impatto sull'accuratezza finale del task è stato modesto e variabile a seconda del dataset:

• SVAMP: Miglioramento del +2% rispetto a Zero-shot CoT.
• GSM8K: Miglioramento del +1% rispetto a Zero-shot CoT.
• AQuA: Ha mostrato un lieve trasferimento negativo (le prestazioni sono diminuite rispetto a Zero-shot CoT), nonostante l'alta precisione della pseudo-risposta.
• MultiArith: Tutti i metodi hanno raggiunto il 100% di accuratezza, indicando un effetto soffitto (ceiling effect) nel setting pilota.

Strategia di Recupero

Il confronto tra Selezione Casuale e Recupero TF-IDF per la selezione delle dimostrazioni non ha mostrato differenze significative nei subset pilota. Ciò suggerisce che la semplice similarità lessicale è insufficiente per garantire la rilevanza delle pseudo-CoT rispetto alla domanda di test.

5. Significato e Dichiarazioni

Il documento si posiziona come un rapporto tecnico che stabilisce un nuovo setting di problema piuttosto che una soluzione definitiva. La sua importanza risiede in:

1. Spostamento Concettuale: Riformula la CoT come una forma di auto-addestramento (self-training) in cui il ragionamento generato dal modello può servire come pseudo-supervisione, colmando il divario tra il prompting durante l'inferenza e l'apprendimento semi-supervisionato.
2. Validazione dei Segnali: Dimostra che l'entropia semantica è un segnale valido e agnostico rispetto al modello per filtrare catene di ragionamento affidabili da dati non etichettati, ottenendo un'alta precisione senza annotazione umana.
3. Conclusione Conservativa: Gli autori concludono con moderazione che, sebbene le domande non etichettate possano fornire segnali di pseudo-ragionamento affidabili, la selezione affidabile non è sufficiente per un miglioramento costante delle prestazioni. L'implementazione attuale evidenzia che la rilevanza della dimostrazione è un fattore critico e non ancora risolto. Il lavoro futuro dovrà affrontare meccanismi di recupero più forti, il matching dei pattern di ragionamento o l'addestramento parametrico dello studente per realizzare pienamente il potenziale di Semi-CoT.

Il documento evita esplicitamente di affermare che l'attuale implementazione a livello di prompt sia una soluzione allo stato dell'arte, notando che i guadagni osservati sono piccoli e che il trasferimento negativo rimane un rischio se la rilevanza non viene gestita.