Sintesi Tecnica: Riconsiderare la Sensibilità ai Prompt nei Large Language Models per la Classificazione del Testo

Definizione del Problema

I Large Language Models (LLM) sono sempre più utilizzati per la classificazione del testo zero-shot e few-shot, dove il comportamento del task è dettato interamente da prompt in linguaggio naturale. Una vasta letteratura ha stabilito che gli LLM esibiscono un'alta sensibilità alle variazioni dei prompt, dove minimi cambiamenti di formulazione possono alterare drasticamente le classifiche di performance e le affermazioni di stato dell'arte. Tuttavia, questo articolo sostiene che una parte sostanziale della sensibilità osservata non è un difetto intrinseco delle capacità di ragionamento dei modelli, bensì una conseguenza della sotto-specificazione del prompt.

Molti studi esistenti che investigano la sensibilità ai prompt si basano su prompt "minimali" o "sotto-specificati" (ispirati alle prime formulazioni di GPT-3) che forniscono scarse o nulle istruzioni sul task o vincoli sulle etichette. Gli autori ipotizzano che questi prompt causino il fallimento degli LLM nella fase di generazione dell'output — producendo testo non strutturato o ignorando le etichette attese — piuttosto che un fallimento nella comprensione interna del task. Ciò porta a valori di logit bassi per i token rilevanti e a decisioni di classificazione basate su probabilità distribuite casualmente, inficiando così la percezione della sensibilità dei modelli.

Metodologia

Lo studio confronta sistematicamente i prompt sotto-specificati (minimali) rispetto a quelli ben specificati (istruiti) attraverso tre task di classificazione del testo (SST-2, AG News, MMLU) e sei varianti di LLM (LLaMA-2-13B, LLaMA-3.1-8B, LLaMA-3.2-3B, sia in forma base che istruita).

Il framework di valutazione impiega tre distinti approcci analitici:

1. Analisi delle Performance Empiriche: Gli autori valutano la media dell'accuratezza e la deviazione standard attraverso 10 varianti di prompt per ogni setting. Confrontano un setting "Base" con diverse strategie di mitigazione:

   • Strategia UNK: Appendere token 未知 al prompt.
   • Calibrazione: Regolare le probabilità delle etichette basandosi su prompt neutrali per garantire una distribuzione uniforme.
   • In-Context Learning (ICL): Fornire 2 esempi per classe all'interno del prompt.
   • Instruction-Tuning: Utilizzare varianti di modelli sottoposte a instruction-tuning.
   • Meta-Tag/Chat Template: Utilizzare delimitatori specifici del tokenizer.
   • La valutazione è condotta sia tramite Valutazione dei Logit (selezionando la classe con la probabilità più alta dall'ultimo token) sia tramite Valutazione della Generazione (estraendo le etichette dalla generazione di testo libero).

2. Analisi dei Logit: Gli autori analizzano l'entità e la distribuzione dei valori dei logit per le etichette delle classi. Investigano la correlazione tra i valori dei logit e l'accuratezza della classificazione, confrontando specificamente i prompt che generano logit elevati rispetto a quelli bassi.

3. Analisi del Linear Probe: Per investigare le rappresentazioni interne, gli autori addestrano classificatori lineari di tipo Ridge sulle attivazioni di ogni livello dell'LLM. Questa tecnica di interpretabilità meccanicistica determina se lo stato interno del modello contiene informazioni sufficienti per risolvere il task, anche quando la generazione dell'output finale fallisce.

Risultati Chiave

1. L'Impatto della Sotto-specificazione del Prompt

I prompt sotto-specificati mostrano costantemente una varianza delle performance più elevata e valori di logit significativamente più bassi per i token rilevanti rispetto ai prompt di istruzione. In molti casi, i prompt minimali risultano in logit delle etichette nell'intervallo tra $10^{-5}$ e $10^{-3}$, posizionando le etichette corrette nella metà inferiore della distribuzione di probabilità del vocabolario. Di conseguenza, le decisioni di classificazione sotto prompt minimali sono spesso guidate dal rumore piuttosto che dalla comprensione semantica.

2. Strategie di Mitigazione

• Prompt di Istruzione: Sebbene i prompt di istruzione migliorino generalmente la performance media e riducano la varianza, non eliminano interamente la sensibilità da soli.
• In-Context Learning (ICL): L'ICL fornisce la mitigazione più consistente e significativa della sensibilità ai prompt. Quando combinato con modelli istruiti (instruction-tuned), l'ICL produce l'accuratezza più elevata e la deviazione standard più bassa. Notevolmente, l'ICL affronta i problemi di sotto-specificazione in modo efficace quanto la calibrazione, ma senza richiedere l'accesso agli interni del modello o a prompt neutrali.
• Calibrazione: La calibrazione offre miglioramenti simili all'ICL, ma è leggermente meno consistente. Combinare la calibrazione con l'ICL produce solo benefici marginali, suggerendo che entrambi i metodi mirino allo stesso problema sottostante.
• Strategia UNK: La strategia di appendere token 未知 spesso degrada le performance, talvolta risultando in performance peggiori del caso casuale.
• Varianti di Modello: Passare a varianti istruite dei modelli migliora significativamente le performance sia per i prompt minimali che per quelli di istruzione, sebbene ciò possa essere parzialmente attribuito a data leakage se i dati di addestramento si sovrappongono ai set di valutazione.

3. Approfondimenti su Logit e Linear Probe

• Correlazione dei Logit: Esiste una forte correlazione positiva (fino a $r=0.757$) tra l'entità dei valori dei logit delle etichette e l'accuratezza della classificazione. Valori di logit elevati fungono da indicatore affidabile della qualità del prompt e dell'assenza di sotto-specificazione.
• Rappresentazioni Interne: L'analisi del linear probe rivela che le rappresentazioni interne (attivazioni nei livelli medi) rimangono robuste e contengono informazioni sufficienti per classificare i task con precisione, anche quando l'output finale è errato a causa della sotto-specificazione. Il degrado delle performance avviene principalmente nei livelli finali della rete. Ciò suggerisce che il modello "conosce" la risposta internamente, ma non riesce ad articolarla correttamente quando il prompt è sotto-specificato.

Contributi e Significato

Il paper apporta i seguenti contributi primari:

1. Riformulazione della Sensibilità ai Prompt: Identifica la sotto-specificazione del prompt come un driver primario della sensibilità osservata negli LLM, sostenendo che i modelli spesso falliscono nella formattazione dell'output piuttosto che nella comprensione del task.
2. Rigore Metodologico: Aboga per l'uso di prompt di istruzione ben specificati e dell'in-context learning per garantire valutazioni affidabili delle capacità dei modelli, allontanandosi dai prompt minimali che inducono alta varianza.
3. Strumenti Diagnostici:
   • Stabilisce l'analisi dei logit come uno strumento pratico per diagnosticare la qualità del prompt, dimostrando che valori di logit bassi sono un forte predittore di scarse performance e alta sensibilità.
   • Utilizza il linear probing per dimostrare che i problemi di sensibilità emergono spesso nei livelli finali del modello, mentre le rappresentazioni interne rimangono stabili.
4. Mitigazione Pratica: Dimostra che modifiche semplici, specificamente la combinazione di modelli istruiti e in-context learning, possono mitigare efficacemente la maggior parte dei problemi di sensibilità senza procedure di calibrazione complesse.

Conclusione

Gli autori concludono che una parte significativa dell'instabilità degli LLM nella classificazione del testo deriva dall'uso di prompt sotto-specificati e setup sperimentali ambigui, piuttosto che da un'incapacità fondamentale dei modelli di risolvere i task. Raccomandano una maggiore rigore metodologico nelle ricerche future, enfatizzando la necessità di prompt ben specificati per distinguere tra limiti reali del modello e artefatti di un prompting scadente. Le scoperte suggeriscono che, con appropriate strategie di prompting (specificamente formati di istruzione e ICL), la sensibilità osservata può essere ampiamente mitigata, portando a valutazioni più affidabili e riproducibili degli LLM.