Riepilogo Tecnico: Punteggio di Stabilità del Prompt per l'Annotazione Testuale con Modelli Linguistici di Grande Dimensione

1. Enunciato del Problema

I ricercatori utilizzano sempre più i Modelli Linguistici (LM) per l'annotazione testuale, impiegando spesso approcci zero-shot o few-shot in cui un "prompt" istruisce il modello a classificare i dati. Sebbene questi metodi offrano scalabilità, introducono un divario critico di affidabilità: le uscite degli LM sono spesso sensibili a variazioni minori, semanticamente equivalenti, nella formulazione del prompt o nei parametri di decodifica stocastica.

La letteratura attuale manca di un controllo di affidabilità routinario e automatizzato per queste pipeline. Un singolo prompt che produce un'alta accuratezza non garantisce che un prompt leggermente riformulato produrrà le stesse etichette. Se le uscite variano tra prompt semanticamente simili o esecuzioni ripetute, la pipeline di classificazione è "fragile", minando la riproducibilità e rendendo inaffidabili le stime a valle. Gli autori sostengono che la stabilità sia una condizione necessaria per l'accuratezza e la riproducibilità; una pipeline che è instabile sotto lievi perturbazioni non dovrebbe procedere a costosi passaggi di validazione come la codifica manuale.

2. Metodologia

Il paper introduce il Punteggio di Stabilità del Prompt (PSS), un quadro diagnostico automatizzato che quantifica l'accordo di una pipeline di annotazione sotto perturbazioni controllate. Il quadro tratta le esecuzioni ripetute del modello e le varianti semanticamente equivalenti del prompt come analoghi dei valutatori umani negli studi di affidabilità inter- e intra-codificatore.

Componenti Principali

• Stabilità Intra-Prompt (Intra-PSS): Misura la coerenza di un modello quando lo stesso prompt viene eseguito ripetutamente sugli stessi elementi. Questo cattura la variabilità da esecuzione a esecuzione causata dalla stocasticità della decodifica (ad esempio, campionamento con temperatura) e dall'esecuzione hardware non deterministica.
• Stabilità Inter-Prompt (Inter-PSS): Misura la coerenza di un modello quando vengono utilizzate varianti semanticamente equivalenti del prompt. Il quadro genera queste varianti utilizzando un modello di parafrasi esterno (PEGASUS) a temperature di decodifica variabili. Temperature basse producono riformulazioni conservative, mentre temperature più elevate agiscono come test di stress per rivelare dove la pipeline si rompe.

Operazionalizzazione Statistica

• Metrica: Gli autori utilizzano $\alpha$ di Krippendorff ($K\alpha$) come statistica di accordo primaria. Questa scelta permette di gestire dati nominali, ordinali e a intervalli, e corregge l'accordo casuale.
• Stima dell'Incertezza: Viene impiegato il bootstrap non parametrico per generare intervalli di confidenza per le stime di stabilità.
• Implementazione: Gli autori forniscono un pacchetto Python open-source, promptstability, che automatizza la generazione di varianti del prompt, l'esecuzione di esecuzioni ripetute e il calcolo dei punteggi di stabilità.

Disegno Sperimentale

Il quadro è stato validato su sei dataset e dodici esiti distinti, generando circa 3,1 milioni di annotazioni (circa 300 milioni di token di input). I dataset coprono contesti diversificati delle scienze sociali (ad esempio, tweet di senatori statunitensi, manifesti di partiti britannici, articoli del NYT, risposte a sondaggi) e variano in:

1. Complessità dell'Esito: Scale binarie vs. multi-classe vs. continue; categorie granulari vs. ampie.
2. Complessità dei Dati: Input ricchi di informazioni vs. poveri di informazioni (ad esempio, testi brevi vs. lunghi).
3. Capacità del Modello: Confronti tra diversi LM (ad esempio, GPT-3.5, GPT-4o, DeepSeek-R1).

3. Risultati Chiave

L'analisi empirica mappa l'instabilità su quattro fonti principali: ambiguità dei criteri, complessità dell'esito, complessità dei dati e capacità del modello.

• Pattern Generali di Stabilità: La maggior parte dei compiti di benchmark mostra un'alta Intra-PSS (ripetibilità sotto un prompt fisso), convergendo rapidamente a livelli di accordo elevati. Tuttavia, l'Inter-PSS è più variabile; la stabilità spesso diminuisce man mano che le parafrasi del prompt diventano più diversificate.
• Ambiguità dei Criteri: Diversi compiti (ad esempio, rilevamento della posizione, classificazione dell'"argomento più importante") hanno mostrato rapidi cali nell'Inter-PSS anche a basse temperature del parafrasatore. Ciò indica che i criteri di codifica sono fragili rispetto a lievi cambiamenti nella formulazione, suggerendo una progettazione ambigua del prompt o costrutti mal definiti.
• Complessità dei Dati e dell'Esito:
  • Complessità dei Dati: Compiti con bassi rapporti segnale-rumore (ad esempio, prevedere la scelta dell'elettore da dati di profilo limitati) hanno mostrato scarsa stabilità anche con prompt fissi.
  • Complessità dell'Esito: L'espansione degli insiemi di etichette verso categorie più granulari e sovrapposte (ad esempio, 12 vs. 6 categorie di argomenti) ha ridotto la stabilità, anche quando i dati di input rimanevano costanti.
• Capacità del Modello: I confronti tra GPT-4o e DeepSeek-R1:8b hanno rivelato che la scelta del modello influisce significativamente sulla stabilità. Il modello più piccolo ha mostrato una Intra-PSS più bassa e un degrado più rapido nell'Inter-PSS, dimostrando che l'instabilità può derivare da limitazioni del modello piuttosto che solo dalla progettazione del prompt.
• Utilità Diagnostica: Gli autori dimostrano che filtrare per formati di output corretti (ad esempio, rimuovendo interi malformati) può distinguere tra errori di formattazione e vera instabilità di classificazione. Per alcuni dataset (ad esempio, "Argomento Più Importante"), il filtraggio ha risolto l'instabilità; per altri (ad esempio, "Breve Sintetico"), non l'ha fatto, indicando una difficoltà fondamentale del compito.
• Fattibilità dei Costi: Gli autori stimano che l'esecuzione di queste diagnosi di stabilità su una dimensione campionaria tipica costi tra 3 e 150 dollari (utilizzando GPT-3.5), suggerendo che l'approccio è una diagnosi fattibile nelle fasi iniziali piuttosto che un passaggio di validazione proibitivo.

4. Contributi Chiave

1. Quadro Concettuale: Il paper riformula l'affidabilità dell'annotazione tramite LM attraverso la lente dell'affidabilità inter- e intra-codificatore, definendo la "stabilità del prompt" come una proprietà distinta e misurabile necessaria per la riproducibilità.
2. Strumento Diagnostico Automatizzato: L'introduzione del Punteggio di Stabilità del Prompt (PSS) e del pacchetto promptstability associato fornisce ai ricercatori un metodo standardizzato e automatizzato per sottoporre a stress le pipeline di annotazione prima di investire nella validazione della verità fondamentale.
3. Caratterizzazione Empirica: Testando su 12 esiti e 6 dataset, il paper fornisce una caratterizzazione su larga scala di quando le pipeline basate su prompt sono stabili rispetto a quando sono fragili, identificando specifici modi di fallimento legati al segnale dei dati, alla granularità delle etichette e alla scelta del modello.
4. Manuale Pratico: Gli autori offrono un "Manuale PSS" per interpretare i risultati, consigliando ai ricercatori quando rifinire i prompt, chiarire i costrutti, cambiare modello o regolare le impostazioni di decodifica in base ai punteggi di stabilità.

5. Significato e Affermazioni

Il paper afferma che un'alta accuratezza da un singolo prompt è insufficiente per la riproducibilità. Se una pipeline di annotazione è fragile rispetto a lievi perturbazioni (riformulazioni o esecuzioni ripetute), qualsiasi stima a valle eredita questa fragilità, indipendentemente dalle prestazioni medie del modello.

Gli autori posizionano il PSS non come una misura di verità o accuratezza, ma come una condizione preliminare per la validità. Sostengono che i ricercatori dovrebbero trattare le diagnosi di stabilità come un passaggio essenziale nelle fasi iniziali del flusso di lavoro di ricerca. Un basso PSS funge da avvertimento per riesaminare la formulazione del prompt, le definizioni dei costrutti, la qualità dei dati o la selezione del modello prima di impegnare risorse in procedure di validazione costose. Il paper conclude che, sebbene la stabilità non garantisca la correttezza, è il fondamento necessario su cui deve essere costruita la ricerca riproducibile nelle scienze sociali basata su LM.