Compared to What? Baselines and Metrics for Counterfactual Prompting

1. Enunciazione del Problema

Il prompting controfattuale è un metodo standard per valutare i Modelli Linguistici di Grande Dimensione (LLM), in cui i ricercatori modificano chirurgicamente un input (ad esempio, sostituendo "maschio" con "femmina") per isolare l'effetto di un fattore specifico (ad esempio, il bias di genere) sull'output del modello. L'assunzione fondamentale è che qualsiasi cambiamento osservato nell'output sia causalmente attribuibile al cambiamento semantico mirato.

Gli autori sostengono che questa assunzione è errata perché viola il principio di inferenza causale dell'Irrelevance della Variazione del Trattamento.

• Il Problema: Ogni modifica controfattuale è un "trattamento composito". Raggruppa la variabile di interesse (ad esempio, il genere) con variazioni incidentali della forma superficiale (ad esempio, scelte lessicali specifiche, conteggio dei token, formulazione).
• La Conseguenza: È noto che gli LLM sono sensibili a formulazioni arbitrarie e cambiamenti nei token (sensibilità del prompt). Pertanto, un'inversione osservata nell'output potrebbe essere causata dal cambiamento nella struttura del testo piuttosto che dal significato semantico della perturbazione.
• L'attuale lacuna: I lavori precedenti spesso interpretano gli effetti grezzi delle perturbazioni (ad esempio, un tasso di inversione delle risposte del 15%) come prove di bias o di mancanza di fedeltà senza confrontarli con una distribuzione "nulla" di cambiamenti indotti da modifiche benigne che preservano il significato.

2. Metodologia

Gli autori propongono un quadro rigoroso per distinguere tra effetti mirati (causati dalla variabile di interesse) e sensibilità generale del modello (causata dal rumore delle modifiche testuali).

A. Disegno Sperimentale

1. Perturbazione Mirata ($D_{targeted}$): L'intervento standard (ad esempio, scambio di genere, cambio di stile).
2. Perturbazione di Baseline ($D_{benign}$): Una condizione di controllo progettata per imitare i cambiamenti a livello superficiale dell'obiettivo senza alterare la variabile semantica.
   • Parafrasi Aggiustata per i Token: La baseline primaria. Un LLM parafrasa l'input per preservare il significato ma cambia una frazione di token corrispondente alla percentuale di modifica dei token della perturbazione mirata. Questo controlla la constatazione che la sensibilità del modello scala con il numero di token modificati.
   • Frase Fissa: Una baseline secondaria in cui una frase topicamente irrilevante viene anteposta al prompt.
3. Test Statistici: Invece di confrontare metriche grezze, gli autori utilizzano test statistici per determinare se la divergenza nella condizione mirata supera significativamente la divergenza nella condizione di baseline.
   • Metriche per campione: Test t appaiati sulle differenze tra i valori di divergenza mirata e di baseline.
   • Metriche aggregate: Test di bootstrap non parametrici sulla differenza delle statistiche aggregate.
   • Regressione: Utilizzata per ipotesi direzionali per stimare la grandezza e il segno dell'effetto sistematico.

B. Metriche Valutate

Il documento valuta tre classi di metriche per quantificare la divergenza dell'output:

1. Metriche Aggregate:
   • Tasso di Inversione (Flip Rate): Frazione di istanze in cui la risposta categorica cambia.
   • Informazione Mutua (MI): Misura la coerenza delle risposte tra le condizioni.
   • Coefficiente Phi ($\phi$): Distingue l'accordo dal disaccordo sistematico.
   • Limitazione: Queste hanno bassa potenza e possono essere degenerate in caso di squilibrio di classe.
2. Metriche Distribuzionali per Campione:
   • Divergenza di Kullback-Leibler (KL): Misura lo spostamento nella distribuzione di probabilità sulle opzioni di risposta.
   • Divergenza di Jensen-Shannon (JSD): Una variante simmetrica e limitata della KL.
   • Vantaggio: Queste catturano spostamenti distribuzionali sottili anche quando il confine decisionale finale non viene attraversato.
3. Coefficienti di Regressione:
   • Stima lo spostamento direzionale ($\beta$) quando le perturbazioni hanno una codifica con segno (ad esempio, +1 per femmina, -1 per maschio). Questo caratterizza sia la grandezza sia la direzione del bias.

3. Contributi Chiave

1. Correzione Metodologica: Dimostra che senza una baseline abbinata per grandezza, i risultati controfattuali sono ininterpretabili. Gli effetti osservati spesso riflettono la sensibilità generale al prompt piuttosto che la sensibilità a fattori specifici.
2. Proposta di Quadro: Introduce un quadro di test statistico che confronta le perturbazioni mirate con baseline di parafrasi abbinate ai token.
3. Analisi delle Metriche: Dimostra empiricamente che le metriche distribuzionali per campione (JSD, KL) e la regressione sono significativamente più potenti delle metriche aggregate (Tasso di Inversione, MI, $\phi$), specialmente in dataset sbilanciati.
4. Open Source: Rilascia cfprompt, un pacchetto Python che implementa questo quadro.

4. Risultati Chiave

A. Rivedere MedPerturb (Bias Medico)

• Affermazione Originale: Uno studio precedente affermava che gli LLM sono altamente sensibili a indizi di genere e stile del paziente nel triage medico.
• Nuova Constatazione: Quando confrontati con baseline di parafrasi abbinate ai token:
  • Perturbazioni di Genere: Gli effetti osservati (ad esempio, un tasso di inversione del 14,9% per lo scambio di genere) erano statisticamente indistinguibili dagli effetti della parafrasi di baseline (14,1%).
  • Conclusione: Su 120 test, solo 5 hanno raggiunto la significatività (tutti relativi a perturbazioni di stile "colorato" su un modello più piccolo). L'affermazione che i modelli siano specificamente sensibili al genere del paziente è in gran parte non supportata; gli effetti erano probabilmente rumore derivante dalla sensibilità generale al testo.

B. Controlli di Sanità (Sanity Checks)

• Recall (Controllo Positivo): Quando il compito è stato modificato esplicitamente in "Questo paziente è maschio?", il quadro ha rilevato correttamente un effetto massiccio e significativo, dimostrando di non essere eccessivamente conservativo.
• Precisione (Controllo Negativo): Cambiare l'età di un paziente di un anno (una perturbazione minima) non ha prodotto alcun effetto significativo rispetto alla baseline, confermando la specificità del quadro.

C. Bias-in-Bios (Bias Occupazionale)

• Contesto: Testare se i modelli associano "Professore" agli uomini e "Infermiera" alle donne.
• Constatazioni:
  • Metriche Aggregate: Hanno mostrato piccoli tassi di inversione appena significativi (ad esempio, +0,7%), portando a una potenziale conclusione di "nessun bias".
  • Metriche per Campione (JSD/KL): Hanno rilevato spostamenti distribuzionali statisticamente significativi ($p \approx 10^{-7}$).
  • Regressione: Ha rivelato un chiaro bias direzionale ($\hat{\beta} \approx -0,5$), indicando che scambiare una biografia con il genere femminile riduce sistematicamente i log-odds dell'etichetta "Professore".
  • Insight: Il bias esiste ma opera al di sotto del confine decisionale (gli logit si spostano senza invertire la risposta binaria). Solo la regressione e le metriche distribuzionali potevano caratterizzare questo fenomeno.

D. Replicazione Q-Pain (Bias Razziale)

• Riproducendo uno studio sulle disparità razziali nella gestione del dolore, gli autori hanno scoperto che 4 su 5 effetti demografici significativi avevano corrispondenti effetti significativi nella baseline (parafrasi). Ciò suggerisce che le scoperte originali sul bias razziale potrebbero essere state confondute dalla sensibilità generale al testo.

5. Significato e Guida Pratica

Questo documento sposta fondamentalmente il modo in cui il prompting controfattuale dovrebbe essere condotto nella valutazione degli LLM.

• La Baseline "Nulla" è Obbligatoria: I ricercatori devono includere una perturbazione di baseline (in particolare, una parafrasi abbinata ai token) per stabilire una distribuzione nulla. Senza questa, le scoperte di "bias" potrebbero essere artefatti della sensibilità al prompt.
• La Scelta della Metrica Conta:
  • Evitare di affidarsi esclusivamente al Tasso di Inversione o alla MI, poiché mancano di potenza e falliscono in caso di squilibrio di classe.
  • Utilizzare JSD/KL per rilevare spostamenti distribuzionali.
  • Utilizzare la Regressione per quantificare la direzione e la grandezza degli effetti.
• Abbinamento dei Token: Le baseline devono corrispondere al numero di token modificati dalla perturbazione target, poiché la sensibilità del modello scala con la grandezza della modifica.
• Implicazione: Molte precedenti affermazioni di bias o infedeltà degli LLM potrebbero essere esagerate o erroneamente attribuite. Bias reali e sottili esistono (come mostrato in Bias-in-Bios) ma richiedono strumenti statistici più sofisticati per essere rilevati.

In sintesi, il documento sostiene che il prompting controfattuale non è una diagnosi "plug-and-play"; richiede controlli statistici rigorosi per separare il segnale (vera sensibilità al fattore) dal rumore (sensibilità generale al prompt).