Riassunto Tecnico: La stima della forma della coda nella valutazione degli LLM è fragile

Definizione del Probleamento

La letteratura recente ha sostenuto la necessità di spostare la valutazione dei Large Language Model (LLM) dalle metriche basate sulla media a metriche sensibili alla coda, come il Conditional Value-at-Risk (CVaR) e le stime dell'indice di coda, per catturare comportamenti catastrofici, rari e peggiori che le medie non riescono a rilevare. L'indice di coda ($\xi$), derivato dalla Teoria dei Valori Estremi (EVT), è un parametro scalare destinato a isolare la forma della coda di una distribuzione (ad es. coda pesante vs. limitata) dalla sua magnitudo.

Tuttavia, la stima di $\xi$ tramite il metodo Peaks-Over-Threshold (POT) e l'adattamento di una Distribuzione di Pareto Generalizzata (GPD) è statisticamente fragile in campioni finiti. La questione centrale di questo articolo è se il parametro dell'indice di coda aggiunga informazioni discriminanti oltre alla media e a una statistica standard della magnitudo della coda (TVaR) nei normali setup di valutazione degli LLM, o se le affermazioni di differenze nella forma della coda siano spesso artefatti del rumore di stima, bias di supporto limitato o selezione della soglia.

Metodologia: Un Protocollo a Cinque Porte Pre-registrato

Gli autori propongono e pre-registrano un rigoroso protocollo a cinque porte progettato per validare qualsiasi affermazione di discriminazione della forma della coda ($H_1$). Il protocollo è progettato per terminare l'analisi anticipatamente ("KILL" l'ipotesi) se una qualsiasi porta fallisce, prevenendo la pubblicazione di falsi positivi.

Il protocollo consiste in due fasi: Porte di Ammissibilità (G1–G5) e Criteri di Passaggio (P1–P2).

Porte di Ammissibilità

1. G1 (Equivalenza della Media): L'intervallo di confidenza (CI) al 95% tramite bootstrap per la differenza nella severità media tra due modelli deve trovarsi interamente entro una banda di tolleranza pre-registrata ($\delta_\mu$). Questo utilizza un Two-One-Sided Test (TOST) per stabilire l'equivalenza pratica, evitando l'errore logico secondo cui "la non significatività non implica equivalenza".
2. G2 (Equivalenza della Magnitudo della Coda): Similmente, il CI al 95% tramite bootstrap per la differenza nel Tail Value-at-Risk (TVaR$_{0.9}$) deve trovarsi entro una banda di tolleranza ($\delta_{TVaR}$).
3. G3 (Dimensione del Campione): Il numero di eccedenze ($n_{exc}$) sopra la soglia deve soddisfare un limite inferiore teorico ($N^*$) derivato dallo Smith asymptotic per gli stimatori MLE della GPD. Ciò garantisce una potenza sufficiente per rilevare un effetto pre-registrato ($\Delta \xi$).
4. G4 (Goodness-of-Fit): La distribuzione empirica delle eccedenze deve superare il test di Anderson-Darling (AD) per l'adattamento GPD ($p > 0.05$).
5. G5 (Stabilità della Soglia): Il $\hat{\xi}$ stimato deve essere approssimativamente costante attraverso una banda di robustezza delle soglie ($u \in [q-\delta, q+\delta]$). Grandi fluttuazioni indicano "threshold-fishing" o instabilità.

Criteri di Passaggio

Solo se una coppia di modelli supera tutte le porte di ammissibilità, l'analisi procede a:

• P1: I CI al 95% tramite bootstrap per $\hat{\xi}$ dei due modelli devono essere non sovrapponibili.
• P2: La differenza assoluta negli indici di coda stimati ($|\hat{\xi}_A - \hat{\xi}_B|$) deve superare un pavimento di dimensione dell'effetto pre-registrato ($\Delta_{floor}$).

Setup Sperimentale

• Modelli: Quattro LLM open-weight istruiti (Qwen2.5-3B, Llama-3.2-3B, Llama-3.1-8B, Mistral-Nemo-Instruct-2407).
• Dati: 30.000 prompt dal dataset RealToxicityPrompts per condizione.
• Scorer:
  1. Detoxify: Un classificatore di tossicità che restituisce probabilità in $[0, 1]$.
  2. Giudice Token-NLL: Una seconda famiglia di scorer che utilizza la log-likelihood negativa.
• Pilot: Uno studio di perturbazione (H2) su Qwen2.5-3B con rumore di embedding di input per testare la variazione intra-modello.

Risultati Chiave: Tre Modalità di Falsi Positivi Individuate

Il protocollo ha respinto con successo l'affermazione principale secondo cui la forma della coda fornisce informazioni discriminanti in questo setup. Lo studio ha identificato tre distinti modi di fallimento che un'analisi ingenua avrebbe mancato:

1. Illusione della Dimensione del Campione (Porta G3)

In uno studio pilota utilizzando solo 2.000 prompt ($n_{exc} \approx 100$), gli autori hanno osservato una grande apparente differenza negli indici di coda ($\Delta \hat{\xi} \approx 0.28$) tra i livelli di rumore. Il test di Anderson-Darling passava, ma la porta della dimensione del campione (G3) ha respinto questo risultato perché $n_{exc}$ era molto al di sotto del richiesto 1.570 per l'80% di potenza rispetto al target di dimensione dell'effetto. Ripartendo con 30.000 prompt, l'effetto si è ridotto di 30 volte ($\Delta \hat{\xi} \approx 0.009$), confermando che il risultato pilota era rumore di stima.

2. Contaminazione da Supporto Limitato (Porta G4)

Utilizzando la valutazione con Detoxify (probabilità in $[0, 1]$), l'adattamento GPD è fallito per tre dei quattro modelli (AD $p < 0.05$). L'MLE ha prodotto stime di coda pesante spurie ($\hat{\xi} \approx 0.9 - 1.2$) o adattamenti degeneri ($\hat{\xi} \approx -1$) perché i punteggi di severità saturavano vicino al limite superiore (1.0), violando l'assunzione di supporto illimitato della standard GPD.

• Soluzione: Applicare una trasformazione logit ($s' = \log(s/(1-s))$) ai punteggi ha ripristinato la validità della GPD (AD $p > 0.05$).
• Risultato: La vera forma della coda era leggera ($\hat{\xi} \approx 0$, dominio Gumbel), non pesante. La diagnosi di "coda pesante" era un artefatto del supporto limitato.

3. Threshold-Fishing (Porta G5)

Utilizzando i dati trasformati con logit, gli autori hanno scansionato le soglie da $q=0.95$ a $0.99$. Al valore $q=0.97$, una coppia (Qwen vs. Llama-3.1-8B) sembrava superare tutti i criteri con $\Delta \hat{\xi} = 0.139$. Tuttavia, la porta di stabilità della soglia (G5) ha rivelato che $\hat{\xi}$ fluttuava significativamente attraverso la banda di robustezza per il modello Qwen. Il risultato "positivo" a $q=0.97$ era un outlier all'interno dell'inviluppo di rumore del modello stesso, correttamente identificato come threshold-fishing.

Verdetto Finale

Dopo aver corretto il supporto limitato e applicato l'intero protocollo:

• Zero delle sei coppie di modelli ha superato contemporaneamente tutte le porte.
• Cinque coppie sono fallite per equivalenza di massa (G1/G2).
• La singola coppia equivalente nella massa (Qwen vs. Llama-3.1-8B) aveva CI sovrapponibili e una dimensione dell'effetto ($0.095$) al di sotto del pavimento ($0.10$).
• Lo stesso verdetto KILL è stato restituito per il giudice Token-NLL, confermando che il risultato non è specifico per lo scorer Detoxify.

Contributi

1. Protocollo: Un protocollo a cinque porte pre-registrato per le affermazioni sull'indice di coda nell'evaluazione degli LLM, inclusi specifici criteri di ammissibilità e stabilità.
2. Limite della Dimensione del Campione: Un limite inferiore asintotico (Eq. 2) per il numero di eccedenze richieste per rilevare un $\Delta \xi$ specifico con l'80% di potenza.
3. Diagnosi del Bias di Supporto Limitato: Identificazione di come i classificatori con testa sigmoidale (come Detoxify) producano stime spurie di coda pesante a causa della saturazione dei punteggi, e la proposta di una trasformazione logit come soluzione.
4. Dimostrazione Empirica: Una dimostrazione di come il protocollo catturi tre modalità distinte di falsi positivi (rumore a campione finito, artefatti di supporto limitato e threshold-fishing) su un classico setup di tossicità degli LLM.

Significato e Affermazioni

L'articolo conclude che la stima della forma della coda nei setup di tossicità degli LLM esaminati è più fragile di quanto suggerito dalla letteratura recente. Gli autori non affermano che il POT-GPD sia inadatto alla valutazione degli LLM in generale, né affermano che la forma della coda non porti mai informazioni.

Inveve, sostengono che:

• Senza un protocollo rigoroso, le analisi ingenue sui setup standard sono altamente probabili a pubblicare falsi positivi.
• Nel caso specifico di RealToxicityPrompts con Detoxify, l'indice di coda $\xi$ non fornisce informazioni discriminanti ortogonali alla media e al TVaR.
• Il protocollo serve come punto di partenza necessario per qualsiasi futura affermazione di discriminazione della forma della coda. Il risultato negativo qui è una dimostrazione della capacità del protocollo di filtrare il rumore, non una prova che la forma della coda sia irrilevante in ogni contesto.

Gli autori raccomandano che i lavori futuri pre-registrino le dimensioni del campione basandosi sui limiti derivati, applichino trasformazioni appropriate per gli scorer con supporto limitato e riportino scansioni di stabilità dei parametri piuttosto che stime a soglia singola.