Resolution Diagnostics for Paired LLM Evaluation

Riepilogo Tecnico: Diagnostica della Risoluzione per la Valutazione Accoppiata di LLM

Enunciato del Problema
Le classifiche moderne dei Modelli Linguistici su Grande Scala (LLM) classificano frequentemente i modelli in base a differenze in punti percentuali derivate da benchmark con prompt condivisi. Sebbene una differenza di primo piano (ad esempio, 78,3% vs 77,5%) guidi le decisioni di prodotto e le narrazioni, l'affermazione statistica che un modello sia significativamente migliore di un altro dipende dal fatto che la dimensione del benchmark e la struttura dei dati forniscano una risoluzione sufficiente per distinguere la differenza dal rumore di campionamento.

Il documento individua una lacuna critica nelle attuali pratiche di valutazione: molte classifiche accoppiate visualizzate su leaderboard pubbliche non soddisfano gli obiettivi convenzionali di risoluzione per test accoppiati (specificamente $\alpha=0.05$ e potenza $1-\beta=0.8$). Gli autori sostengono che i calcolatori di potenza standard e i protocolli di valutazione ignorano spesso la natura accoppiata dei benchmark con prompt condivisi, portando a confronti sottopotenziati. Nello specifico, il documento evidenzia che:

1. Sulla Open LLM Leaderboard (OLL) v1, 11 su 40 confronti accoppiati sono irrisolti.
2. Sulla MMLU-Pro top-10, 4 su 9 coppie di ranghi adiacenti sono irrisolte alla dimensione effettiva del benchmark ($N=12.032$).
3. I comuni "scorciatoie" per calcolare le dimensioni campionarie richieste in contesti accoppiati (ad esempio, applicare una correzione $(1-\rho)$ alla $h$ di Cohen non accoppiata) sottostimano sistematicamente la dimensione campionaria richiesta di un fattore di circa due nei regimi di confronto ravvicinato.

Metodologia
Gli autori inquadrano la valutazione accoppiata degli LLM come un problema di test di ipotesi e derivano un quadro di reporting della risoluzione invertendo i test di livello-$\alpha$ e potenza-$(1-\beta)$.

• Rapporto di Risoluzione ($q$): La diagnostica primaria è definita come $q = N / N^\star$, dove $N$ è la dimensione effettiva del benchmark e $N^\star$ è la dimensione campionaria necessaria per rilevare una differenza osservata $\hat{\delta}$ con la potenza target. Una differenza è considerata "risolta" se $q \ge 1$.
• Varianza Accoppiata: Per l'accuratezza binaria, la dimensione campionaria richiesta $N^\star$ è derivata utilizzando la formula di McNemar-Connor, che tiene conto della varianza della differenza accoppiata $\sigma_D^2 = p_A q_A + p_B q_B - 2\rho\sqrt{p_A q_A p_B q_B}$. Ciò contrasta con le formule non accoppiate che inflazionano la $N$ richiesta ignorando la covarianza $\rho$.
• Il Lemma della Scorciatoia (Lemma 1): Il documento fornisce una espansione acuta per piccoli effetti che caratterizza il fallimento della diffusamente utilizzata scorciatoia "Cohen-$h$ non accoppiata più $(1-\rho)$". Gli autori dimostrano che per piccoli effetti $\delta$, il rapporto tra la stima della scorciatoia ($n_h$) e la corretta stima accoppiata ($N^\star$) converge a $1/2$ con una costante esplicita del secondo ordine $C(p, \rho)$. Ciò spiega perché gli strumenti che applicano $(1-\rho)$ a un output non accoppiato per braccio sottostimano sistematicamente $N^\star$ di circa la metà nei regimi di confronto ravvicinato.
• Estensioni: Il quadro integra:
  • Correzione per la Multiplicità: Aggiustamento per i tassi di errore familiari (Bonferroni/Holm) o tassi di scoperta falsa (BH) quando si valutano più coppie.
  • Sensibilità ai Cluster: Scalatura di $N^\star$ mediante un effetto di progetto ($DE$) per tenere conto della correlazione intra-cluster (ad esempio, categorie di soggetti in MMLU-Pro).
  • Test Validi in Qualsiasi Momento: Sostituzione delle soglie a $N$ fisso con confini uniformi nel tempo derivati da processi-e per gestire gli aggiornamenti continui delle leaderboard.

Contributi Chiave

1. Caratterizzazione Teorica di un Pattern di Abuso: Il documento fornisce un nuovo lemma (Lemma 1) con una costante esplicita che quantifica la deviazione della scorciatoia "non accoppiata + $(1-\rho)$" dalla corretta dimensione campionaria accoppiata. Dimostra che questa scorciatoia sottostima la dimensione campionaria richiesta di un fattore di due nel regime di confronto ravvicinato, un pattern silenziosamente ereditato da tre dei cinque calcolatori di potenza più comuni (Cohen 1988, G*Power, R pwr).
2. Diagnostica Empirica della Risoluzione: Gli autori applicano il loro quadro a dati reali di leaderboard (OLL v1 e MMLU-Pro). Dimostrano che una porzione significativa delle differenze di rango adiacente visualizzate è irrisolta agli obiettivi di potenza standard.
   • Su OLL v1, 11/40 coppie sono irrisolte.
   • Su MMLU-Pro, il numero di coppie adiacenti irrisolte sale da 4/9 (sotto ipotesi IID) a 6/9 quando si tiene conto del reale clustering a livello di soggetto.
3. Protocollo di Reporting e Strumentazione: Il documento introduce un protocollo confezionato (llm-power) che espone le diagnostiche di risoluzione come una chiamata in una riga, permettendo ai progettisti di benchmark di riportare l'effetto minimo rilevabile (MDE) e il rapporto di risoluzione $q$ insieme alle differenze di primo piano.

Risultati

• Abuso dei Calcolatori: In un esempio risolto con parametri $(p_A, p_B, \rho) = (0.65, 0.60, 0.30)$, tre strumenti popolari hanno restituito una dimensione campionaria richiesta di $\approx 515$ quando la corretta $N^\star$ accoppiata era $1.028$. Gli strumenti hanno applicato la correzione $(1-\rho)$ alla varianza di un singolo braccio invece che alla varianza della differenza accoppiata.
• Impatto nel Mondo Reale:
  • OLL v1: Il 28% dei confronti accoppiati (11/40) ha fallito l'obiettivo di risoluzione. Tutte le coppie con differenze $\le 2\%$ erano irrisolte.
  • MMLU-Pro: Sotto l'ipotesi di elementi indipendenti, 4/9 coppie adiacenti erano irrisolte. Applicando la correzione per cluster basata sulle 14 categorie di soggetti, il numero di irrisolte è aumentato a 6/9. Due coppie (Rango 4 vs 5 e Rango 5 vs 6) sono passate da "confortevolmente risolte" al richiedere dimensioni campionarie $>3N$.
  • Test Validi in Qualsiasi Momento: L'applicazione di soglie uniformi nel tempo per il monitoraggio continuo ha ulteriormente ristretto i verdeti, rendendo irrisolte 5/9 coppie MMLU-Pro (una coppia in più rispetto ai test a $N$ fisso).
• Calibrazione: Le prescrizioni di $N^\star$ del quadro sono state validate mediante ricampionamento bootstrap su dati reali, confermando che le dimensioni campionarie derivate raggiungono la potenza target ($\approx 0.80$) empiricamente.

Significato e Affermazioni
Il documento afferma che l'affermazione che un modello sia "migliore" di un altro è un'affermazione statistica sulla differenza, non sulla differenza stessa. Il significato di questo lavoro risiede nello spostare il focus dal semplice riportare una differenza e un valore p al riportare la risoluzione del benchmark.

Gli autori sostengono che molte affermazioni attuali delle leaderboard non sono supportate dalla potenza statistica dei dati, in particolare nel "regime di confronto ravvicinato" dove i modelli adiacenti sono classificati. Mettendo in luce la sottostima di un fattore due negli strumenti comuni e dimostrando che il clustering e la multiplicità degradano ulteriormente la risoluzione, il documento fornisce un quadro diagnostico per prevenire conclusioni eccessivamente confidenti. Il lavoro non afferma che i modelli siano uguali, ma piuttosto che le dimensioni attuali dei benchmark sono insufficienti per distinguere le differenze osservate dal rumore secondo standard statistici rigorosi. Il documento conclude che un benchmark può avere un'alta validità costruttiva e tuttavia essere troppo piccolo per il test di ipotesi specifico in esame, rendendo necessario un nuovo standard di reporting per le valutazioni degli LLM.