SafetyRepro: Configuration-Conditional Rank Instability on Alignment Benchmarks

Sintesi Tecnica: SafetyRepro: Instabilità del Ranking Condizionata alla Configurazione su Benchmark di Allineamento

Enunciato del Problema
Il documento affronta una lacuna critica nella riproducibilità dei benchmark di allineamento dei Modelli Linguistici di Grandi Dimensioni (LLM). Sebbene i confronti a coppie (ad esempio, "Il Modello A è più sicuro del Modello B") siano trattati come verdetto quantitativi nella letteratura, essi si basano su harness di valutazione che sotto-specificano scelte configurazionali critiche. Gli evaluatori devono selezionare template di prompt, impostazioni di decodifica, livelli few-shot, regole di punteggio e schemi di quantizzazione. Gli autori sostengono che queste scelte sono spesso plausibili ma sotto-specificate nei paper sui benchmark, portando a una mancanza di riproducibilità in cui la stessa coppia di modelli può produrre classifiche contraddittorie a seconda della configurazione dell'harness.

Metodologia
Gli autori costruiscono un protocollo di valutazione "timbrato con commit" per testare la stabilità dei ranking a coppie su un envelope di configurazioni finito.

• Griglia Sperimentale: Lo studio valuta tre modelli istruiti open-weight da 7–9B (Qwen-2.5-7B-Instruct, Mistral-7B-Instruct-v0.3 e Yi-1.5-9B-Chat) su cinque benchmark relativi all'allineamento: TruthfulQA, BBQ, ToxiGen, CrowS-Pairs e XSTest.
• Envelope di Configurazione: Viene esplorata una griglia di 612 celle, variando quattro assi per ogni coppia (modello, benchmark):
  1. Template di Prompt: Quattro livelli (Minimale, Inquadrato per ruolo, Dettagliato, Catena di pensiero).
  2. Decodifica: Tre livelli (Greedy, T=0.3, T=0.7).
  3. Few-shot: Tre livelli (0, 3, 5 shot).
  4. Punteggio: Due livelli (Estrazione regex in formato libero vs. argmax logprob).
• Vincoli: La griglia è fissata alla quantizzazione NF4 (simulando hardware consumer da 16 GB) e a un sottoinsieme fisso di elementi per benchmark per isolare la varianza dell'harness dalla varianza del sottocampionamento dei dati.
• Metriche:
  • Tasso di Disaccordo a Coppie Controllabile dall'Operatore ($\rho_{flip}$): Definito come $\min(N_+, N_-) / |C_b|$, dove $N_+$ e $N_-$ sono i conteggi delle configurazioni in cui Modello A > Modello B e Modello B > Modello A, rispettivamente. Questa metrica misura l'esistenza di inversioni strette all'interno dell'envelope.
  • Concordanza del Ranking ($\tau_R$): Kendall $\tau$ medio sui ranking a 3 modelli indotti.
  • Attribuzione della Varianza: Un'ANOVA di Tipo II a quattro vie per partizionare la varianza tra identità del modello e assi di implementazione (template, decodifica, few-shot).
• Caso di Studio: Un'analisi separata riesegue una singola configurazione di ancoraggio nominale (Qwen2.5-7B-Instruct) su tre pacchetti di valutazione mainstream (lm-evaluation-harness, HELM-lite, Inspect AI) per dimostrare la non-equivalenza implementativa.

Risultati Chiave

1. Instabilità Universale del Ranking: Su ogni benchmark testato, la sola scelta della configurazione è sufficiente a invertire il verdetto a coppie tra i modelli. La metrica $\rho_{flip}$ è non nulla per tutti i benchmark, indicando che un ordinamento stretto non è identificabile all'interno dell'envelope testato.
2. Massima Instabilità:
   • XSTest: Il benchmark più volatile; tutte le sei possibili ordinazioni dei tre modelli sono raggiungibili all'interno dell'envelope completo. Anche in un "livello centrale" (escludendo CoT stress-tier e decodifica diversificata), 5 delle 6 ordinazioni rimangono raggiungibili.
   • TruthfulQA: Mostra il tasso di disaccordo a coppie più alto ($\rho_{flip} \approx 47.9\%$ sull'envelope completo, $\approx 40.7\%$ sul livello centrale).
   • BBQ e ToxiGen: Mostrano anch'essi un'instabilità significativa, con valori di $\rho_{flip}$ intorno al 43.8% e 35.4% rispettivamente.
3. Dominanza Implementazione vs. Modello: La partizione della varianza rivela che gli effetti principali dell'implementazione spiegano tanta o più varianza aggregata rispetto all'identità del modello su tre dei quattro benchmark in formato libero (BBQ, ToxiGen, XSTest). Solo TruthfulQA è dominato dal modello. Gli effetti di interazione sono ampi (41–54%), suggerendo che la partizione è una direzione qualitativa piuttosto che un rapporto preciso.
4. Sensibilità del Percorso di Punteggio: Il passaggio tra l'analisi regex in formato libero e il punteggio argmax logprob produce punteggi materialmente diversi (fino a 22.7 punti percentuali su BBQ e 21.7 su TruthfulQA nello studio cross-pacchetto), confermando che percorsi di punteggio diversi misurano oggetti candidati non equivalenti.
5. Non-Equivalenza Cross-Pacchetto: L'esecuzione della stessa configurazione nominale su tre diversi pacchetti di valutazione produce dispersioni di punteggio fino a 22.7 punti percentuali. Ciò è attribuito alla non-equivalenza implementativa (diversi oggetti candidati, boilerplate dei prompt e mappature ground-truth) piuttosto che a un effetto pacchetto su un singolo asse.

Contributi

1. Metrica: L'introduzione del tasso di disaccordo a coppie controllabile dall'operatore ($\rho_{flip}$), una metrica condizionata alla configurazione che quantifica l'esistenza di inversioni di ranking strette all'interno di un envelope derivato dalla pratica e definito.
2. Dati: Una griglia di valutazione di 612 celle rilasciabile che copre 15 coppie (modello, benchmark) con regole di configurazione timbrate con commit.
3. Evidenza: Un caso di studio che dimostra la non-equivalenza implementativa su tre principali pacchetti di valutazione, mostrando che la divulgazione di una configurazione è insufficiente per la riproducibilità del punteggio su harness diversi.
4. Strumentazione: Un template di divulgazione a livello di ricerca (scheda GRID) per registrare le configurazioni dell'harness insieme ai punteggi, riconoscendo che, sebbene migliori la trasparenza, non risolve il problema dei richiedenti che manipolano i dintorni della configurazione.
5. Controlli di Robustezza: Analisi di un sotto-envelope conservativo centrale (4 configurazioni) e di una sonda di scala cross-famiglia (7B vs 32B/34B) che esclude confondenti a famiglia singola ma non rivendica una legge di scalabilità generale.

Significato e Affermazioni
Il documento afferma che un punteggio di benchmark che classifica il Modello A sopra il Modello B è una proprietà della coppia (modello, harness), non dei modelli da soli. Gli autori affermano che senza divulgare sia il modello sia la specifica configurazione dell'harness, tali ranking non possono essere riprodotti.

Il significato risiede nella chiusura di un "loop teoria-benchmark" fornendo un test in una riga (Proposizione 1) per determinare se un ranking a coppie sia libero da inversioni strette su una data griglia di configurazioni. Gli autori sottolineano che i loro risultati sono delimitati: non affermano di aver misurato la "riproducibilità della valutazione degli LLM" come popolazione, né affermano di aver risolto la riproducibilità. Invece, dimostrano che all'interno di un envelope deliberatamente delimitato e derivato dalla pratica (hardware consumer, dimensioni specifiche dei modelli, sottoinsiemi fissi di elementi), il primitivo "ordinamento stretto" fallisce nell'identificare una verità stabile. Il documento conclude che certificare quali ranking pubblicati siano identificati non richiede né nuova teoria né nuova potenza di calcolo, ma piuttosto l'applicazione di questo test condizionato alla configurazione.