SafetyRepro: Configuration-Conditional Rank Instability on Alignment Benchmarks

Technische Samenvatting: SafetyRepro: Configuratie-afhankelijke Ranginstabiliteit op Alignmentsbenchmarks

Probleemstelling
Het artikel adresseert een kritieke lacune in de reproduceerbaarheid van alignmentsbenchmarks voor Large Language Models (LLM). Hoewel paarsgewijze vergelijkingen (bijvoorbeeld "Model A is veiliger dan Model B") in de literatuur worden behandeld als kwantitatieve uitspraken, vertrouwen zij op evaluatieharnassen die cruciale configuratiekeuzes onder-specificeren. Evaluatoren moeten prompttemplates, decoding-instellingen, few-shot-niveaus, scoringsregels en kwantisatieschema's selecteren. De auteurs betogen dat deze keuzes vaak plausibel zijn maar onder-specificeerd worden in benchmarkartikelen, wat leidt tot een gebrek aan reproduceerbaarheid waarbij hetzelfde modelpaar tegenstrijdige rangschikkingen kan opleveren, afhankelijk van de harnasconfiguratie.

Methodologie
De auteurs construeren een "commit-gezegelde" evaluatieprotocol om de stabiliteit van paarsgewijze rangschikkingen te testen binnen een eindige configuratieomhulling.

• Experimenteel Rooster: De studie evalueert drie open-weight instructie-gefine-tuned modellen van 7–9B (Qwen-2.5-7B-Instruct, Mistral-7B-Instruct-v0.3 en Yi-1.5-9B-Chat) over vijf alignmentsgerelateerde benchmarks: TruthfulQA, BBQ, ToxiGen, CrowS-Pairs en XSTest.
• Configuratieomhulling: Een rooster van 612 cellen wordt doorgelopen, waarbij vier assen per (model, benchmark)-paar worden gevarieerd:
  1. Prompttemplate: Vier niveaus (Minimaal, Rol-gesitueerd, Gedetailleerd, Chain-of-Thought).
  2. Decoding: Drie niveaus (Greedy, T=0.3, T=0.7).
  3. Few-shot: Drie niveaus (0, 3, 5 shots).
  4. Scoring: Twee niveaus (Vrije regex-extractie versus Logprob argmax).
• Beperkingen: Het rooster is vastgezet op NF4-kwantisatie (simulerend 16 GB consumenthardware) en een vast item-subset per benchmark om harnasvariatie te isoleren van data-subsamplingvariatie.
• Maten:
  • Operator-controleerbare Paarsgewijze-Disagreement Rate ($\rho_{flip}$): Gedefinieerd als $\min(N_+, N_-) / |C_b|$, waarbij $N_+$ en $N_-$ de aantallen configuraties zijn waarbij Model A > Model B en Model B > Model A, respectievelijk. Deze maat meet het bestaan van strikte reversies binnen de omhulling.
  • Rangschikkingsovereenstemming ($\tau_R$): Gemiddelde Kendall $\tau$ over gegenereerde 3-modelrangschikkingen.
  • Variantietoewijzing: Een vier-weg Type-II ANOVA om variantie te partitioneren tussen modelidentiteit en implementatieassen (template, decoding, few-shot).
• Casestudie: Een aparte analyse herhaalt een enkele nominale ankerconfiguratie (Qwen2.5-7B-Instruct) over drie mainstream evaluatiepakketten (lm-evaluation-harness, HELM-lite, Inspect AI) om implementatie-niet-equivalentie aan te tonen.

Belangrijkste Bevindingen

1. Universele Ranginstabiliteit: Op elke geteste benchmark is de configuratiekeuze alleen al voldoende om de paarsgewijze uitspraak tussen modellen om te keren. De maat $\rho_{flip}$ is niet-nul voor alle benchmarks, wat aangeeft dat een strikte ordening niet identificeerbaar is binnen de geteste omhulling.
2. Maximale Instabiliteit:
   • XSTest: De meest volatiele benchmark; alle zes mogelijke ordeningen van de drie modellen zijn bereikbaar binnen de volledige omhulling. Zelfs in een "core tier" (exclusief stress-tier CoT en diverse decoding) blijven 5 van de 6 ordeningen bereikbaar.
   • TruthfulQA: Toont het hoogste paarsgewijze disagreement percentage ($\rho_{flip} \approx 47,9\%$ op de volledige omhulling, $\approx 40,7\%$ op de core tier).
   • BBQ en ToxiGen: Vertonen ook significante instabiliteit, met $\rho_{flip}$-waarden rond respectievelijk 43,8% en 35,4%.
3. Implementatie versus Model-Dominantie: Variantiepartitionering onthult dat implementatiemain-effecten evenveel of meer aggregate variantie verklaren dan modelidentiteit op drie van de vier free-form benchmarks (BBQ, ToxiGen, XSTest). Alleen TruthfulQA is model-gedomineerd. Interactie-effecten zijn groot (41–54%), wat suggereert dat de partitionering een kwalitatieve richting is in plaats van een precies ratio.
4. Scoringspad-gevoeligheid: Het wisselen tussen free-form regex-parsing en logprob argmax-scorings levert materieel verschillende scores op (tot 22,7 procentpunten op BBQ en 21,7 op TruthfulQA in de cross-pakketstudie), wat bevestigt dat verschillende scoringspaden niet-equivalente kandidaatobjecten meten.
5. Cross-Pakket Niet-Equivalentie: Het uitvoeren van dezelfde nominale configuratie over drie verschillende evaluatiepakketten levert scoreverspreidingen op tot 22,7 procentpunten. Dit wordt toegeschreven aan implementatie-niet-equivalentie (verschillende kandidaatobjecten, prompt-boilerplate en ground-truth-mappings) in plaats van een enkel-as pakket-effect.

Bijdragen

1. Maat: De introductie van de operator-controleerbare paarsgewijze-disagreement rate ($\rho_{flip}$), een configuratie-afhankelijke maat die het bestaan van strikte rangreversies binnen een gedefinieerde, uit de praktijk afgeleide omhulling kwantificeert.
2. Data: Een vrijgeefbaar 612-cell evaluatierooster dat 15 (model, benchmark)-paren beslaat met commit-gezegelde configuratieregels.
3. Bewijs: Een casestudie die implementatie-niet-equivalentie aantoont over drie grote evaluatiepakketten, waarbij wordt aangetoond dat het openbaren van een configuratie onvoldoende is voor score-reproduceerbaarheid over verschillende harnassen.
4. Tooling: Een disclosure-sjabloon op onderzoeksniveau (GRID-kaart) om harnasconfiguraties naast scores vast te leggen, waarbij wordt erkend dat hoewel dit transparantie verbetert, het het probleem van claimers die configuratienabijheid manipuleren niet oplost.
5. Robuustheidstests: Analyse van een conservatieve core-subomhulling (4 configuraties) en een cross-familie schaal-probe (7B versus 32B/34B) die single-family confounds uitsluit, maar geen algemene schaalwet claimt.

Betekenis en Claims
Het artikel claimt dat een benchmarkscore die Model A boven Model B rangschikt, een eigenschap is van het (model, harnas)-paar, niet van de modellen alleen. De auteurs stellen dat zonder het openbaren van zowel het model als de specifieke harnasconfiguratie, dergelijke rangschikkingen niet kunnen worden gereproduceerd.

De betekenis ligt in het sluiten van een "theorie-benchmark-lus" door het bieden van een één-regeltest (Propositie 1) voor het bepalen of een paarsgewijze rangschikking vrij is van strikte reversie op een gegeven configuratierooster. De auteurs benadrukken dat hun bevindingen begrensd zijn: zij claimen niet "LLM-evaluatie-reproduceerbaarheid" als populatie te hebben gemeten, noch claimen zij reproduceerbaarheid te hebben opgelost. In plaats daarvan tonen zij aan dat binnen een doelbewust begrensd, uit de praktijk afgeleid omhulling (consumenthardware, specifieke modelgroottes, vaste item-subsets), de "strikt ordenen"-primitief faalt om een stabiele waarheid te identificeren. Het artikel concludeert dat het certificeren van welke gepubliceerde rangschikkingen geïdentificeerd zijn, noch nieuwe theorie noch nieuwe rekenkracht vereist, maar wel de toepassing van deze configuratie-afhankelijke test.