Technisch overzicht: Schatting van de staartvorm in LLM-evaluatie is fragiel

Probleemstelling

Recente literatuur pleit voor een verschuiving van gemiddelde-gebaseerde metrieken naar staart-bewuste metrieken, zoals Conditional Value-at-Risk (CVaR) en staartindex-schattingen, bij de evaluatie van Large Language Models (LLM's), om catastrofale, zeldzame, worst-case gedragingen te vangen die gemiddelden missen. De staartindex ($\xi$), afgeleid van Extreme Value Theory (EVT), is een scalaire parameter bedoeld om de vorm van de staart van een distributie (bijv. heavy-tailed versus begrensd) te isoleren van de grootte ervan.

Het schatten van $\xi$ via de Peaks-Over-Threshold (POT) methode en het fitten van een Generalized Pareto Distribution (GPD) is statistisch fragiel in eindige steekproeven. De centrale vraag van dit paper is of de staartindex-parameter discriminatieve informatie toevoegt bovenop het gemiddelde en een standaard staart-grootte statistiek (TVaR) in standaard LLM-evaluatie-opstellingen, of dat claims van verschillen in staartvorm vaak artefacten zijn van schattingsruis, bias door begrensd support of drempelwaarde-selectie.

Methodologie: Een vooraf geregistreerd vijf-poorten protocol

De auteurs stellen een rigoureus vijf-poorten protocol voor dat vooraf is geregistreerd en ontworpen om elke claim van staartvorm-discriminatie ($H_1$) te valideren. Het protocol is ontworpen om de analyse vroegtijdig te beëindigen ("KILL" de hypothese) als een poort faalt, om publicatie van vals positieven te voorkomen.

Het protocol bestaat uit twee fasen: Admissibiliteits-poorten (G1–G5) en Pass-criteria (P1–P2).

Admissibiliteits-poorten

1. G1 (Gemiddelde Equivalentie): De 95% bootstrap betrouwbaarheidsintervallen (CI) voor het verschil in gemiddelde ernst tussen twee modellen moeten volledig binnen een vooraf geregistreerde tolerantieband ($\delta_\mu$) liggen. Dit gebruikt een Two-One-Sided Test (TOST) om praktische equivalentie vast te stellen, waarbij de fout "niet-significantie impliceert geen equivalentie" wordt vermeden.
2. G2 (Staart-grootte Equivalentie): Op vergelijkbare wijze moet de 95% bootstrap CI voor het verschil in Tail Value-at-Risk (TVaR$_{0.9}$) binnen een tolerantieband ($\delta_{TVaR}$) liggen.
3. G3 (Steekproefomvang): Het aantal excessen ($n_{exc}$) boven de drempelwaarde moet voldoen aan een theoretische ondergrens ($N^*$) afgeleid van de Smith asymptotiek voor GPD Maximum Likelihood Estimators (MLE). Dit waarborgt voldoende power om een vooraf geregistreerd effect-grootte ($\Delta \xi$) te detecteren.
4. G4 (Goodness-of-Fit): De empirische excessen-distributie moet de Anderson-Darling (AD) test voor GPD-fit passeren ($p > 0.05$).
5. G5 (Drempelwaarde Stabiliteit): De geschatte $\hat{\xi}$ moet nagenoeg constant zijn over een robuustheidsband van drempelwaarden ($u \in [q-\delta, q+\delta]$). Grote fluctuaties duiden op threshold-fishing of instabiliteit.

Pass-criteria

Alleen als een paar modellen alle admissibiliteits-poorten passeert, gaat de analyse verder naar:

• P1: De 9s5 bootstrap CI's voor $\hat{\xi}$ van de twee modellen mogen niet overlappen.
• P2: Het absolute verschil in geschatte staartindices ($|\hat{\xi}_A - \hat{\xi}_B|$) moet groter zijn dan een vooraf geregistreerde effect-grootte vloer ($\Delta_{floor}$).

Experimentele Opstelling

• Modellen: Vier open-weight instruction-tuned LLM's (Qwen2.5-3B, Llama-3.2-3B, Llama-3.1-8B, Mistral-Nemo-Instruct-2407).
• Data: 30.000 prompts uit de RealToxicityPrompts dataset per conditie.
• Scorers:
  1. Detoxify: Een toxiciteitsclassifier die waarschijnlijkheden in $[0, 1]$ teruggeeft.
  2. Token-NLL Judge: Een secundaire scorer familie die negatieve log-likelihood gebruikt.
• Pilot: Een perturbatiestudie (H2) op Qwen2.5-3B met input-embedding ruis om intra-model variatie te testen.

Belangrijkste Resultaten: Drie Modi van Vals Positieve Resultaten Betrapt

Het protocol slaagde erin de kopstelling dat staartvorm discriminatieve informatie biedt in deze opstelling te verwerpen. De studie identificeerde drie verschillende faalmodi die een naïeve analyse gemist zou hebben:

1. Steekproefomvang-illusie (Poort G3)

In een pilotstudie met slechts 2.000 prompts ($n_{exc} \approx 100$), observeerden de auteurs een groot schijnbaar verschil in staartindices ($\Delta \hat{\xi} \approx 0.28$) tussen ruisniveaus. De Anderson-Darling test slaagde, maar de steekproefomvang-poort (G3) verwierp dit resultaat omdat $n_{exc}$ ver onder de vereiste 1.570 lag voor 80% power bij de beoogde effect-grootte. Bij herhaalde uitvoering met 30.000 prompts kromp het effect 30 keer ($\Delta \hat{\xi} \approx 0.009$), wat bevestigde dat het resultaat uit de pilot schattingsruis was.

2. Bounded-Support Contaminatie (Poort G4)

Bij het scoren met Detoxify (waarschijnlijkheden in $[0, 1]$), faalde de GPD-fit voor drie van de vier modellen (AD $p < 0.05$). De MLE produceerde spookachtige heavy-tail schattingen ($\hat{\xi} \approx 0.9 - 1.2$) of gedegenereerde fits ($\hat{\xi} \approx -1$) omdat de ernst-scores verzadigden nabij de bovengrens (1.0), wat de aanname van onbegrensde support van de standaard GPD schendt.

• Fix: Het toepassen van een logit-transformatie ($s' = \log(s/(1-s))$) op de scores herstelde de GPD-geldigheid (AD $p > 0.05$).
• Resultaat: De ware staartvorm was licht ($\hat{\xi} \approx 0$, Gumbel-domein), niet heavy-tailed. De "heavy tail" diagnose was een artefact van de begrensde support.

3. Threshold-Fishing (Poort G5)

Gebruikmakend van de logit-getransformeerde data, scanden de auteurs drempelwaarden van $q=0.95$ tot $0.99$. Bij $q=0.97$ leek één paar (Qwen vs. Llama-3.1-8B) aan alle criteria te voldoen met $\Delta \hat{\xi} = 0.139$. Echter, de drempelwaarde-stabiliteitspoort (G5) toonde aan dat $\hat{\xi}$ significant fluctueerde over de robuustheidsband voor het Qwen-model. Het "positieve" resultaat bij $q=0.97$ was een uitschieter binnen de eigen ruis-envelope van het model, correct geïdentificeerd als threshold-fishing.

Eindverdict

Na het corrigeren voor begrensde support en het toepassen van het volledige protocol:

• Nul van de zes modelparen passeerde alle poorten gelijktijdig.
• Vijf paren faalden op bulk-equivalentie (G1/G2).
• Het enkele paar met bulk-equivalentie (Qwen vs. Llama-3.1-8B) had overlappende CI's en een effect-grootte ($0.095$) onder de vloer ($0.10$).
• Hetzelfde KILL verdict werd gegeven voor de Token-NLL judge, wat bevestigt dat het resultaat niet specifiek is voor de Detoxify scorer.

Bijdragen

1. Protocol: Een vooraf geregistreerd, vijf-poorten protocol voor staartindex-claims in LLM-evaluatie, inclusief specifieke admissibiliteits- en stabiliteitscriteria.
2. Steekproefomvang-ondergrens: Een asymptotische ondergrens (Eq. 2) voor het aantal excessen dat vereist is om een specifieke $\Delta \xi$ te detecteren met 80% power.
3. Diagnose van Bounded-Support Bias: Identificatie van hoe classifiers met een sigmoid-kop (zoals Detoxify) spookachtige heavy-tail schattingen produceren door score-verzadiging, en de voorstel van een logit-transformatie als oplossing.
4. Empirische Demonstratie: Een demonstratie dat het protocol drie verschillende modi van vals positieve resultaten (finite-sample ruis, bounded-support artefacten en threshold-fishing) vangt in een klassieke LLM-toxiciteit opstelling.

Betekenis en Claims

Het paper concludeert dat de schatting van de staartvorm in de onderzochte LLM-toxiciteit-opstellingen fragieler is dan de recente literatuur suggereert. De auteurs beweren niet dat POT-GPD ongeschikt is voor LLM-evaluatie in algemene zin, noch beweren zij dat de staartvorm nooit informatie bevat.

In plaats daarvan stellen zij:

• Zonder een rigoureus protocol is de kans op het publiceren van vals positieve resultaten bij naïeve analyses in standaard opstellingen zeer groot.
• In het specifieke geval van RealToxicityPrompts met Detoxify, biedt de staartindex $\xi$ geen discriminatieve informatie die orthogonaal is aan het gemiddelde en de TVaR.
• Het protocol dient als een noodzakelijk startpunt voor elke toekomstige claim van staartvorm-discriminatie. Het negatieve resultaat hier is een demonstratie van het vermogen van het protocol om ruis te filteren, niet een bewijs dat de staartvorm irrelevant is in alle contexten.

De auteurs bevelen aan dat toekomstig werk steekproefomvang vooraf registreert op basis van de afgeleide grenzen, passende transformaties toepast voor scorers met begrensde support, en parameter-stabiliteitsscans rapporteert in plaats van enkelvoudige drempelwaarde-schattingen.