Technische Samenvatting: Geen universeel signaal voorspelt regressie op steunpunt-niveau bij LLM-versie-updates

Probleemstelling

Frontier Large Language Models (LLM's) ondergaan frequente updates die doorgaans de geaggregeerde nauwkeurigheid op benchmarks verbeteren. Deze updates kunnen echter negatieve flips introduceren: specifieke instanties waarbij een antwoord dat correct was onder een ouder model ($M_{old}$) incorrect wordt onder een nieuwere versie ($M_{new}$). Terwijl geaggregeerde metrieken deze regressie maskeren, vormen ze een aanzienlijk risico voor toepassingen met een hoge inzet.

Het kernproblein dat wordt aangepakt is voorspelling van regressie op steunpunt-niveau tijdens inferentie. De auteurs onderzoeken of signalen die beschikbaar zijn tijdens inferentie — zonder toegang tot modelparameters of grondwaarheid-labels (ground-truth labels) — effectief kunnen aangeven welke steunpunten waarschijnlijk een negatieve flip zullen ondergaan. De studie maakt onderscheid tussen:

1. Single-model signalen: Onzekerheidsmetrieken afgeleid van een enkele modelversie (bijv. vertrouwen, logit-marge).
2. Cross-versie signalen: Metrieken die het gedrag van $M_{old}$ en $M_{new}$ op dezelfde input vergelijken (bijv. output KL-divergentie, likelihood drift).

De centrale hypothese die wordt getest is of cross-versie discrepantie inherent voorspellend is voor regressie, of dat de effectiviteit van een signaal afhankelijk is van de taakstructuur en specifieke modelupdates.

Methodologie

Experimentele Opzet

De studie evalueert zes model-updateparen over vier open-weight modelfamilies (Qwen, Llama, Mistral, Gemma), verspreid over ongeveer twee jaar aan releases. Dit omvat vijf updates binnen dezelfde familie en één grensgeval (Llama-2 $\to$ Llama-3).
De evaluatie beslaat zes benchmarks in drie taakfamilies:

• Multiple-Choice Vraagbeantwoording (MCQ): MMLU-Pro, GPQA.
• Wiskundige Redenering: GSM8K, MATH-full.
• Code Generatie: HumanEval, MBPP.

Modellen worden deterministisch gedecodeerd (greedy decoding, temperatuur 0) om reproduceerbare negatieve-flip-labels te garanderen. Het voorspellingsdoel is het binaire label $z(x) = \mathbb{I}\{c_{old}(x)=1 \land c_{new}(x)=0\}$.

Signaal Taxonomie

De auteurs vergelijken twee families van signalen:

1. Single-Model Signalen:
   • Vertrouwen (Confidence): Maximale softmax-waarschijnlijkheid (MCQ) of lengte-genormaliseerde sequentie log-likelihood (generatief).
   • Logit-marge: Het verschil tussen de top-1 en top-2 optie-logits (MCQ).
   • Attention Entropie: Rényi-2 entropie van attention-gewichten (MCQ).
2. Cross-Versie Signalen:
   • Output KL/JSD: Divergentie tussen optie-distributies (MCQ).
   • Likelihood Drift: Verschil in per-token negatieve log-likelihood (NLL) bij het scoren van een vaste trajectorie (oud of nieuw) op beide modellen.
   • Top-k Token KL: KL-divergentie tussen next-token distributies beperkt tot de top-$k$ tokens van het genererende model.
   • Representatie Drift: Cosinus-afstand tussen de verborgen toestanden van de laatste laag.

Evaluatieprotocol: Added-Value Test

Om de unieke voorspellende kracht van elk signaal te isoleren, gebruiken de auteurs een uniforme added-value test.

• Baseline: Een logistische regressie die alleen gebruikmaakt van de vertrouwen-score van het nieuwe model ($LR(conf_{new})$).
• Geaugmenteerd Model: $LR(conf_{new}, s)$, waarbij $s$ het kandidaat-signaal is.
• Metriek: De verandering in 5-voudige cross-validatie AUROC ($\Delta$CV-AUROC). Een signaal wordt pas als nuttig beschouwd als het de prestaties verbetert ten opzichte van de vertrouwen-baseline, in plaats van enkel informatie te dupliceren die al door vertrouwen wordt gevangen.

Belangrijkste Resultaten

1. Taakafhankelijke Effectiviteit

Geen enkel signaal voorspelt universeel negatieve flips over alle taken en updates heen. De effectiviteit correleert sterk met de outputstructuur van de taak:

• MCQ Taken: Vertrouwen van het nieuwe model is de sterkste voorspeller. Cross-versie signalen (zoals Output KL) vertonen een hoge standalone AUROC, maar bieden weinig toegevoegde waarde bovenop vertrouwen, aangezien de correctheid van MCQ afhangt van een enkele discrete keuze.
• Wiskundige Redenering (Moeilijkere Taken): Op de MATH-full benchmark presteren cross-versie likelihood/KL-signalen (specifiek nieuwe-trajectorie likelihood drift en token KL) consistent beter dan vertrouwen. Op de eenvoudigere GSM8K is vertrouwen voldoende.
• Code Generatie: Cross-versie signalen (likelihood drift en token KL) leveren de meest frequente winsten op. De correctheid van code is functioneel (afhankelijk van de gehele trajectorie), wat betekent dat een vloeiende, hoog-vertrouwende generatie nog steeds kan falen bij unit tests. Trajectorie-niveau signalen vangen informatie op die vertrouwen mist.

2. Geen Universele Winnaar over Updates

Zelfs binnen een specifieke taakfamilie varieert het beste signaal per model-updatepaar. Hoewel likelihood drift vaak helpt bij code-taken, is de magnitude en richting ervan afhankelijk van de specifieke update.

3. Moeilijkheidsgraad versus Regressie

Negatieve flips zijn niet uitsluitend de "moeilijkste" voorbeelden voor het oude model. Hoewel een laag vertrouwen van het oude model correleert met flips in MCQ, verzwakt deze relatie aanzienlijk in wiskundige redenering en code generatie. Vertrouwen van het oude model alleen kan niet betrouwbaar identificeren welke steunpunten onder een update zullen flippen.

4. Label-Vrije Toepasbaarheid

Bij evaluatie op de volledige dataset (zonder te filteren op $M_{old}$-correcte samples, wat de situatie in productie simuleert waar de grondwaarheid onbekend is):

• De prestaties van het vertrouwen van het nieuwe model dalen aanzienlijk (bijv. AUROC $\approx$ 0.6 op MMLU-Pro).
• Sommige cross-versie signalen (bijv. nieuwe-trajectorie likelihood drift) blijven stabieler en informatiever, wat een proof-of-concept voor een selectieve fallback-strategie ondersteunt, waarbij risicovolle steunpunten worden teruggeleid naar het oude model.

5. Combinatie van Signalen

Het combineren van meerdere cross-versie signalen leidt zelden tot verbetering van de prestaties ten opzichte van het beste individuele signaal, wat wijst op competitie in plaats van complementariteit tussen deze metrieken.

Betekenis en Bijdragen

Het artikel levert vier primaire bijdragen:

1. Karakterisering van Negatieve Flips: Het toont aan dat negatieve flips niet volledig verklaard kunnen worden door de moeilijkheidsgraad van het oude model of een laag vertrouwen, vooral naarmate de taakcomplexiteit toeneemt.
2. Taakafhankelijke Signaalpatronen: Het identificeert dat het optimale signaal voor het voorspellen van regressie afhangt van de taakfamilie: vertrouwen volstaat voor MCQ en eenvoudige wiskunde, terwijl cross-versie likelihood/KL-signalen superieur zijn voor code en complexe wiskunde.
3. Praktisch Fallback-mechanisme: Het toont aan dat bepaalde cross-versie signalen informatief blijven zonder grondwaarheid-labels, wat een selectieve fallback-strategie mogelijk maakt om de risico's van regressie in productie te beperken.
4. Competitie versus Complementariteit: Het stelt vast dat het combineren van meerdere cross-versie signalen over het algemeen een afnemend rendement oplevert, wat aangeeft dat één goed gekozen signaal meestal voldoende is.

Conclusie: Gebruikers moeten er niet standaard vanuit gaan dat vertrouwen-gebaseerde filtering voor alle updates geldt. In plaats daarvan moeten zij het regressie-signaal afstemmen op de specifieke taak en het model-updatepaar. Voor generatieve taken zoals code en complexe wiskunde bieden cross-versie gedragsvergelijkingen een noodzakelijke beveiliging die het vertrouwen van een enkel model niet kan bieden.