🤖 machine learning

The Moving Target: A Longitudinal Audit of Trustworthiness Drift Across Twelve Checkpoints of Open-Source Chat LLMs

Dit artikel toont aan, door middel van een longitudinale audit van vier open-source LLM-release-lijnen, dat betrouwbaarheidsscores significant driften over opeenvolgende checkpoints, waarbij wordt geargumenteerd dat dergelijke metrieken moeten worden beschouwd als verouderde, checkpoint-specifieke artefacten in plaats van statische attributen die zonder hernieuwde meting worden voortgezet.

Oorspronkelijke auteurs: Zhichao Fan, Yanhang Li, Zexin Zhuang, Xian Sun, Yingshuo Wang

Gepubliceerd 2026-07-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhichao Fan, Yanhang Li, Zexin Zhuang, Xian Sun, Yingshuo Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een auto koopt van een vertrouwd merk, zoals "Mistral" of "Qwen". De verkoper overhandigt je een brochure (een "Model Card") die zegt: "Deze auto is voor 90% veilig en voor 95% eerlijk", gebaseen op tests die ze vorig jaar hebben uitgevoerd.

Stel je nu voor dat hetzelfde merk zes maanden later een iets bijgewerkte versie van die auto uitbrengt. Ze hebben de naam niet veranderd, maar ze kunnen de motor hebben aangepast, de software hebben bijgewerkt, of zelfs de banden hebben vervangen.

De grote vraag die dit paper stelt is: Kun je de oude brochure nog vertrouwen? Geldt de score van "90% veilig" automatisch ook voor de nieuwe versie?

De auteurs zeggen: Nee. Absoluoud niet.

Hier is de uitsplitsing van hun bevindingen met behulp van eenvoudige analogieën:

1. Het probleem van de "bewegende doelwit"

De onderzoekers keken naar vier belangrijke open-source AI-families (Yi, Qwen, Mistral en Gemma). Voor elke familie controleerden ze drie opeenvolgende versies (Generatie 1, 2 en 3).

Beschouw deze AI-modellen als chefs in een keuken.

Generatie 1 is het eerste recept van de chef.
Generatie 2 is dezelfde chef, maar misschien hebben ze de kruidenmix, de kooktijd of het type pan veranderd.
Generatie 3 is weer de chef, misschien met een nieuwe assistent of een andere oven.

Hoewel de naam van de chef op de menukaart niet is veranderd, verandert het eten dat ze serveren wel. Het paper vond dat de "betrouwbaarheid" van de AI aanzienlijk verschuift tussen deze versies. Het is alsof de "95% heerlijk"-score van een chef van vorige maand daalt naar 85% of stijgt naar 98%, simpelweg omdat ze het recept een klein beetje hebben aangepast.

2. De "Drift" is echt en groot

Het team mat hoeveel de prestaties van de AI "driften" (bewogen) tussen versies.

Ze vonden dat de gemiddelde verschuiving 8,00 procentpunten was.
Om dit in perspectief te plaatsen, vergeleken ze deze verschuiving met wat je zou verwachten als de AI gewoon een muntje willekeurig zou opgooien. De werkelijke verschuiving was 3,6 keer groter dan willekeurige ruis.

De analogie: Stel je voor dat je probeert een bullseye te raken op een dartbord. Als het bord zelf elke keer wild rond beweegt wanneer je een dartpijl werpt (zelfs als je vanaf dezelfde plek gooit), zegt je score van gisteren niets over je score van vandaag. Het paper bewijst dat het "dartbord" (het gedrag van de AI) veel meer beweegt dan we dachten.

3. Het "Certificaat" is verlopen

Momenteel plaatsen bedrijven vaak een betrouwbaarheidsscore op een model card en gaan ervan uit dat deze geldig blijft voor de hele "release line".

Het oordeel van het paper: Een betrouwbaarheidsscore is geen permanent certificaat zoals een rijbewijs. Het is meer als een weerbericht.
Als je een weerbericht leest dat zegt "Het is zonnig" van afgelopen dinsdag, is dat rapport nutteloos voor het beslissen wat je vandaag aan moet trekken. Je hebt een nieuw rapport nodig voor de omstandigheden van vandaag.

De auteurs stellen dat telkens wanneer een nieuwe versie van een AI wordt uitgebracht, de oude betrouwbaarheidsscores als verlopen moeten worden beschouwd. Je kunt ze niet doorvoeren naar de nieuwe versie zonder opnieuw te testen.

4. De "Longitudinale Model Card" Oplossing

Omdat de scores zo sterk veranderen, stellen de auteurs een nieuwe manier voor om ze te rapporteren, die zij een Longitudinale Model Card noemen.

Denk hierbij aan een fitness tracker logboek in plaats van een enkele foto.

De oude manier: Een foto van jou vandaag waarop staat: "Ik weeg 68 kg." (Dit vertelt je niet of je sinds vorige week in gewicht bent toegenomen of afgevallen).
De nieuwe manier (Longitudinale kaart): Een logboek dat zegt: "Op 1 januari woog ik 68 kg. Op 1 februari woog ik 70 kg. De verandering was +2 kg."

Deze nieuwe kaart bevat:

De specifieke "snapshot" (Checkpoint): Precies welke versie van de AI is getest.
De Datum: Wanneer de test plaatsvond.
De Drift: Hoeveel de score is veranderd ten opzichte van de vorige versie.

5. Wat dit niet betekent

Het paper is zeer voorzichtig over wat het niet claimt:

Het gaat niet over "Beter" of "Slechter": De AI is niet noodzakelijkerwijs "dommer" of "veiliger" geworden. Het is alleen veranderd. Soms ging de score omhoog, soms ging de score omlaag. Het punt is dat het onvoorspelbaar is.
Het gaat niet over Closed AI: Deze studie keek alleen naar open-source modellen die iedereen kan downloaden. Er wordt niets gezegd over de geheime, gesloten modellen van grote bedrijven (zoals de modellen waar je via een website mee chat), omdat die moeilijker te testen zijn.
Het gaat niet over "Magische" oplossingen: Het paper biedt geen manier om de AI te stoppen met veranderen. Het zegt alleen: "Stop met doen alsof het niet verandert."

De Conclusie

Als je een open-source AI koopt, reguleert of gebruikt, ga er dan niet vanuit dat de betrouwbaarheidsscore op de brochure geldt voor de nieuwe versie. De AI is een "bewegend doelwit". Je moet elke nieuwe versie opnieuw testen om te weten wat je daadwerkelijk krijgt. De oude score is slechts een gedateerd artefact, geen garantie.

Technisch overzicht: Het bewegende doelwit – Een longitudinale audit van de drift in betrouwbaarheid

1. Probleemstelling

Huidige praktijken bij het rapporteren van de betrouwbaarheid van Large Language Models (LLM's) behandelen benchmarkscores vaak als statische, overdraagbare certificaten. Modelkaarten verwijzen regelmatig naar trust-benchmarkscores (bijv. TruthfulQA, BBQ) zonder de specifieke meettijd of checkpointversie te vermelden. Als gevolg hiervan worden deze scores routinematig doorgevoerd naar opeenvolgende checkpoints van dezelfde release-lijn (bijv. van "Mistral-7B-Instruct v0.1" naar "v0.3") onder de impliciete aanname dat het gedrag van het model niet is verschoven.

Dit artikel onderzoekt of deze aanname standhoudt. Het stelt dat voor open-source release-lijnen, waarbij pretraining-mengsels, instructie-tuning recepten, tokenizers en model-schalen tussen generaties veranderen, een trustscore gemeten op tijdstip $t$ mogelijk niet geldig is voor een volgend checkpoint op tijdstip $t+\Delta$ . De kernvraag van de operatie is: Wordt een punt-in-tijd trustscore gelezen als een overdraagbaar certificaat terwijl het onderliggende checkpoint al bewogen heeft?

2. Methodologie

2.1 Auditomvang en ontwerp

De studie voert een longitudinale audit uit van vier open-source chat-LLM release-lijnen: Yi, Qwen, Mistral en Gemma.

Generaties: Elke release-lijn wordt geëvalueerd bij drie opeenvolgende publieke generaties (G1 $\to$ G2 $\to$ G3), wat resulteert in 12 afzonderlijke checkpoints.
Benchmarks: Een vaste verzameling van vijf trust-benchmarks wordt gebruikt, die drie dimensies bestrijken:
- Waarachtigheid (Truthfulness): TruthfulQA-MC1.
- Eerlijkheid (Fairness): BBQ-mixed (gemengde ambigue/gedisambigueerde MCQs) en CrowS-Pairs-FC (forced-choice MCQs).
- Veiligheid (Safety): ToxiGen-AT (AI-geannoteerde toxiciteitsdrempel) en XSTest-TD (type-afgeleide weigeringsproxy).
Prompting: Elke benchmark wordt geëvalueerd onder drie verschillende prompt-templates (variërend in oppervlaktevorm en extractiestrategie) om rekening te houden met de gevoeligheid voor configuratie.
Steekproef: Een vaste, gecachte subset van 200 items per benchmark wordt hergebruikt over alle 12 checkpoints om gepaarde vergelijkingen mogelijk te maken.
Evaluatieprotocol: Modellen worden geladen in 4-bit NF4-kwantisatie met greedy decoding. Scores worden berekend als het gemiddelde over de drie prompt-templates voor elk checkpoint.

2.2 Metrieken en statistisch kader

De primaire metriek is de Score Drift Rate (SDR), gedefinieerd als het absolute procentuele punt verschil in scores tussen opeenvolgende generaties:
$|SDR| = \frac{1}{|F||B||G_{trans}|} \sum |(s_{f,g',b} - s_{f,g,b})|$
waarbij $F$ de set release-lijnen is, $B$ de benchmark-verzameling, en $G_{trans}$ de opeenvolgende transities vertegenwoordigt.

Om te bepalen of de geobserveerde drift statistisch significant is of slechts samplingruis, construeren de auteurs een gepoolde no-drift referentie-nulhypothese:

Mechanisme: Voor elke $(f, b, t)$ -triple wordt een gepoolde succesratio berekend over alle generaties. In 5.000 bootstrap-iteraties worden nieuwe scores gesimuleerd door te trekken uit een Binomiale verdeling gebaseerd op deze gepoolde ratio, waarbij opeenvolgende generaties als onafhankelijk worden behandeld.
Doel: Dit genereert een distributie van $|SDR|$ die verwacht wordt onder een "no-drift" hypothese. De geobserveerde geaggregeerde waarde wordt vergeleken met het 99,9e percentiel van deze nulverdeling.

3. Belangrijkste resultaten

3.1 Primaire eindpunt: Significante drift

De studie vindt dat trustscores significant driften over generaties heen, ver boven wat verwacht zou worden door samplingruis.

Geobserveerde Drift: De gemiddelde absolute drift tussen opeenvolgende generaties ($|SDR|$) is 8,00 procentpunt (pp) (95% BI: [7,57, 9,12]).
Nulvergelijking: De gepoolde no-drift referentie-nul heeft een gemiddelde van 2,22 pp en een 99,9e percentiel van 3,30 pp.
Significantie: De geobserveerde drift is 3,60 keer groter dan het nulgemiddelde en ligt ruim buiten de bovenste $10^{-3}$ staart van de nulverdeling ( $p < 2 \times 10^{-4}$ ).
Robuustheid: Dit resultaat houdt stand onder strikte scoring (niet-geparseerde outputs worden als onjuist geteld, wat de drift verhoogt naar 8,93 pp) en over diverse perturbaties (het weglaten van specifieke benchmarks, release-lijnen of low-parse cellen), waarbij de drift in de range van [6,36, 9,43] pp blijft.

3.2 Exploratieve diagnostiek

Regressieratio: 47,5% van de transities tussen opeenvolgende generaties resulteerde in een regressie (lagere scores), wat in strijd is met de impliciete verwachting dat "later strikt beter is".
Dimensie-volatiliteit: Fairness-gerelateerde benchmarks vertoonden de hoogste volatiliteit ( $\sigma \approx 12,88$ pp), gevolgd door Waarachtigheid ( $\approx 11,72$ pp), terwijl Veiligheid compacter was ( $\approx 7,48$ pp).
Rangbehoud: De stabiliteit van de rangorde is zwak. De best scorende release-lijn veranderde in 90% van de benchmark/transitie-cellen, en paarwijze ordeningen klapperden 55% van de tijd, wat slechts marginaal beter presteert dan uniform-random baselines.
Compliance Flips: Bij de empirische mediaan-drempel is de kans dat een benchmark de drempel tussen generaties overschrijdt $\ge 0,5$ voor alle benchmarks.

4. Bijdragen en implicaties

4.1 Kernconclusie

Het artikel concludeert dat trustscores gekoppeld aan een benoemde release-lijn niet als overdraagbaar mogen worden beschouwd naar latere checkpoints zonder hernieuwde meting. Het bewijs suggereert dat het behandelen van deze scores als overdraagbare certificaten operationeel onverstandig is.

4.2 Voorgestelde oplossing: Longitudinale Modelkaarten (LMC)

De auteurs stellen voor om trust-rapportage te verpakken als een Longitudinale Modelkaart. In tegen tegenover standaard modelkaarten moet een LMC het volgende bevatten:

Checkpoint Identiteit: De specifieke HuggingFace revision hash.
Evaluatiedatum: De exacte datum van meting.
Drift Context: De drift van de score ten opzichte van de vooraf geauditeerde release en de referentie-nul samenvatting.
Re-audit Trigger: Een regel die stelt dat elke "materieel nieuwe release" (wijziging in gewichten, tokenizer, schaal of recept) een verplichte re-audit triggert in plaats van het doorvoeren van de score.

4.3 Reikwijdte van claims

De auteurs beperken de reikwijdte van hun bevindingen expliciet:

Inbegrepen: Niet-canonieke chat-evaluatie varianten van de vijf specifieke benchmarks, vaste 200-item gecachte subsets, en de vier geauditeerde open-source release-lijnen (allemaal $\le 12B$ parameters).
Uitgesloten: Gesloten-bron API's (bijv. OpenAI, Anthropic), modellen groter dan 12B, canonieke benchmark-protocollen, en vaste maandelijkse disclosure-regels. Het artikel beweert niet dat drift bestaat in deze uitgesloten domeinen, en merkt op dat deze aparte evaluatie vereisen.

5. Betekenis en beperkingen

Betekenis: Het artikel biedt de eerste grootschalige, multi-familie longitudinale audit van de betrouwbaarheid van open-source LLM's. Het daagt het "statische certificaat"-paradigma in modelgovernance, inkoop en regulatoire openbaarmaking uit, door te stellen dat vertrouwen een tijdgebonden, checkpoint-specifiek artefact is in plaats van een permanente eigenschap van een release-lijn.

Beperkingen:

Steekproefomvang: De audit beslaat slechts 12 checkpoints binnen 4 families.
Item-Subset Onzekerheid: De resultaten zijn afhankelijk van een enkele vaste 200-item subset per benchmark; multi-seed resampling werd niet uitgevoerd vanwege computationele beperkingen.
Confounding Factoren: Drift is een mix van recept-wijzigingen, schaal-wijzigingen (bijv. Gemma 7B $\to$ 12B) en tokenizer-wijzigingen. De studie ontleedt deze specifieke drijfveren niet.
Kwantisatie: Alle modellen werden gedraaid met 4-bit NF4, wat artefacten kan introduceren, hoewel consistentie binnen release-lijnen werd behouden.

Het artikel stelt geen nieuwe statistische methodologieën voor, maar past standaard longitudinale en bootstrap technieken toe op een specifiek, voorheen niet geaudit domein: de stabiliteit van open-source LLM trustscores over de tijd.