🤖 machine learning

The Moving Target: A Longitudinal Audit of Trustworthiness Drift Across Twelve Checkpoints of Open-Source Chat LLMs

Cet article démontre, à travers un audit longitudinal de quatre lignées de publications de LLM en open-source, que les scores de fiabilité dérivent de manière significative entre les points de contrôle successifs, soutenant ainsi que de telles mesures doivent être traitées comme des artefacts datés et spécifiques à chaque point de contrôle plutôt que comme des attributs statiques transmis sans nouvelle mesure.

Auteurs originaux : Zhichao Fan, Yanhang Li, Zexin Zhuang, Xian Sun, Yingshuo Wang

Publié 2026-07-07

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhichao Fan, Yanhang Li, Zexin Zhuang, Xian Sun, Yingshuo Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous achetiez une voiture d'une marque de confiance, comme « Mistral » ou « Qwen ». Le vendeur vous remet une brochure (une « Fiche de modèle » ou Model Card) qui indique : « Cette voiture est sûre à 90 % et honnête à 95 % », sur la base de tests effectués l'année dernière.

Maintenant, imaginez que six mois plus tard, la même marque publie une version légèrement mise à jour de cette même voiture. Ils n'ont pas changé le nom, mais ils ont peut-être modifié le moteur, mis à jour le logiciel ou même changé les pneus.

La grande question posée par ce document est la suivante : Pouvez-vous toujours faire confiance à l'ancienne brochure ? Le score de « 95 % de sécurité » de l'ancienne version s'applique-t-il automatiquement à la nouvelle ?

Les auteurs disent : Non. Absolument pas.

Voici la décomposition de leurs conclusions en utilisant des analogies simples :

1. Le problème de la « cible mouvante »

Les chercheurs ont examiné quatre grandes familles d'IA en open-source (Yi, Qwen, Mistral et Gemma). Pour chaque famille, ils ont vérifié trois versions consécutives (Génération 1, 2 et 3).

Pensez à ces modèles d'IA comme à des chefs en cuisine.

La Génération 1 est la première recette du chef.
La Génération 2, c'est le même chef, mais il a peut-être changé le mélange d'épices, le temps de cuisson ou le type de poêle qu'il utilise.
La Génération 3, c'est encore le chef, mais peut-être avec un nouvel assistant ou un four différent.

Même si le nom du chef sur le menu n'a pas changé, la nourriture qu'il sert, elle, change. Le document a constaté que la « fiabilité » de l'IA varie considérablement entre ces versions. C'est comme si la note de « 95 % de délicieux » d'un chef le mois dernier tombait à 85 % ou bondissait à 98 % simplement parce qu'il a légèrement modifié sa recette.

2. La « dérive » est réelle et importante

L'équipe a mesuré à quel point la performance de l'IA a « dérivé » (bougé) entre les versions.

Ils ont constaté que le décalage moyen était de 8,00 points de pourcentage.
Pour mettre cela en perspective, ils ont comparé ce décalage à ce que l'on attendrait si l'IA se contentait de lancer une pièce de monnaie de manière aléatoire. Le décalage réel était 3,6 fois plus grand que le bruit aléatoire.

L'analogie : Imaginez que vous essayiez de toucher le centre d'une cible au lancer de fléchettes. Si la cible elle-même bouge sauvagement à chaque fois que vous lancez une fléchette (même si vous lancez depuis le même endroit), votre score d'hier ne vous dit rien sur votre score d'aujourd'hui. Le document prouve que la « cible » (le comportement de l'IA) bouge beaucoup plus que nous ne le pensions.

3. Le « certificat » est expiré

Actuellement, les entreprises apposent souvent un score de confiance sur une fiche de modèle et supposent qu'il reste valide pour toute la « lignée de sortie ».

Le verdict du document : Un score de confiance n'est pas un certificat permanent comme un permis de conduire. C'est plutôt comme un bulletin météo.
Si vous lisez un bulletin météo disant « Il fait beau » mardi dernier, ce rapport est inutile pour décider de votre tenue aujourd'hui. Vous avez besoin d'un nouveau rapport pour les conditions d'aujourd'hui.

Les auteurs soutiennent que chaque fois qu'une nouvelle version d'une IA est publiée, les anciens scores de confiance doivent être considérés comme expirés. Vous ne pouvez pas les reporter sur la nouvelle version sans procéder à de nouveaux tests.

4. La solution de la « Fiche de modèle longitudinale »

Puisque les scores changent autant, les auteurs proposent une nouvelle façon de les rapporter, qu'ils appellent une Fiche de modèle longitudinale (Longitudinal Model Card).

Voyez cela comme un journal de suivi de forme physique plutôt que comme une photo unique.

L'ancienne méthode : Une photo de vous aujourd'hui disant : « Je pèse 70 kg ». (Cela ne vous dit pas si vous avez pris ou perdu du poids depuis la semaine dernière).
La nouvelle méthode (Fiche longitudinale) : Un journal qui dit : « Le 1er janvier, je pesais 70 kg. Le 1er février, je pesais 72 kg. Le changement est de +2 kg ».

Cette nouvelle fiche comprendrait :

Le « instantané » spécifique (Checkpoint) : Exactement quelle version de l'IA a été testée.
La date : Quand le test a eu lieu.
La dérive : De combien le score a changé par rapport à la version précédente.

5. Ce que cela ne signifie PAS

Le document est très prudent quant à ce qu'il ne prétend pas :

Ce n'est pas une question de « meilleur » ou de « moins bon » : L'IA n'est pas devenue nécessairement « plus bête » ou « plus sûre ». Elle a simplement changé. Parfois le score est monté, parfois il est descendu. Le point est qu'il est imprévisible.
Ce n'est pas à propos de l'IA fermée : Cette étude n'a porté que sur les modèles open-source que n'importe qui peut télécharger. Elle ne dit rien sur les modèles fermés et secrets des grandes entreprises (comme ceux avec lesquels vous discutez sur un site web), car ils sont plus difficiles à tester.
Ce n'est pas une solution « magique » : Le document ne propose pas de moyen d'empêcher l'IA de changer. Il dit simplement : « Arrêtez de prétendre qu'elle ne change pas ».

L'essentiel à retenir

Si vous achetez, régulez ou utilisez une IA en open-source, ne supposez pas que le score de confiance sur la brochure s'applique à la nouvelle version. L'IA est une « cible mouvante ». Vous devez tester chaque nouvelle version pour savoir ce que vous obtenez réellement. L'ancien score n'est qu'un artefact daté, pas une garantie.

Résumé technique : La cible mouvante – Un audit longitudinal de la dérive de la fiabilité

1. Énoncé du problème

Les pratiques actuelles en matière de rapport sur la fiabilité des grands modèles de langage (LLM) traitent souvent les scores de référence comme des certificats statiques et transférables. Les fiches de modèle (model cards) citent fréquemment des scores de tests de confiance (ex. : TruthfulQA, BBQ) sans enregistrer le moment spécifique de la mesure ou la version du checkpoint. Par conséquent, ces scores sont couramment reportés d'un checkpoint à l'autre au sein d'une même lignée de versions successives (ex. : de « Mistral-7B-Instruct v0.1 » à « v0.3 ») sous l'hypothèse implicite que le comportement du modèle n'a pas changé.

Cette étude examine si cette hypothèse se vérifie. Elle postule que pour les lignées de versions open-source, où les mélanges de pré-entraînement, les recettes de réglage fin (instruction-tuning), les tokeniseurs et les échelles de modèles changent entre les générations, un score de confiance mesuré à un instant $t$ peut ne plus être valide pour un checkpoint ultérieur à $t+\Delta$ . La question opérationnelle centrale est la suivante : Un score de confiance ponctuel est-il lu comme un certificat transférable alors que le checkpoint sous-jacent a déjà évolué ?

2. Méthodologie

2.1 Périmètre et conception de l'audit

L'étude réalise un audit longitudinal de quatre lignées de modèles de chat-LLM open-source : Yi, Qwen, Mistral et Gemma.

Générations : Chaque lignée est évaluée sur trois générations publiques successives (G1 $\to$ G2 $\to$ G3), ce qui totalise 12 checkpoints distincts.
Benchmarks : Un panier fixe de cinq benchmarks de confiance est utilisé, couvrant trois dimensions :
- Vérité (Truthfulness) : TruthfulQA-MC1.
- Équité (Fairness) : BBQ-mixed (QCM ambigus/désambigués mixtes) et CrowS-Pairs-FC (QCM à choix forcé).
- Sécurité (Safety) : ToxiGen-AT (seuil de toxicité annoté par l'IA) et XSTest-TD (proxy de refus dérivé du type).
Prompting : Chaque benchmark est évalué sous trois modèles de prompts distincts (variant la forme de surface et la stratégie d'extraction) pour tenir compte de la sensibilité de la configuration.
Échantillonnage : Un sous-ensemble fixe et mis en cache de 200 éléments par benchmark est réutilisé pour les 12 checkpoints afin de garantir des comparaisons appariées.
Protocole d'évaluation : Les modèles sont chargés avec une quantification 4-bit NF4 et un décodage glouton (greedy decoding). Les scores sont calculés comme la moyenne des trois modèles de prompts pour chaque checkpoint.

2.2 Métriques et cadre statistique

La métrique principale est le Taux de Dérive de Score (SDR - Score Drift Rate), défini comme la différence absolue en points de pourcentage entre les générations adjacentes :
$|SDR| = \frac{1}{|F||B||G_{trans}|} \sum |(s_{f,g',b} - s_{f,g,b})|$
où $F$ est l'ensemble des lignées de versions, $B$ est le panier de benchmarks, et $G_{trans}$ représente les transitions adjacentes.

Pour déterminer si la dérive observée est statistiquement significative ou s'il s'agit simplement d'un bruit d'échantillonnage, les auteurs construisent une référence nulle de non-dérive groupée :

Mécanisme : Pour chaque triple $(f, b, t)$ , un taux de succès groupé est calculé sur toutes les générations. Dans 5 000 itérations de bootstrap, de nouveaux scores sont simulés en tirant d'une distribution binomiale basée sur ce taux groupé, en traitant les générations adjacentes comme indépendantes.
Objectif : Cela génère une distribution de $|SDR|$ attendue sous l'hypothèse de « non-dérive ». L'agrégat observé est comparé au 99,9e percentile de cette distribution nulle.

3. Résultats clés

3.1 Terme principal : Dérive significative

L'étude conclut que les scores de fiabilité dérivent de manière significative entre les générations, dépassant de loin ce qui serait attendu par le simple bruit d'échantillonnage.

Dérive observée : La dérive absolue moyenne entre générations adjacentes ($|SDR|$) est de 8,00 points de pourcentage (pp) (IC 95 % : [7,57, 9,12]).
Comparaison avec la nulle : La référence nulle de non-dérive groupée a une moyenne de 2,22 pp et un 99,9e percentile de 3,30 pp.
Signification : La dérive observée est 3,60 fois plus grande que la moyenne de la nulle et se situe bien en dehors de la queue de la distribution nulle de $10^{-3}$ ( $p < 2 \times 10^{-4}$ ).
Robustesse : Ce résultat se maintient sous un score strict (les sorties non analysées/unparsed étant comptées comme incorrectes, portant la dérive à 8,93 pp) et à travers diverses perturbations (suppression de certains benchmarks, lignées de versions ou cellules de faible analyse), où la dérive reste dans la plage de [6,36, 9,43] pp.

3.2 Diagnostics exploratoires

Taux de régression : 47,5 % des transitions entre générations adjacentes ont entraîné une régression (scores plus bas), contredisant l'attente implicite selon laquelle « le plus récent est strictement meilleur ».
Volatilité dimensionnelle : Les benchmarks liés à l'équité ont montré la plus grande volatilité ( $\sigma \approx 12,88$ pp), suivis par la Vérité ( $\approx 11,72$ pp), tandis que la Sécurité était plus stable ( $\approx 7,48$ pp).
Persistance du rang : La stabilité du classement est faible. La lignée de version obtenant le score le plus élevé a changé dans 90 % des cellules de benchmark/transition, et les ordonnancements par paires ont basculé 55 % du temps, ne performant que très légèrement mieux que les bases uniformément aléatoires.
Basculements de conformité : Au seuil médian empirique, la probabilité qu'un benchmark franchisse le seuil entre deux générations est $\ge 0,5$ pour tous les benchmarks.

4. Contributions et implications

4.1 Conclusion centrale

L'article conclut que les scores de confiance attachés à une lignée de version nommée ne doivent pas être présumés transférables à des checkpoints ultérieurs sans une nouvelle mesure. Les preuves suggèrent que traiter ces scores comme des certificats transférables est opérationnellement erroné.

4.2 Solution proposée : Fiches de modèle longitudinales (LMC)

Les auteurs proposent de présenter le rapport de confiance sous la forme d'une Fiche de Modèle Longitudinale (Longitudinal Model Card). Contrairement aux fiches de modèle standards, une LMC doit inclure :

Identité du checkpoint : Le hash de révision spécifique de HuggingFace.
Date d'évaluation : La date exacte de la mesure.
Contexte de dérive : Le score de dérive par rapport à l'audit de la version précédente et le résumé de la référence nulle.
Déclencheur de ré-audit : Une règle stipulant que toute « nouvelle version matérielle » (changement de poids, de tokeniseur, d'échelle ou de recette) déclenche un ré-audit obligatoire plutôt qu'un simple report de score.

4.3 Portée des affirmations

Les auteurs limitent explicitement la portée de leurs conclusions :

Inclus : Variantes de chat non canoniques des cinq benchmarks spécifiques, sous-ensembles mis en cache fixes de 200 éléments par benchmark, et les quatre lignées de versions open-source auditées (toutes $\le 12B$ de paramètres).
Exclus : API fermées (ex. : OpenAI, Anthropic), modèles de plus de 12B, protocoles de benchmarks canoniques, et règles de divulgation à cadence mensuelle fixe. L'article ne prétend pas que la dérive existe dans ces domaines exclus, notant qu'ils nécessitent une évaluation distincte.

5. Signification et limites

Signification : L'article fournit le premier audit longitudinal à grande échelle de plusieurs familles de la fiabilité des LLM open-source. Il remet en question le paradigme du « certificat statique » dans la gouvernance des modèles, l'approvisionnement et la divulgation réglementaire, arguant que la confiance est un artefact lié au temps et au checkpoint spécifique plutôt qu'une propriété permanente d'une lignée de version.

Limites :

Taille de l'échantillon : L'audit couvre seulement 12 checkpoints à travers 4 familles.
Incertitude de l'ensemble d'éléments : Les résultats reposent sur un seul sous-ensemble fixe de 200 éléments par benchmark ; aucun ré-échantillonnage multi-graines n'a été effectué en raison des contraintes de calcul.
Facteurs de confusion : La dérive est un mélange de changements de recette, de changements d'échelle (ex. : Gemma 7B $\to$ 12B) et de changements de tokeniseur. L'étude ne parvient pas à isoler ces moteurs spécifiques.
Quantification : Tous les modèles ont été exécutés en 4-bit NF4, ce qui peut introduire des artefacts, bien que la cohérence ait été maintenue au sein des lignées de versions.

L'article ne propose pas de nouvelles méthodologies statistiques mais applique des techniques longitudinales et de bootstrap standard à un domaine spécifique et jusqu'alors non audité : la stabilité des scores de confiance des LLM open-source au fil du temps.