🤖 machine learning

Beyond Shapley: An Influence-Based Data Auditing Pipeline for LLM Alignment and Evaluation

Cet article introduit un pipeline d'audit de données évolutif et uniquement basé sur l'inférence qui approxime les valeurs de Shapley pour identifier et supprimer efficacement les enregistrements conflictuels, mal étiquetés ou dangereux des ensembles de données et des benchmarks d'alignement de LLM, réduisant ainsi considérablement les efforts d'audit manuel et exposant des failles critiques dans la vérité terrain annotée par l'humain.

Auteurs originaux : Yunting Song, Matthew Watson, Peter Grabowski, Jun Qin

Publié 2026-07-28

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yunting Song, Matthew Watson, Peter Grabowski, Jun Qin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot super intelligent comment devenir un assistant humain utile, sûr et honnête. Vous ne le programmez pas avec des règles rigides ; au lieu de cela, vous lui montrez des millions d'exemples de bonnes et de mauvaises conversations, le laissant apprendre par l'exemple. C'est ainsi que l'IA moderne acquiert sa « personnalité » et ses filtres de sécurité. Mais voici le pièment : le robot n'est aussi bon que les histoires que vous lui racontez. Si votre livre d'histoires est rempli de fautes de frappe, de mensonges ou de contradictions déroutantes, le robot sera confus et pourrait commencer à agir étrangement.

Pendant longtemps, vérifier ces livres d'histoires revenait à essayer de trouver une seule mauvaise pomme dans une montagne de fruits en les examinant une par une. C'était lent, coûteux et on en manquait souvent les problèmes subtils. Les scientifiques ont essayé d'utiliser les mathématiques pour déterminer quelles histoires sont les plus importantes, une méthode appelée « valeur de Shapley », mais faire le calcul exact est si lourd que cela prendrait une éternité pour un tas géant de données. La grande question est la suivante : comment repérer rapidement les erreurs cachées, les contradictions déroutantes et les mauvais conseils dans ces énormes livres d'entraînement sans relire chaque page ou réapprendre tout au robot depuis le début ?

Ce document présente un nouvel outil de détective ingénieux appelé un « pipeline d'audit de données basé sur l'influence ». Considérez cela comme une loupe magique qui n'a pas besoin de relire tout le livre pour trouver les erreurs. Au lieu de réentraîner le robot, les chercheurs utilisent une astuce : ils demandent au robot : « Si je te montre cette histoire spécifique avant que tu ne lises celle-ci, cela t'aide-t-il à comprendre, ou cela te confond-il ? »

Les chercheurs ont construit un système qui regroupe les histoires similaires et les teste comme un jeu de « cherche et trouve ». Ils prennent une histoire et demandent au robot de prédire la fin. Ensuite, ils montrent au robot une histoire similaire d'abord (comme un indice) et lui demandent de prédire la fin à nouveau. Si l'histoire « indice » rend la prédiction du robot pire, c'est un énorme signal d'alarme. Cela signifie que les deux histoires se battent l'une contre l'autre, comme l'une disant « Toujours dire la vérité » et l'autre disant « Il est acceptable de mentir dans ce cas précis ».

L'équipe a testé cela sur deux collections célèbres de données d'entraînement. D'abord, ils ont examiné un ensemble de données appelé HelpSteer2. Leur outil a permis de découvrir que, sur des milliers d'enregistrements, ils pouvaient réduire la liste des éléments que les humains devaient vérifier de 99,1 %. Ils ont mis au jour des erreurs cachées où des humains avaient donné des scores parfaits à des réponses qui étaient en réalité pleines de faits inventés ou ignoraient des instructions importantes. Par exemple, ils ont trouvé des cas où un robot était félicité pour avoir écrit une dissertation d'apparence parfaite qui contenait des dates et des articles scientifiques fictifs, tandis qu'une dissertation similaire avec les mêmes faits faux était correctement punie. Cela a révélé un « biais de superficialité », où les réviseurs humains aimaient l'aspect du texte mais ne vérifiaient pas si les faits étaient réels.

Ensuite, ils ont audité un ensemble de données appelé HH-RLHF, utilisé pour apprendre aux robots à choisir entre deux réponses. Ils y ont trouvé des milliers de contradictions cachées où la réponse « correcte » choisie par les humains était en fait dangereuse ou inutile. Dans un exemple effrayant, un réviseur humain a choisi une réponse suggérant de verser de l'eau de Javel dans l'œil de quelqu'un comme une plaisanterie, tout en rejetant une réponse sûre qui demandait simplement une clarification. L'outil a repéré ces risques de sécurité que les contrôles standards avaient manqués.

Peut-être plus surprenant encore, lorsqu'ils ont utilisé cet outil pour vérifier les questions d'examen (les examens utilisés pour noter les robots), ils ont découvert que les examens eux-mêmes étaient défectueux. Les « bonnes » réponses dans la banque de tests étaient souvent fausses. Dans de nombreux cas, les robots les plus intelligents choisissaient en fait la réponse la plus sûre et la meilleure, mais le test les marquait comme « faux » parce que le corrigé écrit par l'humain était erroné. Cela suggère que certains des plus grands problèmes de sécurité de l'IA ne sont peut-être pas l'échec des robots, mais le fait que les tests soient injustes.

Les auteurs précisent avec prudence que, bien que leur outil mathématique soit incroyablement rapide et efficace pour réduire la recherche, il nécessite toujours un humain (ou un juge IA très intelligent) pour rendre le verdict final sur le fait qu'une histoire est véritablement défectueuse. Ils n'ont pas corrigé les données eux-mêmes, mais ils ont construit une carte hautement efficace qui montre exactement où se trouvent les nids-de-poule, épargnant aux chercheurs le travail de devoir inspecter chaque centimètre de route pour trouver les défauts. En utilisant cette méthode, ils ont réduit le travail de vérification d'un ensemble de données massif, passant de l'examen de milliers d'éléments à seulement quelques dizaines de suspects prioritaires, prouvant que parfois, la meilleure façon de trouver la vérité est de voir comment les pièces d'un puzzle se poussent et se tirent les unes les autres.

Résumé Technique : Au-delà de Shapley : Un pipeline d'audit de données basé sur l'influence pour l'alignement et l'évaluation des LLM

Problématique

L'alignement des grands modèles de langage (LLM) est de plus en plus contraint par la qualité des données plutôt que par l'architecture des modèles. À mesure que les jeux de données augmentent, les corpus massifs de préférences et d'ajustement d'instructions accumulent des contradictions structurelles cachées, des risques de sécurité et des erreurs systématiques d'annotation humaine. Les méthodes d'audit actuelles présentent des limites significatives :

Déduplication sémantique : Efficace pour trouver des doublons textuels, mais échoue à capturer l'utilité fonctionnelle ou l'impact prédictif des enregistrements individuels.
LLM-as-a-Judge (Le LLM comme juge) : Bien qu'évolutive, ces méthodes reposent sur des rubriques définies par l'humain, présentent souvent des biais (par exemple, envers la longueur de la réponse) et ne peuvent pas déterminer mathématiquement comment un enregistrement influence la distribution prédictive d'un modèle.
Data Shapley : Fournit un cadre rigoureux pour la valorisation des données, mais est computationnellement prohibitive ( $O(2^N)$ ) pour les grands jeux de données. Les approximations existantes manquent soit de granularité au niveau de l'enregistrement (nécessitant un regroupement grossier), soit sont restreintes aux tâches de classification/régression, échouant ainsi à traiter la mécanique générative des LLM.

Il existe un écart critique dans la capacité à effectuer une valorisation des données point par point, au niveau de l'enregistrement, pour les LLM génératifs sans nécessifier de réentraînement de modèle coûteux ou d'échantillonnage itératif de données.

Méthodologie

Les auteurs proposent un pipeline de valorisation de données basé uniquement sur l'inférence et évolutif, qui approxime la valeur de Shapley en mesurant la contribution marginale des points de données via des décalages de log-vraisemblance conditionnelle. Le flux de travail se compose de deux phases principales :

Phase 1 : Mesure de l'influence

Construction du voisinage sémantique : Les prompts sont projetés dans un espace vectoriel dense (utilisant Qwen3-Embedding-4B). Les instructions système statiques sont supprimées pour éviter la dilution vectorielle. Un graphe $k$ -plus proches voisins ( $k$ -NN) est construit sur la base de la similitude cosinus.
Scoring Zero-Shot et One-Shot : Pour un enregistrement cible $(x_i, y_i)$ $(x_{i}, y_{i})$ et un voisin $(x_j, y_j)$ $(x_{j}, y_{j})$ , le pipeline calcule la log-vraisemblance conditionnelle de la réponse cible $y_i$ $y_{i}$ sous deux conditions :
- Baseline ( $LL_{base}$ ) : La probabilité de $y_i$ étant donné uniquement $x_i$ .
- Probe ( $LL_{probe}$ ) : La probabilité de $y_i$ étant donné un prompt composite où $(x_j, y_j)$ sert de démonstration "one-shot" avant $x_i$ .
Calcul de l'influence : L'influence prédictive ( $\Delta LL$ ) est définie comme la différence : $\Delta LL_{i,j} = LL_{probe}(i, j) - LL_{base}(i)$ . Un $\Delta LL$ positif indique une influence constructive, tandis qu'une valeur négative suggère une contradiction comportementale où le voisin dégrade la probabilité prédictive de la cible.
Construction du graphe dirigé : Un graphe dirigé $G=(V, E)$ est construit où les arêtes représentent le flux d'influence du voisin vers la cible, pondéré par $\Delta LL$ .

Phase 2 : Dérivation de métriques et audit

À partir du graphe, trois métriques sont dérivées pour chaque nœud :

Avantage Exemplifié (Influence Passive) : Mesure l'influence agrégée qu'un enregistrement reçoit de ses voisins entrants. Des valeurs élevées suggèrent une redondance.
Avantage Exemplifiant (Influence Active) : Mesure la contribution prédictive qu'un enregistrement exerce sur ses voisins sortants. Cela approxime la valeur de Data Shapley en traitant l'apprentissage en contexte (in-context learning) "1-shot" comme un substitut à gradient nul pour les mises à jour de paramètres.
Score "One of a Kind" (Unicité Topologique) : Quantifie l'unicité structurelle basée sur l'asymétrie de la recherche $k$ -NN (les enregistrements qui récupèrent des voisins mais sont rarement récupérés eux-mêmes).

Paradigmes de détection de contradictions :

Non supervisé (Labels Implicites) : Identifie les nœuds où les avantages exemplaires ou exemplifiés tombent sous un seuil ( $\tau_{adv}$ ), en recherchant spécifiquement les voisins les plus proches mutuels (MNN) qui se dégradent mutuellement la probabilité prédictive.
Supervisé (Labels Explicites) : Un processus en deux étapes pour les jeux de données de modèles de récompense. D'abord, il isole les enregistrements "gold standard" (hautement évalués par l'humain) présentant des avantages exemplifiants négatifs. Ensuite, il effectue une "Vérification Jumelle" en trouvant des voisins faiblement évalués ayant des comportements de réponse similaires pour identifier les incohérences entre annotateurs.

Contributions Clés

Cadre de valorisation basé sur l'influence : Le papier introduit un pipeline hautement évolutif, basé uniquement sur l'inférence, qui approxime les valeurs de Shapley pour les LLM génératifs. Contrairement aux méthodes antérieures, il opère en $O(K)$ passages directs (où $K$ est la taille du voisinage) sans réentraînement de modèle ni regroupement, se généralisant à la génération ouverte et aux données de préférence par paires.
Détection de contradictions structurelles : Le pipeline révèle des contradictions structurelles cachées dans des jeux de données largement utilisés (HelpSteer2 et HH-RLHF) que les métriques de similitude standard ne détectent pas. Il identifie des enregistrements récompensés par l'humain qui dissimulent des erreurs structurelles (ex: hallucinations factuelles, consignes ignorées) qui dégradent la performance du modèle.
Exposition des vulnérabilités des benchmarks : En auditant le split d'évaluation de HH-RLHF, ce travail démontre que les modèles hautement capables prédisent fréquemment la réponse la plus sûre ou la plus utile, mais sont pénalisés par des étiquettes de vérité de terrain (ground-truth) humainement objectives mais erronées, révélant les vulnérabilités de l'intégrité des benchmarks actuels.

Résultats Expérimentaux

Le pipeline a été évalué sur deux jeux de données en utilisant Qwen3.5-9B comme modèle cible et Gemini 3.1 Pro pour l'arbitrage expert.

Étude de cas 1 : HelpSteer2

Processus : Appliqué à 21 362 enregistrements, en se concentrant sur 8 434 enregistrements avec un score parfait d'utilité humaine (4/4).
Efficacité : A réduit l'espace de recherche de l'audit manuel de 99,1 % (de 8 434 enregistrements à 77 paires candidates).
Résultats : A identifié 18 paires de contradictions et 10 enregistrements uniques faussement étiquetés comme parfaits. Les erreurs incluaient des hallucinations factuelles (ex: dates de calendrier incorrectes), des contraintes de formatage ignorées et des citations académiques fabriquées.
Insight : A révélé un "biais de superficialité" dans l'annotation humaine, où des textes structurellement corrects mais factuellement frauduleux recevaient des scores élevés.

Étude de cas 2 : HH-RLHF

Audit des données d'entraînement : A identifié 4 238 contradictions et 2 841 enregistrements problématiques uniques. Les catégories comprenaient des violations de sécurité (ex: récompenser la conformité toxique), des hallucinations, des évasions non utiles et des échements structurels.
Audit des données d'évaluation : Appliqué au split d'évaluation, isolant 108 enregistrements uniques avec des contradictions structurelles confirmées.
Désaccord des modèles : Lors de tests sur ces enregistrements "défectueux" isolés, les taux de désaccord avec les labels humains ont considérablement augmenté par rapport à la ligne de base :
- Qwen3.5-9B (FT) : Le désaccord est passé de 28,9 % (ensemble complet) à 62,04 % (sous-ensemble vérifié).
- Qwen3.5-27B : Le désaccord est passé de 28,67 % à 75,00 %.
- Gemma3-12B : Le désaccord est passé de 38,34 % à 63,89 %.
Conclusion : Les taux de désaccord élevés confirment que les modèles prédisaient souvent le comportement correct, mais que les labels du benchmark étaient objectivement erronés.

Signification et Limites

Signification :
Le papier fournit un outil de diagnostic mathématiquement fondé et efficace pour découvrir les échements de labels humains et assainir les benchmarks d'évaluation. Il déplace le paradigme des calculs de Shapley basés sur le réentraînement, coûteux, vers une approche par inférence seule, tractable, qui maintient la granularité au niveau de l'enregistrement. Cela permet l'identification rapide d'erreurs d'annotation systémiques et la validation de l'intégrité des benchmarks.

Limites :

Dépendance à la vérification : La vérification finale repose sur des évaluateurs LLM (ex: Gemini), ce qui peut introduire des biais subjectifs et du non-déterminisme.
Filtre vs Détecteur : La métrique $\Delta LL$ agit comme un filtre d'anomalies qui réduit l'espace de recherche d'environ 99 %, mais nécessite toujours un arbitre pour confirmer les conflits de règles sémantiques.
Précision vs Rappel : Les seuils stricts privilégient la précision, ce qui signifie que le pipeline ne capture pas l'intégralité des erreurs du jeu de données (ex: les 108 erreurs isolées dans HH-RLHF ne rendent pas compte de l'intégralité du taux de désaccord de ~30 % des modèles de base).
Échelle de la vérité de terrain humaine : Établir une vérité de terrain humaine à grande échelle pour les erreurs d'annotation reste prohibitif, limitant la capacité à valider pleinement le rappel du pipeline.