🤖 AI

CRAFT: Clustering Rubrics to Diagnose Weak LLM Capabilities and Generate Targeted Fine-Tuning Data

L'article présente CRAFT, une méthode qui convertit les évaluations basées sur des grilles de notation en un arbre de capacités hiérarchique afin de diagnostiquer les faiblesses spécifiques des modèles et de générer des données de réglage fin ciblées, entraînant une amélioration mesurable des performances dans les domaines de la finance et du droit par rapport aux bases de référence existantes de regroupement et de génération aléatoire.

Auteurs originaux : Vipul Gupta, Zihao Wang, Razvan-Gabriel Dumitru, MohammadHossein Rezaei, Aakash Sabharwal, Yunzhong He

Publié 2026-07-20

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Vipul Gupta, Zihao Wang, Razvan-Gabriel Dumitru, MohammadHossein Rezaei, Aakash Sabharwal, Yunzhong He

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner un nouveau métier à un robot très intelligent, mais un peu maladroit. Vous lui faites passer un test, et il échoue. Un rapport standard dirait simplement : « Le robot a échoué à la section mathématiques » ou « Le robot est mauvais pour rédiger des contrats juridiques ». C'est utile, mais c'est aussi un peu vague. C'est comme si un médecin vous disait : « Vous avez mal au ventre », sans vous dire si vous avez mangé quelque chose de mauvais, si vous êtes stressé ou si vous devez prendre un médicament. Pour réparer le robot pour la prochaine fois, vous devez savoir exactement ce qui n'a pas fonctionné afin de pouvoir pratiquer cette chose spécifique.

C'est le monde des Grands Modèles de Langage (LLM), ces cerveaux d'IA super intelligents qui écrivent des histoires, résolvent des problèmes et répondent à des questions. Des scientifiques ont passé des années à construire de meilleures façons de tester ces IA, mais la plupart des tests ne donnent qu'un score final. Ils nous disent où l'IA est faible, mais pas pourquoi. La grande question que se posent les chercheurs est la suivante : comment transformer un simple « vous avez échoué » en un « voici exactement ce que vous devez pratiquer » ? Si nous pouvons répondre à cela, nous pouvons construire des données d'entraînement de meilleure qualité pour aider l'IA à apprendre plus vite et plus intelligemment, plutôt que de simplement deviner ce qu'il faut lui enseigner ensuite.

Le détective de la « grille d'évaluation » : CRAFT

Rencontrez CRAFT (Clustering Rubrics for Actionable Fine-Tuning / Regroupement de grilles d'évaluation pour un ajustement fin exploitable). Considérez CRAFT comme un détective surpuissant qui ne se contente pas de regarder la note finale d'un élève ; il examine chaque point de la grille d'évaluation (la liste de contrôle des règles pour une réponse parfaite) pour déterminer exactement quelle micro-compétence l'élève a manquée.

Voici comment l'histoire se déroule :

1. Le problème du « simple score »
Imaginez que vous corrigez un devoir de mathématiques. Un test standard pourrait simplement dire : « Vous avez obtenu 60 % ». Ce n'est pas très utile pour corriger le problème. L'élève a-t-il oublié la formule ? A-t-il fait une simple erreur d'addition ? A-t-il oublié d'écrire les unités (comme « mètres » ou « dollars ») ?
Dans le monde de l'IA, les chercheurs utilisent des grilles d'évaluation (rubrics). Une grille est comme une liste de contrôle détaillée. Pour un problème de mathématiques, la grille pourrait dire : « 1. Identifier les bons nombres. 2. Poser l'équation. 3. Résoudre le calcul. 4. Ajouter les unités correctes. »
La plupart des tests d'IA s'arrêtent au score final. Mais CRAFT dit : « Attendez ! Regardons la liste de contrôle. » Il traite chaque élément de cette liste comme une petite « sonde » ou un mini-test pour une compétence spécifique.

2. L'arbre magique
CRAFT prend des milliers de ces éléments de liste de contrôle provenant de différentes questions et demande à une IA intelligente de décrire quelle compétence chaque élément teste. Ensuite, il fait quelque chose de magique : il construit un arbre généalogique de compétences.

Au sommet de l'arbre, vous avez des catégories larges comme « Finance » ou « Juridique ».
En descendant dans les branches, les compétences deviennent plus spécifiques. « Finance » se divise en « Finance d'entreprise », qui se divise en « Coûts de financement », qui se divise en « Calcul des taux d'intérêt ».
Aux feuilles tout en bas de l'arbre se trouvent les éléments de la liste de contrôle spécifiques, comme « La réponse a-t-elle mentionné le taux d'intérêt ? ».

Cet arbre est spécial car ce n'est pas seulement une liste ; c'est une carte. Il montre comment les compétences sont liées.

3. Trouver les points faibles
Maintenant, CRAFT teste le modèle d'IA sur toutes ces questions. Il ne se contente pas de compter le score total ; il vérifie la performance de l'IA à chaque branche de l'arbre.

Peut-être que l'IA est excellente en « Finance d'entreprise » (taux de réussite de 84 %) mais terrible en « Calcul des taux d'intérêt » (taux de réussite de 48 %).
Peut-être qu'une autre IA est correcte pour les « Taux d'intérêt » mais échoue pour la « Compréhension des changements de politique ».

CRAFT est assez intelligent pour savoir que vous ne devriez pas choisir les feuilles tout en bas (trop spécifiques) ni les branches tout en haut (trop vagues). Il recherche dynamiquement dans l'arbre pour trouver le « point idéal » où la faiblesse est la plus claire. C'est comme un entraîneur qui réalise : « Tu n'as pas besoin de pratiquer tout le football ; tu dois spécifiquement pratiquer les corners du pied gauche ».

4. La pratique ciblée
Une fois que CRAFT a trouvé ces points faibles, il ne s'arrête pas là. Il les utilise pour générer des données de pratique ciblées.
Imaginez que vous êtes un professeur. Au lieu de donner à l'élève 1 000 problèmes de mathématiques aléatoires, CRAFT dit : « Voici 40 problèmes spécifiquement sur le 'Calcul des taux d'intérêt' parce que c'est là que vous échouez systématiquement ».
Les chercheurs ont utilisé cette méthode pour créer des exemples de pratique synthétiques (générés par ordinateur) pour quatre modèles d'IA différents (Qwen3-4B, Qwen3-8B, Gemma-3-4B et Llama-3.1-8B-Instruct) dans deux domaines difficiles : la Finance et le Juridique.

5. Les résultats : Cela a-t-il fonctionné ?
L'équipe a comparé CRAFT à deux autres méthodes :

Aléatoire (Random) : Choisir des problèmes de pratique au hasard dans le même sujet.
EvalTree : Une méthode similaire qui regroupe des questions entières au lieu de les décomposer en éléments de liste de contrôle.

Les résultats étaient clairs :

En Finance : CRAFT était le vainqueur pour les quatre modèles d'IA. Il leur a donné le plus grand coup de pouce en termes de performance, en particulier pour les plus petits modèles.
En Juridique : CRAFT était le meilleur pour trois des quatre modèles. Pour le quatrième modèle, il était aussi bon que le meilleur concurrent, mais pas moins bon.

L'étude a montré que le fait de décomposer les choses en micro-compétences spécifiques (les critères de la grille d'évaluation) est bien meilleur que de simplement regarder des questions entières. C'est la différence entre dire à un élève « Tu es mauvais en maths » et « Tu dois pratiquer la division longue ».

Ce que CRAFT N'EST PAS
Il est important de noter ce que cet article ne dit pas. Il ne prétend pas que CRAFT résout tous les problèmes ou qu'il fonctionne parfaitement sur chaque test de référence. En fait, les résultats variaient un peu selon le modèle d'IA spécifique et le test spécifique. Parfois, une méthode était légèrement meilleure sur une question précise, mais CRAFT gagnait systématiquement lorsqu'on regardait la performance moyenne sur l'ensemble du domaine. L'article souligne également que c'est une méthode pour générer de meilleures données d'entraînement, et non une baguette magique qui rend instantanément une IA parfaite.

La conclusion principale
CRAFT suggère que si nous voulons rendre l'IA plus intelligente, nous devons arrêter de regarder la vue d'ensemble et commencer à regarder les détails infimes. En utilisant des listes de contrôle détaillées (grilles d'évaluation) pour trouver précisément pourquoi une IA échoue, nous pouvons construire des sessions de pratique ciblées qui corrigent réellement le problème. Cela transforme un vague « vous avez échoué » en une feuille de route claire pour l'amélioration, prouvant que la meilleure façon d'apprendre est de savoir exactement ce que l'on doit pratiquer.

Résumé Technique : CRAFT – Regroupement de rubriques pour diagnostiquer les faibles capacités des LLM

1. Énoncé du problème

Les pipelines d'évaluation actuels pour les modèles de langage étendus (LLM) servent principalement à mesurer la performance, mais échouent souvent à diagnostiquer pourquoi un modèle échoue. Les benchmarks standards résument généralement les résultats au niveau de la tâche ou de la catégorie (par exemple, « faible en mathématiques »), ce qui confond des échecs sous-jacents distincts. Par exemple, un score faible sur un problème de mathématiques peut provenir de la sélection d'une mauvaise équation, d'une erreur d'arithmétique ou de l'omission d'unités — des échecs qui nécessitent des interventions différentes.

Bien que les évaluations basées sur des rubriques décomposent les réponses en critères explicites, les travaux existants traitent largement ces critères comme des dispositifs de notation indépendants ou des signaux de récompense. Il existe une lacune dans l'exploitation des jeux de données de rubriques pour générer un diagnostic structuré et spécifique au modèle des faibles capacités, capable de guider directement la collecte de données post-entraînement ciblées.

2. Méthodologie : CRAFT

Les auteurs proposent CRAFT (Clustering Rubrics for Actionable Fine-Tuning), une méthode qui convertit les données d'évaluation annotées par rubriques en un diagnostic hiérarchique et spécifique au modèle des faibles capacités. Le pipeline se compose de quatre étapes principales :

2.1 Extraction de capacités

CRAFT traite chaque paire prompt–rubrique comme une « sonde de capacité ». Pour chaque critère du jeu de données, un modèle de langage extrait une description textuelle courte, décontextualisée et en langage naturel de la capacité spécifique requise pour satisfaire ce critère. Cela transforme le jeu de données, passant d'une collection de règles de notation à un réservoir de descriptions de capacités.

2.2 Regroupement hiérarchique (Clustering)

Les descriptions de capacités extraites sont organisées en un arbre hiérarchique via une procédure ascendante, niveau par niveau, adaptée de Clio :

Niveaux supérieurs fixes : Si le jeu de données fournit des métadonnées (ex. : domaine ou sous-catégorie), celles-ci définissent les niveaux supérieurs de l'arbre afin de préserver les taxonomies prévues.
Regroupement de base : Au sein de chaque groupe, les descriptions de capacités sont plongées (embedded) et partitionnées via un algorithme $k$ -means en clusters de base. Un LLM nomme chaque cluster pour générer une description sémantique.
Construction des niveaux supérieurs : L'arbre est construit dynamiquement. Les nœuds internes sont créés en résumant les clusters enfants, en consolidant les candidats, en acheminant les enfants vers les parents et en affinant les descriptions des parents. La profondeur de l'arbre n'est pas fixe ; elle est déterminée par la taille des données, permettant à des jeux de données plus importants de produire des hiérarchies plus profondes.

2.3 Notation et sélection dynamique

Le modèle cible est évalué par rapport aux critères de la rubrique en utilisant un LLM comme juge pour générer des étiquettes de réussite ou d'échec (pass/fail). Ces scores de feuilles sont agrégés vers le haut pour calculer un taux de réussite pour chaque nœud de l'arbre.

Sélection dynamique : Au lieu de s'engager sur une profondeur d'arbre fixe, CRAFT effectue une recherche descendante et transversale pour identifier les nœuds peu performants. Un nœud est sélectionné uniquement s'il possède un support suffisant (ex. : >30 critères) et respecte un seuil de taux de réussite.
Granularité : Une fois un nœud sélectionné, ses ancêtres et descendants sont exclus afin de garantir des régions de faibles capacités disjointes. Cela permet à la méthode de sélectionner les faiblesses à la granularité spécifique où elles s'expriment le plus clairement (ex. : un nœud parent large pour une faiblesse générale ou un nœud enfant étroit pour un échec spécifique).

2.4 Génération de données ciblées

Les nœuds de capacités faibles sélectionnés servent de cibles pour la génération de données de réglage fin supervisé (SFT). Pour chaque nœud faible, 40 prompts synthétiques sont générés, conditionnés par la description du nœud, les exemples et le contexte de l'arbre. Ces prompts sont conçus pour cibler la faiblesse diagnostiquée spécifiquement tout en évitant le chevauchement avec des capacités adjacentes.

3. Configuration expérimentale

Les auteurs ont évalué CRAFT par rapport à deux bases de référence (baselines) sur quatre modèles open-source (Qwen3-4B, Qwen3-8B, Gemma-3-4B, Llama-3.1-8B-Instruct) dans deux domaines professionnels : la Finance et le Droit.

Baselines :
- EvalTree : Une méthode de regroupement hiérarchique au niveau du prompt qui organise des prompts entiers plutôt que des critères de rubrique.
- Random : Une approche non ciblée qui échantillonne uniformément des prompts à partir du pool de domaine sans construire de hiérarchie ni diagnostiquer les faiblesses.
Contrôles : Toutes les méthodes utilisent des paramètres de descente identiques : le même modèle enseignant pour la génération, un budget d'entraînement fixe de 1 000 exemples, des hyperparamètres SFT identiques et le même protocole d'évaluation.
Benchmarks : La performance a été mesurée sur 13 benchmarks tenus à l'écart (7 juridiques, 6 financiers) disjoints des données de diagnostic. Les résultats ont été moyennés sur des passages répétés de décodage par température pour tenir compte de la variance.

4. Résultats clés

Domaine de la Finance : CRAFT a obtenu la meilleure performance moyenne de domaine pour les quatre modèles. Les améliorations étaient particulièrement significatives pour Qwen3-4B et Llama-3.1-8B, où CRAFT a surpassé les baselines de plus de 5 points sur la moyenne du domaine.
Domaine Juridique : CRAFT a obtenu la meilleure performance moyenne pour trois des quatre modèles. Pour le quatrième modèle (Qwen3-8B), le score de CRAFT se situait dans la bande de variance de décodage de la meilleure baseline (EvalTree), indiquant une performance comparable.
Étude d'ablation : Les auteurs ont comparé la sélection dynamique de CRAFT à la sélection à niveau fixe (L4 et L5). La sélection dynamique a systématiquement surpassé les niveaux fixes, démontant que les faiblesses se manifestent à des profondeurs différentes selon le modèle et le domaine. Les niveaux fixes soit fragmentaient les faiblesses larges, soit fusionnaient les faiblesses étroites, tandis que la sélection dynamique s'adaptait aux preuves.

5. Signification et affirmations

L'article affirme que CRAF démontre la valeur du passage d'un diagnostic au niveau de la tâche ou du prompt à un diagnostic au niveau des critères de la rubrique.

Granularité du diagnostic : En traitant les critères de la rubrique comme des sondes de capacité, CRAFT identifie pourquoi un modèle échoue (ex. : étapes de raisonnement spécifiques ou exigences de formatage) plutôt que simplement où il échoue.
Résultat actionnable : La méthode traduit directement les échecs mesurés en données de réglage fin (fine-tuning) ciblées. Les résultats suggèrent que les évaluations sont les plus utiles pour le post-entraînement lorsqu'elles expliquent les modes d'échec et les convertissent en cibles d'entraînement spécifiques.
Supériorité sur le regroupement au niveau du prompt : La comparaison avec EvalTree indique qu'organiser les données par critères de rubrique fournit des unités de diagnostic plus informatives que l'organisation par prompts entiers.
Valeur de la structure : La comparaison avec la baseline Random confirme que l'ajout de simples données supplémentaires dans le même domaine est moins efficace que de structurer ces données autour d'une hiérarchie de capacités scorées et de cibler les nœuds faibles spécifiques.

En résumé, les auteurs soutiennent que CRAFT offre une image plus précise des limitations des modèles et produit des modèles mesurablement meilleurs après le réglage fin en s'attaquant aux causes profondes des échecs identifiées par le regroupement de rubriques.