Diagnosing Capability Gaps in Fine-Tuning Data

1. Énoncé du problème

L'ajustement fin (fine-tuning) des grands modèles de langage (LLM) pour des tâches spécifiques à un domaine (par exemple, QA médical, résumé juridique, génération de code) nécessite des ensembles de données d'entraînement qui couvrent de manière exhaustive les capacités spécifiques requises. Cependant, les praticiens manquent actuellement d'une méthode fondée sur des principes pour déterminer si un ensemble de données soutient un objectif de haut niveau avant de s'engager dans un ajustement fin coûteux.

Les méthodes existantes reposent sur des métriques agrégées (perplexité, BLEU) ou une analyse de performance a posteriori, qui échouent à :

• Localiser des lacunes spécifiques de capacités (par exemple, un modèle peut bien résumer en général mais échouer sur les détails monétaires dans les factures juridiques).
• Identifier les sous-objectifs sous-soutenus uniquement après la survenue d'échecs en production.
• Fournir des signaux exploitables pour la curation d'ensembles de données ou la génération de données synthétiques.

2. Méthodologie : Le cadre GOALCOVER

Les auteurs introduisent GOALCOVER, un cadre en quatre phases conçu pour détecter proactivement les lacunes de capacités grâce à une décomposition interactive des objectifs et une évaluation automatisée de la couverture.

Phase 1 : Clarification interactive des objectifs

Au lieu d'accepter un objectif vague de haut niveau, le cadre guide le praticien à travers un protocole structuré d'élicitation :

• Décomposition : Le système décompose un objectif de haut niveau $G$ en un ensemble de sous-objectifs atomiques et indépendamment évaluables $S = \{s_1, ..., s_k\}$.
• Contraintes : La décomposition impose l'atomicité (chaque sous-objectif est une capacité unique) et la disjonction (les sous-objectifs ne se chevauchent pas).
• Processus : Une boucle itérative de questions de clarification et de réponses du praticien garantit que les sous-objectifs correspondent à des capacités spécifiques du modèle (par exemple, "Expertise en cardiologie" vs "Raisonnement clinique général").

Phase 2 : Évaluation de la couverture

• Score d'alignement : Un évaluateur basé sur un LLM ($f_{eval}$) note chaque échantillon d'entraînement $(x_i, y_i)$ par rapport à chaque sous-objectif $s$.
• Grille d'évaluation : L'évaluateur utilise un prompt de grille ancrée (échelle de 0,0 à 1,0) pour produire un score d'alignement quantitatif et une explication structurée en langage naturel ($r_i$) justifiant le score.
• Agrégation : Le système calcule le score d'alignement moyen $\bar{A}(s)$ pour chaque sous-objectif à travers l'ensemble de données.

Phase 3 : Analyse des lacunes

• Identification : Les sous-objectifs avec des scores moyens faibles ($\bar{A}(s) < \tau$) sont signalés comme des lacunes de capacités.
• Synthèse : Le système agrège les explications structurées des échantillons à faible score pour identifier les capacités manquantes récurrentes (par exemple, "absence d'avertissements sur les interactions médicamenteuses").

Phase 4 : Recommandation et remédiation

• Retour d'information exploitable : Le système fournit des suggestions de curation spécifiques (par exemple, "ajouter des exemples spécifiques à la cardiologie").
• Génération de données synthétiques : Il utilise un pipeline Générateur-Discriminateur pour créer des échantillons synthétiques conditionnés par l'objectif. Le générateur crée des données ciblant les lacunes identifiées, et le discriminateur les filtre en fonction de leur alignement avec le sous-objectif spécifique.

3. Contributions clés

1. Décomposition structurée des objectifs : Une méthodologie fondée sur des principes pour décomposer des objectifs complexes en sous-objectifs atomiques et disjoints via un protocole d'élicitation fixe.
2. Évaluation d'alignement basée sur LLM : Un cadre de notation qui produit à la fois des scores quantitatifs et des explications qualitatives sur la raison pour laquelle un échantillon échoue à une capacité spécifique.
3. Validation adversariale : Un protocole de corruption contrôlée (ablation de données) qui valide le mécanisme de détection en supprimant sélectivement du contenu et en vérifiant que seul le score du sous-objectif ciblé chute significativement.
4. Validation empirique inter-domaines : Efficacité démontrée dans le QA médical, le résumé juridique et la génération de code.
5. Utilité en aval : Amélioration prouvée des résultats de l'ajustement fin par renforcement (RFT) utilisant des données filtrées et synthétiques.
6. Pipeline pratique : Un flux de travail de bout en bout fournissant des recommandations spécifiques et exploitables pour combler les lacunes de données.

4. Résultats expérimentaux

Validation 1 : Corruption contrôlée (Validité de la détection)

Les auteurs ont simulé des lacunes de capacités en supprimant des types de contenu spécifiques des ensembles de données (par exemple, supprimer les termes "cardiaques" du QA médical).

• Séparation Cible vs Non-Cible : Lorsque le contenu soutenant un sous-objectif spécifique était supprimé, le score d'alignement de ce sous-objectif se dégradait en moyenne de 25,6 %, tandis que les sous-objectifs non ciblés ne se dégradaient que de 2,1 %.
• Significativité statistique : La séparation est statistiquement significative ($p < 0,001$) avec une grande taille d'effet (Cohen's $d = 1,24$).
• Spécificités par domaine :
  • Juridique : La suppression du contenu financier a entraîné une baisse de 30,75 % des scores de "Préservation monétaire".
  • Médical : La suppression du contenu cardiologique a entraîné une baisse de 26,28 % des scores d'"Expertise en cardiologie".
  • Code : La suppression des références aux bibliothèques ML a entraîné une baisse de 15,53 % des scores de "Bibliothèques ML".

Validation 2 : Utilité en aval (Expériences RFT)

Le cadre a été testé sur une tâche de résumé financier utilisant Qwen-3-14B et GRPO (Group Relative Policy Optimization).

• Référence : Les données non filtrées ont obtenu une récompense de juge LLM de 3,77.
• Filtré GOALCOVER : L'utilisation uniquement de données alignées avec les sous-objectifs a amélioré le score à 4,12 (malgré l'utilisation de moins d'échantillons).
• Données synthétiques : Les données synthétiques conditionnées par l'objectif seules ont atteint 4,02.
• Meilleur résultat : La combinaison de données réelles filtrées avec des données synthétiques conditionnées par l'objectif a atteint le score le plus élevé de 4,20.
• Cohérence des sous-objectifs : Les améliorations étaient cohérentes à travers 10 sous-objectifs de distribution d'entrée différents (par exemple, longs documents, entrées bruyantes, types de politiques spécifiques), sans régression observée.

5. Signification et impact

• Proactif vs Réactif : GOALCOVER déplace l'évaluation des ensembles de données d'une analyse post-entraînement réactive vers un diagnostic pré-entraînement proactif, économisant des ressources de calcul significatives en empêchant les échecs d'ajustement fin.
• Visibilité granulaire : Il va au-delà des métriques agrégées pour fournir une visibilité au niveau des sous-objectifs, permettant aux praticiens d'identifier exactement quelles capacités manquent (par exemple, "Le modèle connaît le droit mais pas l'argent").
• Optimisation en boucle fermée : En reliant la détection des lacunes directement à la génération de données synthétiques, le cadre offre une solution complète non seulement pour trouver, mais aussi pour corriger les déficiences de données.
• Fiabilité : Les expériences de corruption contrôlée fournissent des preuves solides que les évaluateurs basés sur LLM détectent de véritables dépendances de capacités plutôt que du bruit aléatoire.

En conclusion, GOALCOVER fournit un cadre robuste et interactif pour garantir que les ensembles de données d'ajustement fin sont alignés avec des objectifs de domaine spécifiques et à haut risque, améliorant considérablement la fiabilité et la sécurité du modèle avant le déploiement.