From Raw Corpora to Domain Benchmarks: Automated Evaluation of LLM Domain Expertise

Cet article présente un pipeline déterministe et automatisé qui transforme des corpus de données brutes en benchmarks de type complétion pour évaluer de manière fiable, peu coûteuse et sans contamination les connaissances spécifiques d'un domaine des grands modèles de langage, sans recourir à d'autres LLM ni à une annotation humaine.

L'essentiel

🧠 Le Problème : Comment savoir si un robot est vraiment un expert ?

Imaginez que vous voulez embaucher un médecin, un avocat ou un physicien. Vous ne voulez pas juste savoir s'il est poli ou s'il sait bien parler (c'est ce que font les tests actuels). Vous voulez savoir s'il connaît vraiment son métier.

Aujourd'hui, pour tester les intelligences artificielles (les "LLM"), on utilise souvent des QCM (Questions à Choix Multiples), un peu comme un examen scolaire.

• Le souci : C'est comme si on testait un médecin en lui demandant de choisir la bonne réponse parmi A, B, C ou D. Mais si on mélange l'ordre des réponses, le robot peut se tromper ! Ou pire, il a peut-être déjà vu les questions dans son manuel d'apprentissage (c'est la "triche" ou la contamination).
• Autre problème : On utilise aussi des mesures de "perplexité" (un score mathématique qui dit à quel point le robot est surpris par un texte). C'est comme mesurer la taille d'un livre pour savoir si le lecteur est intelligent : ça ne marche pas vraiment. Un livre peut être long et difficile, mais ne pas contenir d'informations utiles.

💡 La Solution : Le "Test de Complétion" Automatique

Les auteurs de ce papier (Nitin Sharma et son équipe) ont inventé une nouvelle méthode, un peu comme un générateur de quiz infini et personnalisé.

Voici comment ça marche, étape par étape, avec une analogie :

1. La Bibliothèque (Le Corpus)

Imaginez que vous avez une immense bibliothèque remplie de livres sur un sujet précis (par exemple, la physique ou l'économie). C'est votre "corpus brut".

2. L'Étudiant Intelligent (Le Pipeline)

Au lieu de demander à un humain de lire tous les livres et de créer des questions (ce qui prendrait des années et coûte très cher), ils ont créé un robot détective (leur pipeline automatique).

• Ce robot lit les livres.
• Il repère les mots-clés importants (ex: "trou noir", "inflation", "ADN").
• Il cherche dans les phrases où ces mots apparaissent.

3. Le Jeu du "Mot Manquant" (Prompt-Target)

Le robot prend une phrase du livre et efface le mot important, comme dans un jeu de "trous" (fill-in-the-blanks).

• Phrase originale : "La théorie de la relativité a été développée par Einstein."
• Question pour le robot : "La théorie de la relativité a été développée par..."
• Réponse attendue : "...Einstein."

Le robot crée des milliers de ces paires (Phrase + Mot manquant) à partir de n'importe quel texte, sans jamais utiliser d'autres robots pour aider. C'est 100% automatique.

🏆 Comment on note le robot ?

Au lieu de demander "Quelle est la bonne réponse ? (A, B, C, D)", on demande au robot de compléter la phrase.

• On regarde si le robot propose le mot exact (ou un mot très proche) comme premier choix.
• On note sa position dans sa liste de suggestions. Si "Einstein" est son premier choix, c'est un 10/10. S'il faut chercher au 500e choix, c'est un échec.

L'avantage majeur : Cela ne dépend pas de la façon dont la question est posée (pas de biais d'ordre des réponses) et on peut créer un nouveau test instantanément avec de nouveaux livres, donc le robot ne peut pas tricher en ayant mémorisé les questions.

🔬 Ce qu'ils ont découvert (Les Résultats)

En utilisant cette méthode, ils ont fait plusieurs découvertes intéressantes :

1. C'est plus fiable que les QCM : Ils ont comparé leur méthode avec des tests créés par des experts humains. Résultat ? Les scores sont presque identiques (corrélation de 99%). Leur méthode automatique fonctionne aussi bien que des humains experts !
2. Le "Taxe d'Alignement" : C'est une découverte surprenante. Souvent, on prend un modèle de base (un robot "brut") et on le "fine-tune" (on l'entraîne à être poli et à suivre des instructions pour qu'il soit un "chatbot").
   • Résultat : En le rendant plus poli, on lui fait parfois oublier des connaissances techniques ! C'est comme si un chirurgien apprenait à être un excellent serveur de restaurant, mais qu'il devenait moins habile avec le scalpel. Les modèles "bruts" sont souvent plus experts que les modèles "chat".
3. On peut voir l'apprentissage en direct : Ils ont pu observer un robot grandir (pendant son entraînement) et voir exactement quand il apprenait des concepts de physique ou de biologie. Les anciennes méthodes (comme la perplexité) ne voyaient rien, mais leur méthode voyait les progrès étape par étape.

🚀 En résumé

Ce papier nous dit : "Arrêtons de tester les robots avec des QCM scolaires qui sont biaisés et faciles à tricher."

À la place, utilisons leur capacité naturelle à compléter des phrases à partir de textes réels. C'est comme passer d'un examen à choix multiples (où on peut deviner) à un exercice de rédaction où l'on doit vraiment connaître le sujet pour continuer l'histoire.

C'est une méthode automatique, peu coûteuse, impossible à tricher, et qui permet de savoir si un robot est vraiment un expert en médecine, en droit ou en physique, ou s'il ne fait que de la "blague" linguistique.

Résumé technique

1. Problématique et Contexte

L'évaluation précise des Grands Modèles de Langage (LLM) dans des domaines spécifiques (santé, droit, éducation, sciences) est cruciale, mais les méthodes actuelles présentent des limites majeures :

• Contamination des benchmarks : De nombreux benchmarks existants (comme MMLU) sont souvent présents dans les ensembles de données d'entraînement des modèles, faussant les résultats.
• Biais des questions à choix multiples (QCM) : Les benchmarks basés sur des QCM souffrent de biais inhérents, notamment la sensibilité à l'ordre des options et la capacité des modèles à deviner sans comprendre la question. De plus, ils désavantagent les modèles de base (non alignés) qui ne suivent pas bien les instructions.
• Limites de la perplexité : La perplexité mesure la qualité de prédiction globale sur tous les tokens, mélangeant connaissances linguistiques générales et expertise de domaine, ce qui rend difficile l'isolement de la connaissance réelle d'un domaine.
• Coût de l'annotation humaine : La création manuelle de benchmarks de haute qualité est coûteuse et difficilement extensible.

L'objectif de cet article est de proposer une méthode déterministe, automatisée et indépendante des LLM pour transformer n'importe quel corpus de texte brut en un benchmark de type « complétion » (prédiction de tokens), permettant une évaluation juste et reproductible de l'expertise de domaine.

2. Méthodologie : Pipeline Automatisé

Les auteurs proposent un pipeline en plusieurs étapes pour générer des paires « Prompt-Cible » à partir de corpus bruts (ici, des articles académiques arXiv) :

1. Extraction et Raffinement des Mots-clés :

   • À partir des résumés (abstracts), le pipeline génère des n-grammes (2 à 7 tokens).
   • Un filtrage strict élimine les mots génériques, les stop-words et les expressions quantitatives.
   • Une réduction de redondance sémantique est effectuée via la similarité cosinus (seuil > 0,85) pour obtenir environ 300 mots-clés de haute qualité par domaine.

2. Appariement Mots-clés / Phrases :

   • Les phrases des documents complets sont extraites et comparées aux mots-clés via des embeddings (cosine similarity > 0,5).
   • Seules les phrases sémantiquement pertinentes sont conservées, assurant que l'évaluation se concentre sur le contenu spécifique au domaine.

3. Construction du Vocabulaire Cible (Target Vocabulary) :

   • Deux variantes sont utilisées pour extraire les termes cibles des phrases appariées :
     • TF (Fréquence de Terme) : Capture les termes fréquents et largement pertinents.
     • TF-IDF (Fréquence de Terme - Inverse de la Fréquence de Document) : Met en avant les termes plus rares et spécialisés (de niche).
   • Des termes trop génériques (présents dans >80% ou >50% des corpus) sont exclus.

4. Génération des Paires Prompt-Cible :

   • Pour chaque mot-clé, le pipeline construit des paires où le prompt est la partie de la phrase précédant un terme cible, et la cible est le terme spécifique du domaine.
   • Exemple : Prompt : « ...l'utilisation d'une expérience de... » | Cible : « replay » (dans le contexte de l'apprentissage par renforcement).
   • Environ 50 paires sont générées par mot-clé, créant un benchmark de plusieurs milliers d'items.

5. Évaluation du Modèle :

   • Les modèles sont évalués sur leur capacité à prédire le premier token de la cible donnée le prompt.
   • Métrique principale : Le rang de prédiction (position du token correct dans la distribution de probabilité du modèle).
   • Le rang est préféré à la probabilité brute car il est moins sensible au calibrage (souvent mauvais dans les LLM, surtout après l'alignement/RLHF) et mesure ce que le modèle sait plutôt que la confiance avec laquelle il l'exprime.
   • Pour robustesse, une moyenne tronquée à 20% (20% trimmed mean) des rangs est utilisée pour éliminer les valeurs aberrantes.

3. Contributions Clés

• Pipeline Déterministe et Économique : Génération de benchmarks à la demande à partir de n'importe quel corpus brut, sans annotation humaine ni dépendance à d'autres LLM.
• Résistance à la Contamination : Les benchmarks peuvent être régénérés à partir de données récentes ou retenues (hold-out), éliminant le risque d'évaluation sur des données d'entraînement.
• Évaluation Unifiée : La méthode fonctionne aussi bien pour les modèles de base (base models) que pour les modèles alignés/chat (instruction-tuned), évitant les biais des QCM qui pénalisent souvent les modèles de base.
• Granularité Adaptative : Permet d'évaluer des domaines larges ou des sous-domaines très spécifiques.

4. Résultats Expérimentaux

Les auteurs valident leur approche sur quatre domaines scientifiques (CS.AI, Physique, Biologie Quantique, Économie) avec plusieurs modèles (Llama-2, GPT-2, OLMo-2, Mistral, Qwen).

• Validation par Corrélation :
  • Le benchmark généré par le pipeline présente une corrélation quasi parfaite (r = 0,99) avec un benchmark manuel expert (issu du livre Understanding Deep Learning).
  • Il corrèle également fortement (r = 0,91) avec un benchmark généré par Claude Sonnet 4, validant l'approche automatisée.
• Supériorité sur les Métriques Traditionnelles :
  • Contrairement à la perplexité et au taux d'attribution (attribution rate), les rangs de prédiction de ce pipeline suivent fidèlement l'acquisition de connaissances lors de l'adaptation de domaine et du pré-entraînement continu.
  • La perplexité échoue à détecter les nuances d'apprentissage dans des scénarios de pré-entraînement continu.
• Impact du « Taxe d'Alignement » (Alignment Tax) :
  • L'évaluation révèle que l'ajustement par instruction (fine-tuning pour le chat) dégrade souvent les performances en termes de connaissance brute du domaine par rapport aux modèles de base.
  • Cette dégradation est hétérogène : elle est forte pour Llama-2-7B et Mistral-7B, mais faible ou nulle pour d'autres modèles (ex: Qwen2, Llama3.1), suggérant que l'alignement n'est pas uniforme.
• Dynamique d'Apprentissage :
  • Le benchmark permet de visualiser l'accumulation de connaissances au fil des checkpoints de pré-entraînement, montrant des améliorations progressives que les QCM (qui saturent rapidement) ne capturent pas.

5. Signification et Conclusion

Cet article propose une alternative fondamentale aux benchmarks statiques et aux QCM pour l'évaluation des LLM. En se basant sur la tâche de prédiction de tokens (l'objectif natif de pré-entraînement des LLM), la méthode offre :

1. Équité : Une comparaison juste entre modèles de base et modèles chat.
2. Fiabilité : Une évaluation résistante à la contamination et aux biais de formatage.
3. Évolutivité : La capacité de mettre à jour instantanément les benchmarks avec de nouvelles données de domaine.

Cette approche permet aux chercheurs et praticiens de sélectionner et de suivre l'évolution des modèles avec une précision inédite dans des domaines spécialisés, en évitant les pièges des évaluations actuelles. Elle met également en lumière les compromis (trade-offs) entre l'alignement conversationnel et la rétention de connaissances factuelles spécialisées.