One-Eval: An Agentic System for Automated and Traceable LLM Evaluation

Ce papier présente One-Eval, un système agentic automatisé qui transforme les requêtes d'évaluation en langage naturel en flux de travail exécutables et traçables pour simplifier, standardiser et rendre reproductible l'évaluation des grands modèles de langage.

L'essentiel

Imagine que vous êtes un chef cuisinier célèbre (votre modèle de langage) et que vous voulez savoir si votre nouveau plat est vraiment délicieux. Normalement, pour le tester, vous devriez :

1. Trouver les meilleurs critiques gastronomiques (les benchmarks).
2. Imprimer leurs formulaires de notation spécifiques.
3. Traduire votre recette dans leur langue.
4. Organiser le service, compter les points, et écrire un rapport.

C'est fastidieux, technique, et souvent source d'erreurs. C'est exactement le problème que résout One-Eval.

Voici une explication simple de ce système, comme si on vous racontait une histoire :

🤖 One-Eval : Votre Assistant de Cuisine Automatique et Intelligente

One-Eval est un système "agentique" (c'est-à-dire qu'il agit comme un assistant intelligent) qui transforme une simple phrase en français (ex: "Vérifie si mon modèle est bon en mathématiques et en logique") en un test complet, automatisé et vérifiable.

Au lieu de vous fatiguer à configurer des outils complexes, vous parlez simplement à One-Eval, et il fait tout le travail de terrain pour vous.

🛠️ Comment ça marche ? (Les 3 Étapes Magiques)

Le système fonctionne comme une équipe de trois experts qui travaillent ensemble :

1. Le Traducteur de Désirs (NL2Bench)

• L'analogie : Imaginez un chef de cuisine très intuitif qui écoute votre envie vague ("Je veux un plat qui pique et qui est sain") et la transforme en une liste d'ingrédients précis et de recettes connues.
• Ce qu'il fait : Il prend votre phrase en langage naturel, comprend ce que vous voulez vraiment (maths, logique, sécurité ?), et va chercher les meilleurs "examens" (benchmarks) disponibles dans sa bibliothèque ou sur Internet pour correspondre à votre demande. Il vous montre ce qu'il a trouvé et vous demande : "Ça te va ?" avant de continuer.

2. Le Préparateur de Cuisine (BenchResolve)

• L'analogie : C'est le commis de cuisine qui va chercher les ingrédients, les lave, les coupe et s'assure que tous les bols sont de la bonne taille. Souvent, les recettes (benchmarks) sont écrites dans des formats différents ou utilisent des ingrédients introuvables.
• Ce qu'il fait : Il télécharge automatiquement les données nécessaires, nettoie le "chaos" (par exemple, s'un examen appelle la question "Q" et un autre "Question", il les met sur le même pied d'égalité). Il s'assure que tout est prêt à être exécuté sans que vous ayez à toucher à un seul fichier de configuration.

3. Le Critique Gastronomique (Metrics & Reporting)

• L'analogie : Au lieu de vous donner juste une note sur 20 (ex: "14/20"), ce critique vous explique pourquoi vous avez eu cette note. Il vous dit : "Tu as raté les légumes, mais ta sauce était parfaite. Voici un exemple précis où tu as échoué."
• Ce qu'il fait : Il ne se contente pas de calculer un score. Il analyse les erreurs, classe les résultats par type de problème, et génère un rapport clair pour vous aider à prendre une décision (ex: "Ce modèle est prêt pour la production, mais attention aux erreurs de calcul".).

🤝 La Touche Humaine (Le "Human-in-the-Loop")

Le système est intelligent, mais il n'est pas arrogant. À chaque étape importante, il s'arrête pour vous demander votre avis.

• "J'ai trouvé ces 3 examens. Tu veux en ajouter un autre ?"
• "Je pense que cette configuration est bonne. Tu valides ?"

Si vous dites "Non" ou "Change ça", le système recule, ajuste le tir et recommence. C'est comme un co-pilote qui vérifie toujours avec vous avant de décoller.

📊 Pourquoi c'est révolutionnaire ?

Avant, évaluer une intelligence artificielle ressemblait à bricoler une voiture avec un marteau : il fallait tout assembler soi-même, c'était lent et risqué.

Avec One-Eval, c'est comme appeler un Uber :

1. Vous dites où vous voulez aller (votre objectif d'évaluation).
2. Le système trouve le meilleur trajet, conduit la voiture, et vous dépose à destination avec un reçu détaillé.
3. Vous n'avez qu'à vérifier que vous êtes bien arrivé.

En résumé

One-Eval rend l'évaluation des intelligences artificielles aussi simple que de poser une question. Il transforme le travail de "bricoleur technique" en un processus fluide, automatisé et transparent, permettant aux entreprises de savoir si leurs modèles sont vraiment bons, et pourquoi, sans perdre des semaines à configurer des outils.

Résumé technique

1. Problématique

L'évaluation fiable des grands modèles de langage (LLM) est devenue un pilier essentiel de leur cycle de vie, allant du développement au déploiement industriel. Cependant, les pratiques actuelles souffrent de plusieurs limitations majeures :

• Effort manuel important : Les praticiens doivent identifier manuellement des benchmarks appropriés, reproduire des bases de code hétérogènes, configurer des mappages de schémas de données complexes et interpréter des métriques agrégées.
• Rigidité des workflows existants : Les outils actuels (comme lm-eval-harness ou OpenCompass) standardisent l'exécution mais supposent des tâches et des métriques prédéfinies. Ils ne gèrent pas bien l'interprétation de l'intention de l'utilisateur, la sélection personnalisée de benchmarks ou l'analyse des résultats orientée vers la prise de décision.
• Manque de traçabilité et d'adaptabilité : Les workflows sont souvent dépendants de l'expérience de l'utilisateur, coûteux à itérer et difficiles à adapter à des besoins d'évaluation évolutifs. Les résultats se limitent souvent à des scores scalaires isolés, insuffisants pour des décisions industrielles complexes.

2. Méthodologie : One-Eval

One-Eval est un système d'évaluation agentique conçu pour transformer des requêtes d'évaluation en langage naturel en flux de travail exécutables, traçables et personnalisables. L'architecture repose sur trois modules principaux orchestrés par des agents, avec une boucle humaine (Human-in-the-Loop) intégrée pour la validation.

A. Architecture en trois étapes

1. NL2Bench (Structuration de l'intention et planification) :

   • Fonction : Traduit la requête utilisateur en une intention structurée (domaine, capacités cibles, contraintes).
   • Mécanisme : Il interroge une galerie locale de 77 benchmarks curatés et effectue une recherche en direct sur HuggingFace Hub pour les benchmarks à longue traîne.
   • Technique : Utilise une combinaison de recherche par embedding (sémantique) et TF-IDF (lexicale) pour récupérer des candidats. Il normalise les identifiants et les métadonnées pour garantir l'exécutabilité.
   • Interaction : Propose un plan de benchmarks que l'utilisateur peut valider, modifier ou enrichir avant l'exécution.

2. BenchResolve (Résolution et configuration automatique) :

   • Fonction : Transforme le plan nominal en configurations exécutables et reproductibles.
   • Mécanisme : Adopte une stratégie de résolution hiérarchique "Local-first". Il charge d'abord des configurations pré-validées depuis un registre local pour les benchmarks fréquents. Pour les autres, il télécharge dynamiquement les données depuis HuggingFace, inspecte les métadonnées (cartes de données) et normalise les schémas hétérogènes.
   • Normalisation : Crée un objet de configuration unifié (BenchInfo) qui mappe les champs de données disparates (ex: question vs input) vers une interface standardisée, éliminant les erreurs de configuration manuelle.

3. Metrics & Reporting (Recommandation de métriques et rapport orienté tâche) :

   • Fonction : Sélectionne les métriques appropriées et génère des rapports décisionnels.
   • Mécanisme : Utilise une stratégie "Dual-Track" :
     • Contrôle statique : Respecte les métriques définies dans les métadonnées du benchmark.
     • Raisonnement dynamique : Si aucune métrique n'est définie, un agent analyse le contexte du dataset (prompts, exemples) pour recommander des métriques via un raisonnement sémantique.
   • Rapports : Génère des rapports multi-granulaires : vue macro (profilage des capacités), vue diagnostique (analyse des causes racines, modes d'échec) et vue micro (études de cas).

B. Boucle Humaine (Human-in-the-Loop)

Le système intègre des points d'interruption clés où l'utilisateur peut :

• Examiner et approuver le plan de benchmarks.
• Modifier les contraintes ou les préférences.
• Revenir en arrière (rollback) sur une étape précédente en cas d'erreur.
• Valider les décisions de l'agent avant l'exécution finale.

3. Contributions Clés

• Premier système d'évaluation agentique end-to-end : One-Eval comble le fossé entre l'intention utilisateur abstraite et l'exécution technique concrète, automatisant la découverte, la configuration et l'analyse.
• Traçabilité et Auditabilité : Chaque étape (plan, identifiants résolus, mappages de schémas, résultats) est enregistrée comme un artefact traçable, permettant le débogage et la reproductibilité stricte des évaluations industrielles.
• Gestion de l'hétérogénéité des données : Le module de normalisation des schémas permet d'exécuter des benchmarks aux formats de données très différents sur une interface unifiée sans intervention manuelle.
• Rapports orientés décision : Au-delà des scores scalaires, le système fournit des analyses de causes racines et des suggestions actionnables pour les équipes de déploiement.

4. Résultats Expérimentaux

Les auteurs ont évalué One-Eval sur 100 requêtes d'évaluation en langage naturel couvrant six domaines (raisonnement, mathématiques, code, sécurité, etc.).

• Taux de réussite du plan exécutable : 99% (99/100). Le système a réussi à interpréter l'intention et à récupérer au moins un benchmark sans intervention humaine.
• Taux de complétion automatique : 85%. Le système a correctement inféré les sous-ensembles de données, les splits et les mappages de clés, évitant les plantages lors de l'exécution.
• Taux de plan complet : 84%. Le système a réussi à recommander des métriques et à générer un plan d'évaluation complet.
• Efficacité : Le temps médian pour générer un plan exécutable est d'environ 11,4 minutes par requête.
• Comparaison fonctionnelle : Contrairement aux frameworks existants (lm-eval-harness, OpenCompass, HELM) qui manquent de recommandation de benchmarks et de métriques basée sur l'intention, One-Eval coche toutes les cases : personnalisation, automatisation end-to-end, recommandation de benchmarks et recommandation de métriques.

5. Signification et Impact

One-Eval représente un changement de paradigme dans l'évaluation des LLMs :

• Industrialisation de l'évaluation : Il rend l'évaluation accessible aux praticiens non-experts en réduisant la barrière technique à l'entrée (configuration, scripts, mappages).
• Fiabilité décisionnelle : En fournissant des preuves traçables et des analyses de défaillance détaillées, il transforme l'évaluation d'une simple tâche de reporting en un outil d'aide à la décision critique pour le déploiement de modèles.
• Évolutivité : L'architecture modulaire permet d'intégrer facilement de nouveaux benchmarks, métriques et types de tâches (y compris multimodaux) sans refondre le système entier.

En résumé, One-Eval démontre qu'un système agentique peut automatiser de manière fiable et transparente l'ensemble du pipeline d'évaluation, rendant les processus d'évaluation plus efficaces, reproductibles et alignés sur les objectifs réels des entreprises.