🤖 AI

EuroExec: Frontier Language Models Fall Short of Expert Judgment on European Executive Decision Tasks

Cet article présente EuroExec, un benchmark de 413 tâches exécutives européennes réelles évaluées par des experts humains, révélant que même les modèles de langage de pointe les plus performants sont nettement en deçà des standards professionnels humains, ne résolvant que 56,9 % des tâches et étant systématiquement surpassés par les références écrites par des experts.

Auteurs originaux : Pau Arnal, Khaled Denfir, Danylo Smahliuk, Amrut Avhad, Marcus A. Castro

Publié 2026-08-06

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Pau Arnal, Khaled Denfir, Danylo Smahliuk, Amrut Avhad, Marcus A. Castro

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous embauchiez un nouvel assistant pour aider à diriger une entreprise massive et complexe. Vous n'avez pas seulement besoin de quelqu'un capable de réciter des faits tirés d'un manuel ; vous avez besoin d'un stratège capable d'analyser un problème réel et désordonné, d'en comprendre les règles locales et de rédiger un plan brillant qui fonctionne réellement. C'est le monde des « Grands Modèles de Langage » (LLM) — des programmes informatiques super intelligents entraînés sur de vastes quantités de texte qui peuvent écrire des histoires, répondre à des questions et résoudre des énigmes. Pendant un certain temps, nous avons testé ces assistants IA avec des quiz simples à choix multiples, comme leur demander de choisir la bonne réponse dans une liste de quatre. Mais dans le monde réel, les problèmes ne viennent que rarement avec une liste de choix. Ils sont ouverts, désordonnés et exigent un jugement profond. La grande question qui préoccupe tout le monde est la suivante : ces « génies » de l'IA peuvent-ils réellement gérer les décisions à enjeux élevés et ouvertes que prennent les véritables cadres chaque jour, ou sont-ils simplement très doués pour passer des tests ?

Une équipe de chercheurs de Sovrano AI a décidé de le découvrir en créant un tout nouveau défi ultra-difficile appelé EuroExec. Au lieu d'un simple quiz, ils ont construit un examen massif composé de 413 questions complexes et de longue forme basées sur des scénarios commerciaux réels en Europe. Ils n'ont pas seulement demandé à l'IA de deviner ; ils ont engagé 47 experts humains — des personnes possédant des décennies d'expérience en finance, marketing, commerce et gestion de produits — pour rédiger les questions et noter les réponses. Ces experts ont créé une liste de contrôle stricte d'exigences pour chaque réponse, agissant comme un patron rigoureux vérifiant le travail d'un employé subalterne. Ils ont ensuite demandé à six des modèles d'IA les plus avancés au monde de résoudre ces problèmes et ont comparé les performances de l'IA par rapport aux experts humains.

Les résultats ont été un certain rappel à la réalité. Même les modèles d'IA les plus intelligents au monde ont eu du mal à suivre le rythme des professionnels. Le meilleur modèle d'IA a réussi à « résoudre » seulement environ 56,9 % des tâches, ce qui signifie qu'il n'a pas atteint le standard professionnel sur près de la moitié des questions. En revanche, les experts humains, lorsqu'on leur a demandé de rédiger leurs propres réponses idéales, ont résolu les problèmes à un taux quasi parfait de 92,4 %. Lorsque les chercheurs ont demandé aux experts humains de classer les réponses à l'aveugle, ils ont préféré les réponses écrites par les humains aux réponses de l'IA dans 74 % des cas.

L'étude a également examiné la manière dont l'IA échouait. Bien que les modèles soient corrects pour rédiger des textes bien structurés et communiquer clairement, ils ont échoué lorsqu'il s'agissait de raisonnement pur et de logique. Ils ont souvent manqué les règles locales spécifiques des marchés européens ou ont échoué à créer des plans réalistes et exploitables. Curieusement, les chercheurs ont essayé d'utiliser d'autres programmes d'IA pour noter les réponses automatiquement, espérant ainsi gagner du temps et de l'argent. Cependant, ces « juges IA » étaient peu fiables ; ils avaient tendance à surestimer la performance des meilleurs modèles et passaient à côté des nuances subtiles que les experts humains avaient saisies.

En fin de compte, l'article suggère que, bien que l'IA devienne incroyablement douée pour générer du texte, elle n'est pas encore prête à remplacer les experts humains dans la prise de décision de haut niveau. Le « taux de résolution » du meilleur modèle d'IA atteignait à peine les 50 % sur les questions les plus faciles, et même les modèles les plus capables étaient loin du standard professionnel requis pour le travail de direction. Les chercheurs concluent que pour ce genre de tâches complexes et réelles, le jugement humain reste la référence absolue, et nous ne pouvons pas encore compter sur des mesures automatiques ou des juges IA pour nous dire si un ordinateur « réfléchit » véritablement comme un expert.

Résumé Technique : EuroExec – Les modèles de langage de pointe sont en deçà du jugement d'expert sur les tâches de décision exécutives européennes

1. Énoncé du problème

L'évaluation de l'IA générative s'est traditionnellement appuyée sur des tâches à questions fermées avec des mesures déterministes (par exemple, choix multiples, exécution de code ou traduction avec des références de référence). Cependant, ces bancs d'essai ne parviennent pas à capturer la nature des applications réelles où les grands modèles de langage (LLM) sont de plus en plus déployés : la génération de texte ouvert et de longue forme nécessitant un jugement professionnel, telle que la prise de décision exécutive. Dans ces scénarios, il n'existe pas de réponse unique « correcte », mais plutôt une norme professionnelle que les experts humains peuvent reconnaître.

Les méthodes d'évaluation actuelles sont confrontées à deux défis majeurs :

Contamination des données : Les modèles peuvent avoir été entraînés sur des benchmarks publics dotés de réponses définitives, gonflant ainsi les mesures de performance par régurgitation plutôt que par un raisonnement véritable.
Fidélité de l'évaluation : Les métriques automatiques (par exemple, BLEU, ROUGE) et les juges IA (des LLM évaluant des LLM) échouent souvent à reproduire la nuance, la subjectivité et la cohérence du jugement d'expert humain, particulièrement dans des tâches complexes et spécifiques à un domaine.

Ce document traite cette lacune en introduisant EuroExec, un benchmark conçu pour évaluer les LLM de pointe sur des tâches de décision exécutives européennes ouvertes, et en comparant rigoureusement les évaluations d'experts humains aux métriques automatiques.

2. Méthodologie

2.1 Le Benchmark EuroExec

Les auteurs ont construit un ensemble de données de 413 questions ouvertes de longue forme rédigées par 47 experts du domaine certifiés avec une expérience professionnelle avérée en Europe. Les questions sont divisées en quatre domaines :

Finance (74 questions)
Marketing (85 questions)
Business (113 questions)
Produit (141 questions)

Formulation des questions :
Chaque élément est un scénario autonome et orienté vers un objectif (environ 200 mots) décrivant une situation commerciale réelle avec des points de friction spécifiques (par exemple, contraintes réglementaires, coûts de main-d'œuvre, fragmentation du marché). Crucialement, chaque question est associée à une liste de contrôle (checklist) de 5 à 10 critères spécifiques (vérité de terrain) qu'une réponse de haute qualité doit satisfaire.

Pipeline de validation :
Pour garantir que les questions mettent au défi les modèles actuels et ne soient pas trivialement solubles par des systèmes automatisés, un pipeline de validation en deux étapes a été employé :

QA Automatisée : Un LLM (Claude Sonnet 4.6) a rejeté les éléments basés sur des critères tels que la fuite d'indices (hint leakage), la pertinence de la checklist et la sécurité.
Porte de Difficulté : Deux LLM différents (Claude Haiku 4.5 comme solveur, Gemini Flash 3.5 comme évaluateur) ont tenté de résoudre les questions par rapport à la checklist. Les questions ont été réécrites de manière itérative jusqu'à ce que le taux de satisfaction automatique tombe en dessous du seuil de 60 %, garantissant que les tâches nécessitent un raisonnement véritable plutôt qu'une simple reconnaissance de formes (pattern matching).

2.2 Sélection des Modèles et Génération de Réponses

Six LLM de pointe ont été évalués via leurs API de fournisseurs en utilisant des paramètres de décodage par défaut, sans contexte ou outils supplémentaires :

Fable 5 (Anthropic)
Claude Opus 4.8 (Anthropic)
GPT-5.5 (OpenAI)
Gemini 3.1 Pro (Google)
GLM-5.2 (Zhipu AI)
Mistral Large (Mistral AI)

2.3 Protocole d'Évaluation Humaine

Le cœur de l'étude est un effort massif d'évaluation humaine impliquant plus de 4 000 heures d'experts. Les réponses ont été évaluées par deux experts indépendants du domaine par question en utilisant trois instruments :

Score de Rubrique : Une échelle de Likert en 5 points sur cinq attributs : Domaine (exactitude factuelle), Localisation (contexte du marché européen), Raisonnement (logique), Communication (structure pour les cadres) et Actionnabilité (plans concrets).
Satisfaction de la Checklist : Une évaluation binaire ou partielle de la capacité de la réponse à répondre aux critères spécifiques définis dans la checklist de la question.
Classement de Préférence : Un classement explicite des six réponses de modèles pour une question donnée.

Métrique Agrégée : Les auteurs ont introduit le « Taux de Résolution » (Solve Rate - SR). Une réponse est considérée comme « résolue » si elle atteint un score de rubrique moyen $\ge$ 3,0 ET un taux de satisfaction de la checklist $\ge$ 60 %.

2.4 Analyse Comparative

L'étude a également évalué :

Référence Humaine (Baseline) : Pour un sous-ensemble de 33 questions, des experts ont rédigé des réponses idéales, qui ont été évaluées en aveugle comme un septième « modèle ».
Métriques Automatiques : Les scores ROUGE-Lsum et BLEU ont été calculés par rapport aux réponses rédigées par les experts.
Juges IA : Un LLM indépendant (DeepSeek v4-Pro) a été utilisé pour évaluer l'ensemble du dataset en utilisant les trois mêmes instruments afin de tester la fiabilité du concept de « LLM-as-a-Judge » (LLM comme juge).

3. Résultats Clés

3.1 Écart de Performance

Les résultats démontrent un écart de performance significatif entre les modèles de pointe et les experts humains :

Experts Humains : Ont atteint un Taux de Résolution de 92,4 % et un taux de satisfaction de la checklist de 94,9 %.
Meilleur Modèle de Pointe (Fable 5) : A atteint seulement un Taux de Résolution de 56,9 % et 61,9 % de satisfaction de la checklist.
Classements de Préférence : Dans les classements de préférence en aveugle, les réponses écrites par des humains ont été préférées aux réponses de chaque modèle dans 74,24 % des cas.

Même les modèles les plus puissants dépassent à peine un Taux de Résolution de 50 % sur le sous-ensemble de questions les plus faciles, indiquant qu'ils sont loin des standards professionnels requis pour la prise de décision exécutive.

3.2 Analyse Dimensionnelle

Raisonnement vs Communication : Les modèles ont généralement mieux performé sur la Communication et la Localisation (structure du texte et coutumes locales) mais ont montré la plus faible performance en matière de Raisonnement.
Corrélation par Domaine : La performance est fortement corrélée entre les domaines, à l'exception de la Finance, où GPT-5.5 a sous-performé par rapport à son niveau dans les autres domaines, suggérant des limites dans le raisonnement numérique.
Significativité Statistique : Des tests t de comparaison par paires ont confirmé que le classement des modèles est statistifiquement significatif ( $p < 0,01$ ) avec seulement 100 échantillons, et hautement significatif ( $p \approx 1,26 \times 10^{-6}$ ) avec l'intégralité des 413 éléments.

3.3 Cohérence de l'Évaluation

Cohérence Humaine : L'accord inter-annotateurs était élevé, particulièrement pour les éléments de la checklist. Bien que les mesures subjectives (rubrique, préférence) soient bien corrélées entre elles, la checklist a fourni un signal plus objectif et cohérent entre les différents évaluateurs.
Juges IA vs Humains : Bien que le juge IA (DeepSeek v4-Pro) présente une forte corrélation avec les classements humains, il a échoué à reproduire la diversité et la nuance de l'évaluation humaine. Le juge IA a tendance à surestimer les modèles de tête et à sous-estimer les modèles plus faibles, produisant des évaluations « nettes » qui manquent de l'hétérogénéité de l'opinion humaine.
Métriques Automatiques : Les métriques traditionnelles (BLEU, ROUGE) ont montré une faible corrélation avec les scores de rubrique humains et n'ont pas réussi à prédire avec précision le classement des modèles.

4. Principales Contributions

Benchmark EuroExec : Un nouveau benchmark d'origine humaine de 413 tâches exécutives européennes complexes et ouvertes, conçu pour tester le jugement professionnel plutôt que la récupération de connaissances.
Évaluation Humaine Rigoureuse : Une étude à grande échelle utilisant plus de 4 000 heures d'experts pour évaluer les modèles selon plusieurs dimensions, établissant un nouveau standard pour l'évaluation de la génération ouverte.
Preuve Empirique des Limites : Une preuve quantitative que même les LLM de pointe les plus capables sont en deçà des standards professionnels en matière de décision exécutive, résolvant moins de 60 % des tâches contre plus de 90 % pour les humains.
Critique de la Méthodologie d'Évaluation : Une démonstration que les métriques automatiques et les juges IA sont des substituts insuffisants à l'évaluation humaine pour des tâches avec des vérités de terrain subjectives, car ils ne parviennent pas à capturer la nuance et la diversité nécessaires du jugement d'expert.

5. Signification et Revendications

L'article affirme que pour les tâches professionnelles de haut niveau et ouvertes, l'évaluation humaine reste inégalée par les méthodes automatiques actuelles. Les auteurs soutiennent que le domaine doit dépasser les benchmarks fermés, susceptibles de contamination de données, et s'appuyer sur une évaluation rigoureuse centrée sur l'humain pour réellement évaluer les capacités des modèles génératifs dans des scénarios du monde réel.

L'étude conclut que bien que les modèles de pointe s'améliorent, ils ne sont pas encore prêts à remplacer les experts humains dans la prise de décision exécutive à enjeux élevés. De plus, le recours à des juges IA ou à des métriques déterministes pour évaluer de telles tâches conduit à des conclusions trompeuses sur les capacités des modèles. Les auteurs soulignent que la métrique du « Taux de Résolution », dérivée du jugement humain, fournit une mesure plus honnête et plus fiable du progrès dans ce domaine.

Limites Reconnues :

L'étude est gourmande en ressources, ce qui limite le nombre de réponses idéales rédigées par des experts (seulement 33 sur 413).
La reproductibilité est difficile en raison du coût et de la coordination requis pour l'évaluation humaine.
L'analyse se concentre sur des scénarios factuels et autonomes et n'aborde pas encore les tâches impliquant des données de faible qualité ou incertaines (par exemple, la santé).
Un seul LLM a été testé en tant que juge IA, bien que les auteurs estiment que les conclusions sont représentatives de la classe des juges IA.