Résumé technique : Évaluation de la recherche de données approfondie sur les LLM

Énoncé du problème

Les évaluations actuelles des modèles de langage larges agentic (Agentic LLMs) se concentrent principalement sur l'intelligence d'exécution — la capacité à accomplir des tâches prédéfinies ou à répondre à des requêtes utilisateur spécifiques. Ce cadre confond l'exécution avec l'intelligence investigatrice, qui est la capacité de décider de manière autonome de ce qui vaut la peine d'être exploré, de formuler des hypothèses et de déterminer quand mettre fin à une investigation. Dans la science des données réelle, les analystes commencent par des données structurées brutes sans questions prédéfinies, affinant itérativement les hypothèses au fur et à mesure que des motifs émergent. Les benchmarks existants pour la science des données (LLM4DS) reposent souvent sur des questions prédéfinies, des évaluations subjectives de la qualité des rapports ou des mécanismes de « LLM en tant que Juge » qui échouent à vérifier objectivement les affirmations factuelles par rapport aux données sources. De plus, les benchmarks actuels limitent généralement les interactions des agents à des horizons courts (des dizaines d'étapes), ne parvenant pas à capturer la complexité de l'exploration autonome à long horizon.

Méthodologie

Formalisation de la recherche de données approfondie (DDR)

Les auteurs formalisent la recherche de données approfondie (DDR) comme une tâche ouverte $I = \text{DDR}(\text{LLM}, D, T)$, où un agent reçoit une base de données structurée $D$ et un ensemble d'outils $T$ (SQL et Python) mais aucune question, aucun objectif ni aucune limite d'interaction prédéfinis.

• Entrée : Un prompt de démarrage minimal spécifiant une entité de tâche (par exemple, « Commencez l'analyse de l'utilisateur avec userid=2048 ») et des métadonnées de base de données.
• Processus : L'agent s'engage dans une boucle d'interaction de style ReAct $(r, t, o)$ sur plusieurs tours, où $r$ est le raisonnement, $t$ l'appel d'outil et $o$ l'observation. L'agent détermine de manière autonome quand arrêter l'exploration.
• Sortie : Deux types de perspectives :
  1. Perspective par message ($I_m$) : Interprétations incrémentales de chaque tour d'interaction.
  2. Perspective par trajectoire ($I_t$) : Un rapport complet synthétisant l'ensemble de l'historique d'exploration.

Construction de DDR-Bench

Pour évaluer la DDR, les auteurs introduisent DDR-Bench, un benchmark à grande échelle comprenant trois scénarios réels distincts :

1. MIMIC-IV : Une base de données de dossiers de santé électroniques (EHR) dé-identifiée. Les agents doivent reconstruire les trajectoires de soins des patients et extraire des insights cliniques à partir de tables structurées et de notes cliniques non structurées.
2. GLOBEM : Un ensemble de données de psychologie du sport et de l'exercice combinant des signaux de capteurs portables avec des données d'enquête. Les agents doivent identifier des motifs temporels et relier les données comportementales aux états psychologiques.
3. 10-K : Rapports financiers de sociétés publiques américaines, intégrant des états financiers XBRL structurés avec des divulgations textuelles non structurées. Les agents doivent synthétiser les conditions économiques et les tendances financières.

Cadre d'évaluation :

• Vérification basée sur des listes de contrôle : Au lieu d'un scoring subjectif, le benchmark utilise des listes de contrôle factuelles dérivées des composants non structurés des bases de données (par exemple, notes cliniques, réponses aux enquêtes, divulgations financières).
• Scoring objectif : Pour chaque entité de tâche, une liste de contrôle de faits vérifiables est générée. Un LLM en tant que vérificateur (GPT-5-mini) évalue si les perspectives générées par l'agent fournissent des preuves suffisantes pour soutenir chaque élément factuel.
• Analyse de la nouveauté : Pour pallier la limitation selon laquelle les listes de contrôle ne peuvent couvrir tous les insights valides, les auteurs effectuent des comparaisons par paires d'insights « nouveaux » (ceux non utilisés pour la vérification par liste de contrôle) afin de classer les modèles selon l'utilité de leurs découvertes non vérifiées.

Conception expérimentale

• Scaffold d'agent minimaliste : Le benchmark utilise un agent ReAct léger sans mémoire externe, modules de planification ou scaffold complexe, afin d'isoler les capacités intrinsèques du modèle.
• Analyse de l'échelle : L'étude examine la performance en fonction des tours d'interaction, de la consommation de tokens et du coût d'inférence.
• Études d'ablation : Les auteurs analysent l'impact des facteurs d'entraînement (échelle des paramètres, longueur du contexte, générations d'entraînement) et des modules d'agent (mémoire, budget de raisonnement) sur la performance.

Résultats clés

Performance globale

• Agence investigatrice limitée : Même les modèles de pointe peinent avec la DDR. Seul Claude 4.5 Sonnet atteint une précision moyenne de liste de contrôle supérieure à 40 % (47,73 % au total). Les autres modèles de premier plan (GPT-5.2, DeepSeek-V3.2, GLM-4.6) obtiennent des scores nettement inférieurs.
• Disparité dans les types d'insights : La performance varie entre les insights par message ($I_m$) et par trajectoire ($I_t$), suggérant que l'intégration du contexte global est un défi distinct de l'analyse incrémentale.
• Corrélation de nouveauté : Il existe une forte corrélation (Spearman $\rho > 0,72$) entre la précision de la liste de contrôle et l'utilité des insights nouveaux, validant que l'évaluation basée sur les listes de contrôle capture le signal dominant de la capacité du modèle.

Échelle et dynamiques

• Échelle d'interaction : La performance suit une courbe sigmoïde. Les modèles à haute performance (par exemple, Claude, GLM) retardent souvent l'amélioration rapide, exhibant une dynamique « planifier puis agir » via une planification implicite plutôt que des prompts explicites.
• Échelle des tokens et des coûts : Les gains de performance sont disproportionnément entraînés par des tokens de fin de phase à haute valeur (requêtes profondes et ciblées) plutôt que par une exploration large précoce.
• Motifs d'exploration : Les modèles réussis exhibent un régime d'exploration équilibré, maintenant une couverture élevée de la base de données avec une faible entropie (accès focalisé). Les modèles plus faibles explorent soit trop étroitement, soit distribuent leur attention de manière trop diffuse.
• Auto-termination : Les modèles plus forts démontrent une confiance plus élevée dans l'auto-termination, tandis que les modèles plus faibles montrent une confiance fluctuante, s'arrêtant souvent prématurément ou bouclant.

Analyse de l'entraînement et des modules

• L'échelle ne suffit pas : L'augmentation de la taille des paramètres (par exemple, au sein de la famille Qwen) ne produit que des gains marginaux (<3 % d'amélioration pour une augmentation de 10 fois des paramètres) sans entraînement agentique spécifique.
• La stratégie d'entraînement compte : Les modèles avec des stratégies d'entraînement « agent-first » (Qwen3 et Qwen3-Next) surpassent significativement leurs prédécesseurs, même avec moins de paramètres activés. Cela suggère que l'entraînement agentique systématique (pré-entraînement et apprentissage par renforcement) est plus critique que l'échelle ou la longueur du contexte.
• Modules d'agent : L'ajout de mémoire externe ou de modules de planification complexes dégrade souvent la performance par rapport à la référence ReAct minimale, indiquant que les modèles actuels bénéficient davantage des capacités intrinsèques que du scaffold externe.

Modes d'échec et hallucinations

• Échec principal : 58 % des erreurs proviennent d'une exploration insuffisante (manque de largeur ou de profondeur), souvent due à une auto-termination prématurée.
• Hallucinations : Les taux d'hallucination sont faibles (<5 % pour la plupart des modèles) et ne montrent aucune corrélation significative avec la précision. Cela suggère que la contamination des données n'est pas un moteur principal de l'inflation de la performance dans ce contexte.

Importance et revendications

L'article revendique l'établissement d'un cadre rigoureux pour évaluer l'intelligence investigatrice, la distinguant de l'intelligence d'exécution. Ses contributions principales sont :

1. Formalisation de la DDR : Définition d'un cadre ouvert où les agents doivent explorer de manière autonome des données structurées sans objectifs prédéfinis.
2. DDR-Bench : Fourniture du premier benchmark à grande échelle basé sur des listes de contrôle permettant une évaluation vérifiable et objective de l'exploration de données à long horizon.
3. Insights empiriques : Révélation que les modèles de pointe actuels, bien qu'exhibant une agence émergente, sont loin de maîtriser la recherche de données approfondie. La transition vers une intelligence investigatrice efficace repose moins sur le scaffold externe ou le simple échelonnement des paramètres que sur des stratégies intrinsèques développées grâce à un entraînement axé sur l'agent.

Les auteurs concluent que le domaine doit dépasser l'alignement requête-réponse pour se tourner vers des paradigmes d'entraînement qui cultivent l'autonomie de bout en bout, permettant aux agents de définir proactivement des objectifs et de dériver des insights utiles à partir de données à grande échelle.