Résumé Technique : HypoArena – Évaluer la Découverte Prospective d'Hypothèses dans les LLM

1. Définition du Problème : La Lacune dans le Raisonnement Investigatif

Les benchmarks actuels des Grands Modèles de Langage (LLM) évaluent principalement le Questionnement Réactif (QA), où les modèles extraient des réponses à des questions bien posées ou complètent des tâches prédéfinies. Cependant, la découverte réelle dans la recherche scientifique, l'investigation d'accidents ou l'analyse financière ne commence pas par une question claire, mais par un « chaos du monde réel » : un enchevêtrement d'observations anormales, de faits fragmentés et de dossiers incomplets.

La capacité critique manquante aux évaluations actuelles est la Découverte Prospective d'Hypothèses (PHD - Prospective Hypothesis Discovery). La PHD exige qu'un modèle construise de manière autonome un espace d'hypothèses ancré, discriminatif et testable à partir de preuves non concluantes avant qu'une conclusion ne soit établie. Les benchmarks existants échouent à mesurer cela car :

• Limites des Données : Les documents d'experts (articles, rapports) sont rédigés post-conclusion, contenant des liens causaux explicites et des affirmations finales qui réduisent la PHD à une simple reformulation.
• Limites des Métriques : Les sorties de haute qualité pour la PHD sont des espaces d'hypothèses ouverts, et non une réponse de référence unique. Les métriques traditionnelles (correspondance exacte ou notation selon une grille absolue) sous-estiment les hypothèses valides qui sortent d'un « ensemble d'or » ou peinent à discriminer des sorties ouvertes de qualité de surface similaire.

2. Méthodologie : Le Cadre HypoArena

Les auteurs introduisent HypoArena, un benchmark et un cadre d'évaluation conçu pour isoler et mesurer la PHD. Le cadre se compose de deux éléments centraux : HypoData (le jeu de données) et HypoEval (le protocole d'évaluation).

2.1 HypoData : Régression de Contexte Rétrospective

Pour créer des cas de test valides sans fuite de réponses, les auteurs proposent un pipeline scalable Forge–Audit utilisant la Régression de Contexte Rétrospective.

• Matériau Source : 988 cas sont sélectionnés à partir de documents d'experts dans six domaines : Sciences Biomédicales, Apprentissage Automatique (Machine Learning), Sciences Sociales, Analyse Financière, Opérations IT et Enquêtes de Sécurité.
• Construction du Contexte (Le « Forge ») : Le pipeline reconstruit un contexte « pré-conclusion » ($C$) à partir des documents sources. Il préserve les substrats factuels (horodatages, observations, enregistrements fragmentés) tout en filtrant strictement les conclusions explicites, les hypothèses cibles et les attributions causales rétrospectives.
  • Domaines Scientifiques : Utilise la fusion de documents de littérature pré-découverte pour synthétiser un substrat factuel.
  • Domaines Analytiques : Emploie la « Dé-conclusion Structurelle » pour supprimer les verdicts d'experts tout en conservant les faits granulaires.
• Construction de la Référence : Cachée au modèle lors de la génération, la référence contient les paires hypothèse-preuve ($H, E$) dérivées de la source, servant de vérité de terrain pour la vérification et le calibrage.
• Boucle d'Audit : Un Agent d'Audit automatisé valide les candidats selon trois contraintes : Fuite (aucune information du côté de la réponse dans le contexte), Fidélité (l'hypothèse est soutenue par la source) et Supportabilité (les preuves fondent l'hypothèse). Un audit de qualité humain a confirmé un taux de réussite de 92 % sur les cas échantillonnés.

2.2 HypoEval : Évaluation de type Arène

Reconnaissant que plusieurs hypothèses valides peuvent exister pour un même contexte, HypoEval s'éloigne de la correspondance avec une référence unique.

• Métrique Primaire (Protocole d'Arène) : Les modèles s'affrontent dans des duels par paires. Un LLM-juge compare deux ensembles d'hypothèses générés à partir du même contexte.
  • Dimensions de Jugement : Six dimensions sont évaluées : Ancrage Contextuel, Insight Inférentiel, Justification Évidentielle, Largeur de l'Espace d'Hypothèses, Distinction Directionnelle, et Utilité Analytique.
  • Agrégation : Les verdicts (allant de $A \gg B$ à $B \gg A$) sont agrégés à l'aide du modèle Bradley–Terry–Davidson (BTD) pour produire un classement mondial robuste, modélisant explicitement les égalités.
• Métrique Secondaire (Notation par Grille) : Une piste de notation sur une échelle de 1 à 5 est conservée pour le profilage diagnostique, permettant l'analyse de forces et faiblesses spécifiques (ex: un fort ancrage mais un faible insight).

3. Configuration Expérimentale et Résultats

Les auteurs ont évalué 15 LLM de pointe (incluant claude-sonnet-4.6, gpt-5.4, kimi-k2.6, et d'autres) via deux modes : Mode Baseline (génération directe) et Mode Agent (utilisant une bibliothèque de 12 compétences analytiques structurées comme l'Analyse d'Hypothèses Compétitives et l'Analyse Chronologique).

3.1 Principales Conclusions

• Stratification des Capacités : L'évaluation en arène a révélé une claire stratification des performances, avec un écart de plus de 360 points BTD entre les modèles. Les modèles de haut niveau (claude-sonnet-4.6, claude-opus-4.6, gpt-5.4) ont nettement surclassé les autres.
• Résolution de l'Arène vs Grille :
  • Compression des Scores : Les scores de la grille ont présenté des effets de plafond extrêmes, avec 95–98 % des évaluations se situant à 4.0/5.0 ou plus, compressant les différences entre modèles dans une bande étroite.
  • Pouvoir Discriminant : Le protocole d'arène a fourni une séparation à haute résolution (écart de 345–490 points par domaine), résolvant les différences fines que la notation par grille manquait.
  • Instabilité du Classement : Un reclassement dépendant du protocole a été observé ; des modèles classés haut par les scores de grille ont souvent chuté dans les classements d'arène, et vice versa.
• Effets des Compétences Analytiques dépendants du Modèle : L'utilisation de compétences analytiques structurées (Mode Agent) n'a pas produit de gains uniformes. Les améliorations étaient hétérogènes et dépendantes du modèle ; par exemple, kimi-k2.5 a gagné environ 88 points, tandis que claude-opus-4.6 a décliné d'environ 60 points.
• Modes de Défaillance : L'analyse qualitative a identifié la compression de candidat comme un mode de défaillance clé, où les modèles génèrent en interne des chemins de raisonnement diversifiés mais les compressent en des soumissions finales trop étroites.
• Alignement : Les classements de l'arène ont montré un fort alignement avec les jugements des experts humains (Kendall's $\tau = 0.90$) et ont corrélé avec des signaux externes (résultats d'acceptation ICLR 2026 pour le sous-ensemble ML), validant la fidélité du protocole.

4. Contributions et Signification

L'article revendique les contributions suivantes :

1. Définition de la Tâche et Benchmark : La formalisation de la Découverte Prospective d'Hypothèses (PHD) et l'introduction d'HypoArena, un benchmark de 988 cas répartis sur six domaines divers.
2. Construction de HypoData : Une méthode scalable Forge–Audit utilisant la Régression de Contexte Rétrospective pour reconstruire des contextes pré-conclusion à partir de documents d'experts terminés, résolvant le problème de fuite de données inhérent à l'utilisation de la littérature scientifique brute.
3. Cadre HypoEval : Un système d'évaluation à double voie combinant le classement par arène par paires (via l'agrégation Bradley–Terry–Davidson) avec la notation par grille pour le diagnostic. Cela répond aux limites de la correspondance de référence et de la notation absolue dans les tâches de découverte ouvertes.
4. Insights Empiriques : Une analyse systématique de 15 LLM démontrant que l'évaluation en arène offre une séparation de modèles plus fine que les grilles traditionnelles et que les compétences analytiques structurées agissent comme des interventions dépendantes du modèle plutôt que comme des amplificateurs de performance universels.

Signification : Les auteurs soutiennent que la PHD représente une compétence distincte et largement non mesurée des LLM, essentielle pour le raisonnement investigatif du monde réel. En traitant la PHD comme une cible spécifique d'évaluation, HypoArena offre une évaluation plus réaliste et rigoureuse de la capacité d'un modèle à naviguer dans le « chaos du monde réel » et à proposer des directions futures exploitables et ancrées, dépassant le paradigme actuel du questionnement réactif.