Super Research: Answering Highly Complex Questions with Large Language Models through Super Deep and Super Wide Research

Ce papier présente « Super Research », une nouvelle tâche et un benchmark évaluant la capacité des modèles de langage à résoudre des questions de recherche extrêmement complexes grâce à une décomposition structurée, une recherche à la fois très large et très profonde, et un protocole d'audit rigoureux.

L'essentiel

Imaginez que vous demandez à un ami très intelligent de vous écrire un rapport sur un sujet très compliqué, comme « Comment optimiser la médecine pour guérir le cancer sans affaiblir le système immunitaire ? ».

Jusqu'à présent, les intelligences artificielles (les LLM) étaient comme des bibliothécaires rapides : elles pouvaient trouver des faits simples ou lire un seul livre en profondeur. Mais pour des questions de ce type, elles avaient tendance soit à s'enfermer dans un tunnel (lire trop peu de sources), soit à se noyer dans une mer d'informations (lire trop de sources sans comprendre le lien entre elles).

Voici ce que propose cette nouvelle étude, Super Research, expliquée simplement :

1. Le Problème : Le Dilemme du Tunnel vs. La Tempête

L'article compare trois façons de faire des recherches :

• La Recherche Profonde (Deep Research) : C'est comme un tunnelier. Il creuse très profondément dans un seul tunnel pour trouver un trésor. Le problème ? Il ne voit pas ce qui se passe à côté. Il risque de manquer des perspectives importantes.
• La Recherche Large (Wide Search) : C'est comme un balai géant qui balaie tout le sol d'une pièce. Il ramasse tout, mais il ne creuse jamais. Résultat : une montagne de papiers en vrac, sans ordre ni conclusion claire.
• Super Research (Le but de l'article) : C'est l'art de faire les deux en même temps. Imaginez un architecte-chef qui, au lieu de juste lire ou chercher, construit une maquette 3D géante de la vérité. Il doit :
  1. Décomposer le problème en mille petits morceaux (comme un plan de construction).
  2. Chercher partout (sur 1000 pages web !) pour avoir toutes les pièces du puzzle.
  3. Creuser chaque pièce pour vérifier si elle est vraie et comment elle s'assemble avec les autres.

2. La Solution : Un "Super-Détective" Autonome

Les chercheurs ont créé un nouveau défi (un "benchmark") avec 300 questions ultra-difficules, écrites par des experts. Pour y répondre, l'IA doit :

• Faire plus de 100 étapes de recherche (au lieu des 10 habituelles).
• Lire plus de 1000 pages web.
• Écrire un rapport de 50 pages (environ 100 000 mots !) avec des citations précises.

C'est comme demander à un détective de résoudre un meurtre en interrogeant 1000 témoins, en vérifiant chaque alibi, et en écrivant un livre entier sur la solution, sans jamais se tromper.

3. Le Test : Le "Juge Graphique"

Comment savoir si l'IA a bien travaillé ? Les chercheurs ne se contentent pas de demander à une autre IA : « Est-ce que c'est bien ? » (ce qui est souvent trompeur).

Ils utilisent une méthode de vérification par "Graphique de Vérité" :

• Imaginez un arbre généalogique de la vérité. Les experts humains ont construit l'arbre parfait avec les faits, les liens logiques et les conclusions.
• Le rapport de l'IA est projeté sur cet arbre.
• Le système vérifie : « Est-ce que l'IA a trouvé les bonnes branches ? », « Est-ce que ses liens logiques tiennent la route ? », « Est-ce qu'elle a regardé plusieurs sources ou juste une seule ? ».
• C'est comme vérifier un devoir d'élève en comparant chaque phrase à la correction officielle, mais en vérifiant aussi la logique de tout le raisonnement.

4. Les Résultats : Même les Géants Trébuchent

Les résultats sont surprenants et un peu inquiétants :

• Même les meilleures IA du monde (comme Gemini ou les modèles d'OpenAI) ont obtenu des scores très bas (moins de 30 % sur 100).
• Pourquoi ? Elles ont du mal à maintenir la cohérence sur une si longue période. Elles commencent bien, mais finissent par se perdre, inventer des faits (hallucinations) ou ne pas réussir à relier toutes les pièces du puzzle de manière logique.
• Certaines IA sont trop prudentes (elles disent "je ne sais pas" tout le temps), d'autres sont trop confiantes mais se trompent.

En Résumé

Super Research n'est pas juste un nouveau jeu pour IA. C'est un test de résistance ultime (un "stress test").

C'est comme demander à un athlète de faire un marathon tout en portant un sac de pierres et en résolvant des énigmes mathématiques. Si une IA réussit ce test, cela prouve qu'elle est capable de gérer n'importe quelle tâche complexe, même si elle échoue pour l'instant.

L'article nous dit : « Nous avons trouvé le plafond de verre des IA actuelles. Pour qu'elles deviennent de véritables assistants de recherche, elles doivent apprendre à penser plus large et plus profond, et à ne pas se perdre dans la masse d'informations. »

C'est un appel à l'aide pour les développeurs : « Vos IA sont intelligentes, mais elles ne sont pas encore assez robustes pour les défis du monde réel. »

Résumé technique

1. Problématique

Bien que les Grands Modèles de Langage (LLM) aient démontré des compétences en Recherche Profonde (Deep Research, exploration verticale) ou en Recherche Large (Wide Search, acquisition horizontale), leur capacité à résoudre des questions hautement complexes reste largement inexplorée. Ces questions nécessitent :

• Une planification à long horizon.
• La collecte massive de preuves (parfois plus de 1 000 pages web).
• La synthèse de sources hétérogènes et souvent contradictoires.
• La résolution d'incertitudes par des requêtes itératives.

Les benchmarks existants sont insuffisants car ils se concentrent sur des faits atomiques ou utilisent des évaluations par LLM (LLM-as-a-Judge) sujettes à des erreurs d'alignement et incapables de capturer la profondeur du raisonnement. Il manque un "plafond" (ceiling) pour tester les limites réelles des agents autonomes.

2. Méthodologie

L'article propose deux contributions méthodologiques majeures : le benchmark Super Research et un protocole d'évaluation basé sur des graphes.

A. Le Benchmark Super Research

Il s'agit d'une tâche de recherche autonome intégrant trois piliers :

1. Décomposition Structurée : Transformation d'une requête monolithique en un plan de recherche multicouche.
2. Recherche Super Large (Super Wide) : Exploration horizontale pour garantir une couverture totale des perspectives diverses.
3. Investigation Super Profonde (Super Deep) : Utilisation de requêtes de suivi itératives pour résoudre les incertitudes et vérifier la fiabilité des données.

Construction du Benchmark :

• Données : 300 questions rédigées par des experts dans 10 domaines spécialisés (Sciences, Santé, Finance, etc.).
• Échelle : Chaque tâche exige jusqu'à 100+ étapes de recherche et la synthèse de 1 000+ pages web.
• Processus de création : Une pipeline collaborative Homme-AI (Agents Planificateur, Chercheur, Résumé, Rédacteur) génère des rapports de référence ("Gold Standard") accompagnés d'un Graphes de Recherche (Research Graph) structuré. Ce graphe contient des faits atomiques, des insights clés et des conclusions globales, tous liés logiquement.

B. Protocole d'Évaluation (Graph-Anchored Auditing)

Pour éviter les biais des juges LLM, les auteurs proposent une évaluation ancrée sur le graphe de vérité, mesurant cinq dimensions :

1. Couverture et Compréhension ($R_{weighted}$) : Rappel pondéré par la profondeur hiérarchique (Faits atomiques vs Insights globaux) en projetant le rapport généré sur le graphe de vérité.
2. Cohérence Logique ($C_{logic}$) : Vérifie si les conclusions globales sont dérivées algorithmiquement de faits atomiques via des chaînes de citations non brisées.
3. Utilité du Rapport ($U_{qa}$) : Évaluation via un examen Q&R (Questions/Réponses) où le modèle doit répondre en se basant uniquement sur le contenu du rapport généré (sans accès externe).
4. Score d'Objectivité ($O_{bias}$) : Mesure la capacité du modèle à équilibrer les points de vue contradictoires (Thèse vs Antithèse) sans biais unilatéral.
5. Santé des Citations : Diagnostic de la dépendance à une source unique (Dominance de source et Monopolisation narrative).

3. Résultats Principaux

Les auteurs ont évalué 12 systèmes représentatifs (y compris Gemini Deep Research, Sonar, Tongyi, Kimi-k2, Grok, et des modèles de base comme Llama-3.3 et Qwen) sur ce benchmark.

• Performance Globale Faible : Même le système le plus performant (Gemini Deep Research) n'atteint qu'un score global de 28,62 %. Cela confirme que les requêtes "super complexes" restent une frontière largement non résolue.
• Goulot d'étranglement du Raisonnement : Il existe une corrélation positive entre la largeur de la recherche (couverture) et la cohérence logique, mais la simple collecte d'informations ne garantit pas une synthèse logique profonde. Les systèmes actuels peinent à passer de l'agrégation de surface à la synthèse multi-sauts.
• Compromis Utilité-Objectivité : Certains modèles (comme les versions o3/o4-mini d'OpenAI) affichent une objectivité élevée mais une utilité faible, tendant vers des résumés défensifs et génériques qui manquent de détails experts.
• Problèmes de Citations : De nombreux modèles souffrent d'une "dépendance structurelle", réutilisant un petit nombre de sources ou citant massivement une seule source pour soutenir tout le récit, ce qui pénalise leur score de santé des citations.
• Supériorité de la Méthode d'Évaluation : L'analyse de sensibilité montre que les métriques basées sur le graphe sont nettement plus réactives aux changements qualitifs (ajout/suppression de faits) que les juges LLM traditionnels, offrant une évaluation plus robuste et reproductible.

4. Contributions Clés

1. Définition de la Tâche "Super Research" : Introduction d'un nouveau paradigme exigeant simultanément une profondeur et une largeur extrêmes, dépassant les capacités actuelles des agents de recherche.
2. Benchmark Rigoureux : Création d'un ensemble de données de 300 tâches expertes avec des rapports de référence de haute qualité (jusqu'à 50 pages, 100k mots) et des graphes de connaissances structurés.
3. Protocole d'Évaluation Innovant : Développement d'un outil d'audit automatisé ancré sur un graphe de connaissances, permettant une vérification structurée des affirmations, un traçage des erreurs de raisonnement et une évaluation de l'objectivité et de la diversité des sources.
4. Analyse Comparative : Fourniture d'une analyse détaillée des forces et faiblesses des architectures actuelles (Agents de recherche profonds vs Agents natifs vs Baselines augmentées), révélant que l'intégration système est aussi cruciale que la puissance du modèle de base.

5. Signification et Impact

• Test de Contrainte (Stress Test) : Super Research sert de protocole de "plafond" pour évaluer la robustesse des LLM. La réussite dans cet environnement à haute entropie est un indicateur puissant de la compétence générale de recherche d'un modèle.
• Évolution des Agents Autonomes : L'étude met en évidence la nécessité de passer de la simple récupération d'information à la synthèse stratégique et à la gestion de l'incertitude, des compétences essentielles pour la découverte scientifique et la planification stratégique.
• Limites et Risques : L'article souligne le risque d'hallucinations cumulatives lors de la synthèse de preuves massives et la nécessité de développer des pratiques d'IA "verte" (Green AI) pour gérer les coûts computationnels de ces recherches à long horizon.

En résumé, ce travail établit une nouvelle norme pour l'évaluation des capacités de recherche autonome, démontrant que les modèles actuels, bien que performants sur des tâches standards, échouent encore à maîtriser la complexité extrême requise pour des investigations scientifiques et stratégiques de haut niveau.