🤖 AI

Do LLMs Know What to Ask and When? Evaluating Multi-Turn Information Seeking

Cet article introduit MT-InfoSeek, une suite d'évaluation contrôlée démontrant que, bien que les grands modèles de langage puissent reconnaître la nécessité d'informations supplémentaires dans des tâches multi-tours sous-spécifiées, ils sous-estiment systématiquement la quantité requise, ne parviennent pas à identifier des requêtes minimales suffisantes et éprouvent des difficultés avec l'ordonnancement des requêtes, révélant ainsi un écart distinct entre leurs capacités de recherche d'information et les mesures d'évaluation actuelles.

Auteurs originaux : Yepeng Huang, Jiawen Zhang, Michelle Dai, Xiaorui Su, Shanghua Gao, Zi Wang, Marinka Zitnik

Publié 2026-08-18

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yepeng Huang, Jiawen Zhang, Michelle Dai, Xiaorui Su, Shanghua Gao, Zi Wang, Marinka Zitnik

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un médecin assis en face d'un patient qui dit seulement : « J'ai une douleur ». Pour établir un diagnostic, le médecin ne peut pas deviner ; il doit poser des questions spécifiques pour combler les détails manquants. La douleur est-elle vive ou sourde ? Où est-elle située exactement ? Depuis combien de temps dure-t-elle ? Dans le monde de l'intelligence artificielle, les grands modèles de langage sont souvent testés sur leur capacité à répondre à des questions, mais ils sont rarement testés sur leur capacité à savoir quand ils ne disposent pas de suffisamment d'informations pour répondre du tout. C'est une lacune critique. Une IA capable devrait reconnaître quand une situation est incomplète, déterminer exactement ce qui manque, et le demander avant de proposer une conclusion. Si elle devine trop tôt, elle risque d'être avec certitude erronée.

Des chercheurs de l'Université de Harvard et de Google DeepMind ont conçu une nouvelle façon de tester cette compétence spécifique. Ils ont créé un environnement contrôlé où une intelligence artificielle se voit donner un puzzle auquel il manque des pièces. Le puzzle pourrait être un problème mathématique avec un nombre caché, une énigme logique avec un fait manquant, ou un scénario médical avec un symptôme non mentionné. L'objectif pour l'IA n'est pas seulement de résoudre le puzzle, mais de naviguer dans le processus de poser les bonnes questions dans le bon ordre jusqu'à ce que la réponse devienne claire. Les chercheurs voulaient voir si ces modèles pouvaient agir comme un enquêteur expérimenté qui sait exactement quelles preuves sont nécessaires, ou s'ils se précipiteraient vers une conclusion avec des indices insuffisants.

L'équipe a développé une suite de tests appelée MT-INFOSEK, qui contient plus de 5 000 problèmes distincts répartis dans cinq domaines différents : les mathématiques, la logique, la biologie, la médecine et la culture générale. Dans ces tests, l'IA reçoit un point de départ délibérément incomplet. Par exemple, dans un test médical, l'IA peut savoir qu'un patient souffre de douleurs pelviennes, mais ne pas savoir depuis combien de temps la douleur dure ou si la patiente est enceinte. L'IA doit ensuite engager une conversation, en posant une question à la fois à un « oracle » — un système qui fournit la véritable réponse à la question. L'IA doit décider quand arrêter de poser des questions et donner sa réponse finale. Les chercheurs ont mesuré le succès non seulement par la véracité de la réponse finale, mais aussi par la capacité de l'IA à avoir réellement recueilli suffisamment d'informations pour rendre cette réponse certaine.

Les résultats ont révélé une faiblesse significative des modèles actuels. Bien que les systèmes d'IA aient généralement reconnu qu'il leur manquait des informations, ils ont systématiquement sous-estimé la quantité d'informations nécessaires. Lorsque les chercheurs ont créé des problèmes nécessitant deux pièces d'information manquantes pour être résolus, les modèles ont souvent supposé qu'une seule pièce manquait. Dans les énigmes logiques, les modèles étaient environ quatre fois plus susceptibles de sous-estimer l'information manquante que de la surestimer. Ils éprouvaient également des difficultés à identifier les questions spécifiques qui résoudraient réellement le problème. Même lorsque les chercheurs indiquaient aux modèles exactement combien de questions ils devaient poser, les modèles échouaient souvent à choisir le bon ensemble de questions. Ils posaient des questions non pertinentes ou arrêtaient de poser des questions trop tôt, laissant le puzzle non résolu.

L'étude a également examiné l'ordre dans lequel les questions étaient posées. Dans des domaines comme la médecine, la séquence de l'information est cruciale. Un médecin doit déterminer si une douleur est aiguë ou chronique avant de décider quels tests prescrire ensuite. Les chercheurs ont constaté que lorsque les modèles d'IA posaient les bonnes questions mais dans le mauvais ordre, leur précision finale chutait considérablement. Cela suggère que savoir quoi demander n'est que la moitié de la bataille ; savoir quand le demander est tout aussi important. De plus, les chercheurs ont découvert qu'un modèle pouvait se rattraper après une mauvaise première question. Si un modèle posait une question inutile au début mais continuait à poser des questions pertinentes lors des tours suivants, il pouvait tout de même parvenir à la solution correcte. Cependant, de nombreux modèles ne persistaient pas, s'arrêtant souvent après quelques tours même s'ils n'avaient pas recueilli suffisamment de preuves.

La découverte la plus surprenante fut peut-être que la capacité d'un modèle à poser de bonnes questions est distincte de sa capacité à donner une bonne réponse. Les chercheurs ont testé cela en prenant une conversation où l'IA avait recueilli toutes les informations nécessaires et en demandant à un autre modèle de résoudre le puzzle en se basant uniquement sur cette conversation. Ils ont découvert que certains modèles pouvaient résoudre le puzzle parfaitement lorsqu'on leur donnait l'ensemble des faits, même s'ils avaient échoué à recueillir ces faits eux-mêmes. Cela signifie que l'échec ne résidait pas dans le raisonnement ou les connaissances du modèle, mais dans le processus de recherche d'informations. Les modèles n'étaient pas mauvais pour résoudre des problèmes ; ils étaient mauvais pour savoir ce qu'ils ne savaient pas.

Les chercheurs ont conclu que les évaluations actuelles de l'intelligence artificielle sont incomplètes. Mesurer uniquement la précision finale de la réponse d'un modèle cache le fait que le modèle peut être parvenu à cette réponse en devinant ou en ignorant les informations manquantes. Pour comprendre réellement comment une IA interagit avec le monde, nous devons mesurer sa capacité à reconnaître l'incertitude, à identifier ce qui manque et à acquérir cette information manquante étape par étape. Ce nouveau cadre offre un moyen de faire précisément cela, montrant que bien que les modèles d'aujourd'hui soient puissants, ils manquent encore du sens intuitif d'un expert humain qui sait quand cesser de deviner et commencer à questionner.

Résumé technique : Les LLM savent-ils quoi demander et quand ? Évaluation de la recherche d'informations multi-tours

1. Définition du problème

L'article traite de la capacité des grands modèles de langage (LLM) à opérer sous une condition de sous-spécification lors d'interactions multi-tours. Contra�то l'ambiguïté (où l'intention de l'utilisateur est floue), la sous-spécification survient lorsqu'une tâche de l'utilisateur est clairement définie mais manque d'informations suffisantes pour déterminer une réponse unique. Un modèle capable doit reconnaître que son contexte est insuffisant, identifier l'information manquante spécifique requise pour résoudre la cible, l'acquérir par des requêtes séquentielles, et ne répondre qu'une fois que l'information acquise détermine de manière unique la réponse.

Les méthodes d'évaluation actuelles confondent souvent la capacité d'un modèle à générer une réponse correcte avec sa capacité à rechercher de l'information. Le succès final de la tâche peut être atteint par devinette ou en s'appuyant sur des connaissances préalables plutôt que par une véritable acquisition d'informations. Les auteurs formalisent ce défi comme la résolution d'un CSP (Problème de Satisfaction de Contraintes) $k$ -sous-spécifié, où $k$ représente le nombre de variables conjointement requises pour déterminer la variable cible.

2. Méthodologie : Cadre MT-INFOSEEK

Les auteurs introduisent MT-INFOSEEK, une suite d'évaluation contrôlée comprenant 5 251 problèmes et 9 006 instances de tâches réparties dans cinq domaines : les mathématiques, la logique, la biologie, la médecine et la culture générale (via un jeu de 20 questions).

2.1 Formalisation

Un problème est défini comme un tuple $P = \langle X, D, C, A, Y \rangle$ :

$X$ : Ensemble de variables avec des domaines $D$ .
$C$ : Contraintes logiques.
$A$ : Affectation partielle observée (contexte initial).
$Y$ : Variable cible.
Sous-spécification : Le problème est sous-spécifié si $Y$ n'est pas déterminé de manière unique par $A$ et $C$ .
Ensemble suffisant minimal de $k$ variables ( $k$ -MSS) : Un sous-ensemble de variables non assignées $S$ de taille $k$ tel que la connaissance de leurs valeurs détermine de manière unique $Y$ , et qu'aucun sous-ensemble plus petit ne suffit.
Instance de tâche : Une réalisation spécifique $(P, y)$ où $y$ est la valeur réelle cachée de $Y$ .

2.2 Protocoles d'évaluation

Le cadre évalue les modèles selon trois axes, séparant la recherche d'information de la génération de réponses :

$k$ -Prédiction : Étant donné $P$ , le modèle prédit le degré de sous-spécification ( $\hat{k}$ ).
Identification des variables manquantes : Étant donné $P$ (et optionnellement le vrai $k$ ), le modèle sélectionne un ensemble de variables minimal et suffisant.
Résolution de tâche séquentielle : Le modèle interagit avec un oracle sur plusieurs tours, interrogeant une variable à la fois, observant la valeur, et décidant quand s'arrêter et répondre.

2.3 Jeux de données

Domaines structurés (Logic-Q-MT, GSME-Q-MT/Ext, GeneReg-MT, ClinGuide-MT) : Les variables et les contraintes sont prédéfinies. Le modèle choisit parmi un ensemble fini de variables interrogeables.
- Logic-Q-MT : Étend les problèmes de raisonnement logique aux contextes multi-tours.
- GSME-Q-MT/Ext : Problèmes de mathématiques de niveau primaire avec des quantités masquées ; la version Ext présente des structures de dépendance plus profondes.
- GeneReg-MT : Réseaux de régulation génique booléens où le modèle doit identifier les états initiaux pour déterminer les états stationnaires.
- ClinGuide-MT : Arbres de décision diagnostique où l'ordre des requêtes importe en raison des dépendances conditionnelles.
Domaine non structuré (20Q) : Le modèle génère des questions libres de type oui/non pour déduire une cible cachée à partir d'un ensemble de candidats.

2.4 Métriques

De manière cruciale, l'article introduit la Suffisance Finale comme métrique primaire. Elle mesure si l'information acquise (l'ensemble des variables interrogées) détermine de manière unique la cible, indépendamment de la correction de la réponse finale du modèle. Cela sépare la capacité à chercher de l'information de la capacité à raisonner pour obtenir une réponse. Les autres métriques incluent la couverture des requêtes, la correction de l'ordre (dans ClinGuide-MT) et l'informativité des questions (Gain d'Information Attendu Normalisé dans 20Q).

3. Résultats clés

L'évaluation couvre des modèles LLM à poids ouverts et fermés (ex: GPT-5, Gemini-3, Qwen3, gpt-oss).

3.1 Sous-estimation de l'information manquante

Les modèles reconnaissent généralement que le contexte est insuffisant (prédisant rarement $k=0$ pour les problèmes sous-spécifiés) mais sous-estiment systématiquement le degré de sous-spécification.
La précision chute brutalement à mesure que $k$ augmente. Spécifiquement, dans les problèmes logiques (Logic-Q-MT) à $k = 2$ , les modèles sous-prédisent le degré d'information manquante quatre fois plus souvent qu'ils ne le sur-prédisent.

3.2 Échec de l'identification des ensembles suffisants minimaux

Même lorsqu'on lui fournit le vrai $k$ , le modèle peine à identifier les variables spécifiques qui forment un ensemble suffisant minimal. La précision de l'ensemble exact est faible (inférieure à 0,4 pour $k=2$ ) et diminue davantage pour des $k$ plus élevés.
Estimer combien d'informations manquent n'implique pas de savoir quelles informations sont nécessaires.

3.3 Dynamiques d'interaction et récupération

Budget de tours : Allouer les requêtes sur plus de tours améliore généralement la suffisance finale par rapport à l'émission de toutes les requêtes en un seul tour, à condition que le modèle ne s'arrête pas prématurément.
Récupération : Une requête au premier tour qui manque l'ensemble suffisant minimal est souvent récupérable. Dans les interactions où la première requête est incorrecte mais où le modèle continue de chercher des variables pertinentes, la suffisance est atteinte à des taux comparables à ceux des requêtes initiales correctes.
Performance des tours tardifs : Pour les problèmes hautement sous-spécifiés ( $k \ge 3$ ), le succès dépend moins de la correction des premiers tours que de l'acquisition soutenue d'informations et de la correction des requêtes en fin de parcours.

3.4 L'importance de l'ordre et de l'intégration

Dépendances d'ordre : Dans les tâches cliniques (ClinGuide-MT), interroger les bonnes variables dans le mauvais ordre réduit considérablement la précision finale, même si toute l'information nécessaire est finalement acquise.
Intégration de l'évidence : Dans 20Q, les modèles ayant une informativité de question similaire (Gain d'Information Attendu) présentent des différences substantielles de précision finale. Cela indique que le succès ne dépend pas seulement de poser de bonnes questions, mais de l'intégration efficace des réponses pour réduire l'espace des candidats.
Réduction de l'entropie : Bien que les modèles réduisent généralement l'incertitude, ils plafonnent souvent lors des tours ultérieurs, échouant à distinguer des candidats restants très proches.

4. Contributions et importance

L'article apporte trois contributions principales :

Formalisation : Il formalise la recherche d'informations multi-tours comme la résolution de CSP $k$ -sous-spécifiés, fournissant une vérité terrain pour les variables nécessaires et le point de suffisance.
Benchmark (MT-INFOSEEK) : Il introduit une suite d'évaluation complète couvrant les mathématiques, la logique, la biologie, la médecine et la culture générale, permettant une variation contrôlée du degré de sous-spécification.
Méthodologie d'évaluation : Il propose la Suffisance Finale comme métrique pour séparer la capacité à acquérir de l'information de la capacité à générer des réponses.

Importance :
Les auteurs soutiennent que les évaluations actuelles des LLM, qui reposent sur la précision finale, ne parviennent pas à capturer la compétence interactive. Un modèle peut répondre correctement par devinette ou en utilisant des acquis préalirs sans jamais identifier l'information manquante. En mesurant si l'information acquise détermine réellement la cible, MT-INFOSEEK révèle que les modèles actuels :

Sous-estiment la complexité de l'information manquante.
Échouent à planifier des stratégies de requête minimales.
S'arrêtent souvent avant d'avoir acquis suffisamment d'informations.
Peinent avec les dépendances d'ordre et l'intégration des preuves.

L'article conclut que la capacité à chercher de l'information sur plusieurs tours est une capacité distincte de la génération de réponses et n'est pas adéquatement mesurée par les benchmarks existants. Ce travail fournit un cadre de diagnostic pour comprendre où les modèles échouent dans les contextes interactifs, suggérant que les améliorations futures doivent se concentrer sur la reconnaissance de la sous-spécification et la planification de l'acquisition séquentielle d'informations, et non seulement sur les capacités de raisonnement.