🤖 AI

Do LLMs Know What to Ask and When? Evaluating Multi-Turn Information Seeking

Este artigo apresenta o MT-InfoSeek, um conjunto de avaliação controlado que demonstra que, embora os grandes modelos de linguagem consigam reconhecer a necessidade de informações adicionais em tarefas de múltiplos turnos subespecificadas, eles subestimam sistematicamente a quantidade necessária, falham em identificar consultas mínimas suficientes e têm dificuldade com a ordenação de consultas, revelando uma lacuna distinta entre suas capacidades de busca de informação e as métricas de avaliação atuais.

Autores originais: Yepeng Huang, Jiawen Zhang, Michelle Dai, Xiaorui Su, Shanghua Gao, Zi Wang, Marinka Zitnik

Publicado 2026-08-18

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yepeng Huang, Jiawen Zhang, Michelle Dai, Xiaorui Su, Shanghua Gao, Zi Wang, Marinka Zitnik

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um médico sentado à frente de um paciente que diz apenas: "Tenho uma dor". Para fazer um diagnóstico, o médico não pode adivinhar; ele deve fazer perguntas específicas para preencher os detalhes ausentes. A dor é aguda ou constante? Onde exatamente ela se localiza? Há quanto tempo ela dura? No mundo da inteligência artificial, os grandes modelos de linguagem são frequentemente testados em sua capacidade de responder a perguntas, mas raramente são testados em sua capacidade de saber quando não possuem informações suficientes para responder de forma alguma. Esta é uma lacuna crítica. Uma IA capaz deve reconhecer quando uma situação está incompleta, descobrir exatamente o que está faltando e solicitar essa informação antes de oferecer uma conclusão. Se ela adivinhar cedo demais, corre o risco de estar confiantemente errada.

Pesquisadores da Universidade de Harvard e do Google DeepMind criaram uma nova maneira de testar essa habilidade específica. Eles criaram um ambiente controlado onde uma inteligência artificial recebe um quebra-cabeça com peças faltando. O quebra-cabeça poderia ser um problema matemático com um número oculto, um enigma de lógica com um fato ausente ou um cenário médico com um sintoma não perguntado. O objetivo para a IA não é apenas resolver o quebra-cabeça, mas navegar pelo processo de fazer as perguntas certas na ordem correta até que a resposta se torne clara. Os pesquisadores queriam ver se esses modelos poderiam agir como um investigador habilidoso que sabe exatamente quais evidências são necessárias, ou se eles correriam para uma conclusão com pistas insuficientes.

A equipe desenvolveu um conjunto de testes chamado MT-INFOSEEK, que contém mais de 5.000 problemas distintos em cinco campos diferentes: matemática, lógica, biologia, medicina e conhecimentos gerais. Nestes testes, a IA recebe um ponto de partida deliberadamente incompleto. Por exemplo, em um teste médico, a IA pode saber que o paciente tem dor pélvica, mas não saber há quanto tempo a dor dura ou se o paciente está grávida. A IA deve então iniciar uma conversa, fazendo uma pergunta por vez a um "oráculo" — um sistema que fornece a resposta verdadeira para a pergunta. A IA deve decidir quando parar de perguntar e dar sua resposta final. Os pesquisadores mediram o sucesso não apenas pelo fato de a resposta final estar correta, mas se a IA realmente reuniu informações suficientes para tornar aquela resposta certa.

Os resultados revelaram uma fraqueza significativa nos modelos atuais. Embora os sistemas de IA geralmente reconhecessem que lhes faltava informação, eles consistentemente subestimavam o quanto precisavam. Quando os pesquisadores criaram problemas que exigiam duas peças de informação ausentes para serem resolvidos, os modelos frequentemente supunham que apenas uma peça estava faltando. Em enigmas de lógica, os modelos foram cerca de quatro vezes mais propensos a subestimar a informação ausente do que a superestimá-la. Eles também tiveram dificuldade em identificar as perguntas específicas que realmente resolveriam o problema. Mesmo quando os pesquisadores diziam aos modelos exatamente quantas perguntas eles precisavam fazer, os modelos frequentemente falhavam em escolher o conjunto certo de perguntas. Eles faziam perguntas irrelevantes ou paravam de perguntar cedo demais, deixando o quebra-cabeça sem solução.

O estudo também analisou a ordem em que as perguntas eram feitas. Em campos como a medicina, a sequência de informações é importante. Um médico deve determinar se uma dor é aguda ou crônica antes de decidir quais exames solicitar em seguida. Os pesquisadores descobriram que, quando a IA fazia as perguntas certas, mas na ordem errada, sua precisão final caía significativamente. Isso sugere que saber o que perguntar é apenas metade da batalha; saber quando perguntar é igualmente importante. Além disso, os pesquisadores descobriram que um modelo pode se recuperar de uma primeira pergunta ruim. Se um modelo fizesse uma pergunta inútil no início, mas continuasse a fazer perguntas relevantes nas rodadas seguintes, ele ainda poderia chegar à solução correta. No entanto, muitos modelos falharam em persistir, muitas vezes parando após algumas rodadas mesmo sem terem reunido evidências suficientes.

Talvez a descoberta mais surpreendente tenha sido que a capacidade de um modelo de fazer boas perguntas é separada de sua capacidade de dar uma boa resposta. Os pesquisadores testaram isso ao pegar uma conversa onde a IA havia reunido todas as informações necessárias e, em seguida, pedir a um modelo diferente para resolver o quebra-cabeça baseando-se apenas naquela conversa. Eles descobriram que alguns modelos podiam resolver o quebra-cabeça perfeitamente quando recebiam o conjunto completo de fatos, mesmo que tivessem falhado em reunir esses fatos por conta própria. Isso significa que a falha não estava no raciocínio ou no conhecimento do modelo, mas no processo de busca da informação. Os modelos não eram ruins em resolver problemas; eles eram ruins em saber o que não sabiam.

Os pesquisadores concluíram que as avaliações atuais da inteligência artificial estão incompletas. Medir apenas a precisão final da resposta de um modelo esconde o fato de que o modelo pode ter chegado a essa resposta por meio de suposições ou ignorando informações ausentes. Para entender verdadeiramente quão bem uma IA interage com o mundo, devemos medir sua capacidade de reconhecer a incerteza, identificar o que falta e adquirir essa informação faltante passo a passo. Este novo framework oferece uma maneira de fazer exatamente isso, mostrando que, embora os modelos de hoje sejam poderosos, eles ainda carecem do senso intuitivo de um especialista humano que sabe quando parar de adivinhar e começar a perguntar.

Resumo Técnico: Os LLMs Sabem o Que Perguntar e Quando? Avaliando a Busca de Informação em Múltiplos Turnos

1. Definição do Problema

O artigo aborda a capacidade dos Grandes Modelos de Linguagem (LLMs) de operar sob subespecificação em interações de múltiplos turnos. Diferente da ambiguidade (onde a intenção do usuário é incerta), a subespecificação ocorre quando a tarefa de um usuário está claramente definida, mas carece de informações suficientes para determinar uma resposta única. Um modelo capaz deve reconhecer que seu contexto é insuficiente, identificar a informação específica ausente necessária para resolver o alvo, adquiri-la por meio de consultas sequenciais e apenas responder quando a informação adquirida determinar univocamente a resposta.

Os métodos de avaliação atuais frequentemente confundem a capacidade de um modelo de gerar uma resposta correta com sua capacidade de buscar informações. O sucesso final da tarefa pode ser alcançado através de suposições ou dependendo de conhecimento prévio, em vez de uma genuína aquisição de informação. Os autores formalizam este desafio como a resolução de um Problema de Satisfação de Restrições (CSP) $k$ -subespecificado, onde $k$ representa o número de variáveis conjuntamente necessárias para determinar a variável alvo.

2. Metodologia: Estrutura MT-INFOSEEK

Os autores introduzem o MT-INFOSEEK, uma suíte de avaliação controlada composta por 5.251 problemas e 9.006 instâncias de tarefas em cinco domínios: matemática, lógica, biologia, medicina e conhecimento geral (via o jogo 20 Perguntas).

2.1 Formalização

Um problema é definido como uma tupla $P = \langle X, D, C, A, Y \rangle$ :

$X$ : Conjunto de variáveis com domínios $D$ .
$C$ : Restrições lógicas.
$A$ : Atribuição parcial observada (contexto inicial).
$Y$ : Variável alvo.
Subespecificação: O problema é subespecificado se $Y$ não for determinado univocamente por $A$ e $C$ .
Conjunto Suficiente Mínimo de $k$ Variáveis ( $k$ -MSS): Um subconjunto de variáveis não atribuídas $S$ de tamanho $k$ tal que conhecer seus valores determina univocamente $Y$ , e nenhum subconjunto menor seja suficiente.
Instância de Tarefa: Uma realização específica $(P, y)$ onde $y$ é o valor real oculto de $Y$ .

2.2 Protocolos de Avaliação

A estrutura avalia os modelos ao longo de três eixos, separando a busca de informação da geração de respostas:

$k$ -Predição: Dado $P$ , o modelo prevê o grau de subespecificação ( $\hat{k}$ ).
Identificação de Variáveis Ausentes: Dado $P$ (e opcionalmente o verdadeiro $k$ ), o modelo seleciona um conjunto de variáveis suficiente mínimo.
Resolução de Tarefa Sequencial: O modelo interage com um oráculo ao longo de múltiplos turnos, consultando uma variável por vez, observando o valor e decidindo quando parar e responder.

2.3 Datasets

Domínios Estruturados (Logic-Q-MT, GSME-Q-MT/Ext, GeneReg-MT, ClinGuide-MT): Variáveis e restrições são predefinidas. O modelo seleciona de um conjunto finito de variáveis consultáveis.
- Logic-Q-MT: Estende problemas de raciocínio lógico para configurações de múltiplos turnos.
- GSME-Q-MT/Ext: Problemas matemáticos de nível escolar com quantidades mascaradas; a versão Ext apresenta estruturas de dependência mais profundas.
- GeneReg-MT: Redes regulatórias gênicas booleanas onde o modelo deve identificar estados iniciais para determinar estados estacionários.
- ClinGuide-MT: Árvores de decisão diagnóstica onde a ordem das consultas importa devido a dependências condicionais.
Domínio Não Estruturado (20Q): O modelo gera perguntas de sim/não de forma livre para deduzir um alvo oculto a partir de um conjunto de candidatos.

2.4 Métricas

Crucialmente, o artigo introduz a Suficiência Final como uma métrica primária. Isso mede se a informação adquirida (o conjunto de variáveis consultadas) determina univocamente o alvo, independentemente de a resposta final do modelo estar correta ou não. Isso separa a capacidade de buscar informações da capacidade de raciocinar para uma resposta. Outras métricas incluem cobertura de consulta, correção de ordem (em ClinGuide-MT) e informatividade da pergunta (Ganho de Informação Esperada Normalizado em 20Q).

3. Resultados Principais

A avaliação abrange LLMs de pesos abertos e fechados (ex: GPT-5, Gemini-3, Qwen3, gpt-oss).

3.1 Subestimação da Informação Ausente

Os modelos geralmente reconhecem que o contexto é insuficiente (raramente prevendo $k=0$ para problemas subespecificados), mas subestimam sistematicamente o grau de subespecificação.
A precisão cai drasticamente à medida que $k$ aumenta. Especificamente, em problemas lógicos (Logic-Q-MT) em $k = 2$ , os modelos subpredizem o grau de informação ausente quatro vezes mais frequentemente do que o superpredizem.

3.2 Falha ao Identificar Conjuntos Suficientes Mínimos

Mesmo quando fornecido com o verdadeiro $k$ , os modelos têm dificuldade em identificar as variáveis específicas que formam um conjunto suficiente mínimo. A precisão do conjunto exato é baixa (abaixo de 0,4 para $k=2$ ) e cai ainda mais para $k$ mais altos.
Estimar quanto da informação está faltando não implica saber qual informação é necessária.

3.3 Dinâmicas de Interação e Recuperação

Orçamento de Turnos: Alocar consultas em mais turnos geralmente melhora a suficiência final em comparação com a emissão de todas as consultas em um único turno, desde que o modelo não pare prematuramente.
Recuperação: Uma consulta no primeiro turno que perde o conjunto suficiente mínimo é frequentemente recuperável. Interações onde a primeira consulta é incorreta, mas o modelo continua a buscar variáveis relevantes, atingem a suficiência em taxas comparáveis àquelas com consultas iniciais corretas.
Desempenho de Turnos Tardios: Para problemas altamente subespecificados ( $k \ge 3$ ), o sucesso depende menos da correção nos turnos iniciais e mais da aquisição sustentada de informações e da correção das consultas nos turnos finais.

3.4 A Importância da Ordem e Integração

Dependências de Ordem: Em tarefas clínicas (ClinGuide-MT), consultar as variáveis corretas na ordem errada reduz significamente a precisão final, mesmo que toda a informação necessária seja eventualmente adquirida.
Integração de Evidências: No 20Q, modelos com informatividade de pergunta semelhante (Ganho de Informação Esperada) mostram diferenças substanciais na precisão final. Isso indica que o sucesso não depende apenas de fazer boas perguntas, mas de integrar efetivamente as respostas para estreitar o espaço de candidatos.
Redução de Entropia: Embora os modelos geralmente reduzam a incerteza, eles frequentemente estagnam em turnos posteriores, falhando em distinguir entre candidatos restantes muito próximos.

4. Contribuições e Significância

O artigo faz três contribuições principais:

Formalização: Formaliza a busca de informação em múltiplos turnos como a resolução de CSPs $k$ -subespecificados, fornecendo a verdade fundamental para as variáveis necessárias e o ponto de suficiência.
Benchmark (MT-INFOSEEK): Introduz uma suíte de avaliação abrangente que abrange matemática, lógica, biologia, medicina e conhecimento geral, permitindo a variação controlada do grau de subespecificação.
Metodologia de Avaliação: Propõe a Suficiência Final como uma métrica para separar a capacidade de adquirir informação da capacidade de gerar respostas.

Significância:
Os autores argumentam que as avaliações atuais de LLMs, que dependem da precisão final, falham em capturar a competência interativa. Um modelo pode responder corretamente por meio de suposições ou usando conhecimentos prévios sem nunca identificar a informação ausente. Ao medir se a informação adquirida realmente determina o alvo, o MT-INFOSEK revela que os modelos atuais:

Subestimam a complexidade da informação ausente.
Falham em planejar estratégias de consulta mínimas.
Frequentamente param antes de adquirir informação suficiente.
Têm dificuldades com dependências de ordem e integração de evidências.

O artigo conclui que a capacidade de buscar informações ao longo de múltiplos turnos é uma capacidade distinta da geração de respostas e não é adequadamente medida pelos benchmarks existentes. Este trabalho fornece um quadro de diagnóstico para entender onde os modelos falham em ambientes interativos, sugerindo que as melhorias futuras devem focar no reconhecimento da subespecificação e no planejamento da aquisição sequencial de informações, não apenas em capacidades de raciocínio.