InfoGatherer: Principled Information Seeking via Evidence Retrieval and Strategic Questioning

O artigo apresenta o InfoGatherer, um framework que melhora a tomada de decisão em domínios de alto risco, como medicina e direito, ao combinar recuperação de documentos e perguntas estratégicas ao usuário, utilizando a teoria de Dempster-Shafer para gerenciar incertezas de forma principial e evitar respostas prematuras ou excessivamente confiantes.

O essencial

Imagine que você está em uma sala de espera com um médico ou um advogado, mas em vez de um humano, você está falando com um robô superinteligente (uma Inteligência Artificial).

O problema é que, muitas vezes, você chega dizendo apenas: "Estou com dor de garganta e tosse" ou "Meu vizinho derrubou uma árvore no meu carro". É uma informação incompleta.

Robôs comuns (os modelos de IA atuais) tendem a ser muito confiantes. Eles olham para o que você disse, consultam o que sabem de cor e dizem: "Você tem gripe!" ou "Você deve processar o vizinho!". O problema? Eles podem estar errados, mas falam com tanta certeza que você acredita neles. Isso é perigoso em situações sérias, como saúde e leis.

O papel que você enviou apresenta uma nova solução chamada INFOGATHERER. Vamos explicar como ele funciona usando uma analogia simples: O Detetive Cético.

1. O Detetive vs. O Adivinho

A maioria das IAs atuais funciona como um Adivinho. Elas tentam adivinhar a resposta mais rápida possível, mesmo que não tenham todas as peças do quebra-cabeça.

O INFOGATHERER funciona como um Detetive Cético.

• Quando você diz "Estou com dor de garganta", o Detetive não responde imediatamente.
• Ele pensa: "Hmm, dor de garganta pode ser alergia, gripe, COVID ou até algo mais grave. Eu não sei qual é. Preciso de mais pistas."
• Em vez de chutar, ele faz uma pergunta estratégica: "Você notou alguma mudança no seu paladar ou olfato?"

2. Como ele organiza o caos? (A Rede de Evidências)

A parte genial do INFOGATHERER é como ele organiza o que sabe.

Imagine que o conhecimento médico ou jurídico é um mapa gigante e bagunçado de conexões.

• Outras IAs tentam desenhar uma linha reta: "Se A, então B". Se a informação estiver faltando, elas inventam um número aleatório para preencher a lacuna.
• O INFOGATHERER usa uma técnica matemática especial (chamada Teoria de Dempster-Shafer) que ele chama de "Mapa de Incerteza".

Pense nisso como uma caixa de ferramentas de ceticismo:

• Se o livro médico diz "pode ser gripe", o robô não marca "100% de chance de gripe". Ele marca: "É possível gripe, mas também pode ser outra coisa, e eu não tenho certeza".
• Ele cria uma rede de conexões onde cada peça de informação (sintoma, lei, fato) tem um "peso de confiança".
• Se duas informações se contradizem (ex: um livro diz "febre é comum", outro diz "febre é rara"), o robô não entra em pânico. Ele coloca um sinal de "ALERTA DE CONFLITO" no mapa e continua investigando, em vez de forçar uma resposta errada.

3. A Dança da Pergunta Estratégica

O INFOGATHERER não faz perguntas aleatórias como "Você tem dor de cabeça?". Ele calcula matematicamente qual pergunta vai te dar a informação mais valiosa.

É como jogar Jogo da Forca com um mestre:

• Um jogador ruim pergunta letras aleatórias: "Tem a letra 'Z'?" (Provavelmente não ajuda muito).
• O INFOGATHERER pergunta: "Tem a letra 'E'?" (Porque, estatisticamente, essa letra aparece em quase todas as palavras e vai eliminar muitas opções de uma vez).

No mundo real, isso significa:

1. Ele lê os manuais médicos ou leis (documentos confiáveis).
2. Ele constrói seu "Mapa de Incerteza".
3. Ele vê onde o mapa está mais "nebuloso" (onde a dúvida é maior).
4. Ele faz a única pergunta que vai dissipar essa neblina mais rápido.

4. Por que isso é importante?

Em um hospital ou num tribunal, errar não é apenas um erro de cálculo; pode custar a saúde ou a liberdade de alguém.

• IAs comuns: "Você tem COVID!" (Confiança: 99%). Resultado: Você toma remédio errado.
• INFOGATHERER: "Você tem dor de garganta. A dor de garganta sozinha não é suficiente para dizer que é COVID. Preciso saber se você perdeu o olfato. Se não perder, a chance de ser alergia sobe. Se perder, a chance de ser COVID sobe." Resultado: Uma decisão mais segura e precisa.

Resumo da Ópera

O INFOGATHERER é um robô que aprendeu a dizer "Eu não sei, mas vou descobrir" de forma inteligente.

Ele não tenta ser um oráculo que adivinha o futuro. Ele é um investigador que:

1. Consulta fontes confiáveis (livros, leis).
2. Reconhece quando está confuso (e não finge que sabe).
3. Faz as perguntas certas para resolver o mistério com o mínimo de esforço.

É como trocar um adivinho que chuta respostas por um detetive que sabe exatamente onde procurar a verdade.

Resumo técnico

Resumo Técnico: INFOGATHERER

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implantados em domínios de alto risco, como saúde e direito, frequentemente como sistemas de perguntas e respostas (QA) baseados em documentos. No entanto, surgem desafios críticos:

• Consultas Subespecificadas: As consultas iniciais dos usuários são frequentemente vagas ou incompletas, tornando impossível uma decisão confiável com uma única passagem de recuperação de documentos.
• Confiança Excessiva e Falta de Incerteza: Os LLMs são treinados para fornecer respostas confiantes, mesmo quando a informação é insuficiente. Eles tendem a não admitir incerteza ou a gerar perguntas de esclarecimento necessárias.
• Limitações dos Métodos Atuais:
  • Métodos existentes que usam perguntas de acompanhamento dependem de sinais de confiança implícitos e não estruturados do LLM (como logits ou probabilidades verbalizadas), que são frequentemente mal calibrados e levam a diálogos ineficientes (perguntas desnecessárias ou ordem subótima).
  • A maioria dos sistemas depende do conhecimento paramétrico do LLM, que pode estar desatualizado, incompleto ou ser derivado de fontes não confiáveis, em vez de se basear em documentos de domínio autoritativos.

2. Metodologia: INFOGATHERER

O INFOGATHERER é um framework proposto para aquisição estratégica de informações que integra raciocínio evidencial com LLMs. O objetivo é reduzir a incerteza sobre um espaço de hipóteses ($H$) através da interação com o usuário e a recuperação de documentos de domínio ($D$).

Componentes Principais:

• Rede Evidencial (Evidential Network):

  • Em vez de usar probabilidades pontuais (Bayesianas), o sistema modela a incerteza usando a Teoria de Dempster-Shafer (DS).
  • Constrói-se um grafo acíclico direcionado onde os nós representam variáveis de domínio (sintomas, fatos legais) e as arestas representam dependências.
  • Atribuições de Crença Básica (BBAs): A evidência textual extraída dos documentos é convertida em BBAs. Isso permite representar explicitamente a ambiguidade (massa atribuída a subconjuntos de hipóteses) e a ignorância (massa atribuída ao conjunto completo de hipóteses), evitando compromissos prematuros com uma única resposta.

• Construção da Rede e Extração de Evidência:

  • O sistema realiza uma expansão guiada por recuperação: a partir de uma hipótese raiz, recupera documentos relevantes e usa um LLM para propor variáveis filhas e dependências baseadas no texto.
  • Para cada aresta, o LLM gera BBAs condicionais a partir de trechos de texto, agregando múltiplas evidências usando a Regra de Combinação de Yager. Esta regra preserva contradições como aumento da ignorância, em vez de forçar uma normalização que poderia distorcer a crença.

• Atualização de Crença e Perguntas Estratégicas:

  • Durante a interação, as respostas do usuário são mapeadas em BBAs e fundidas com a rede existente.
  • Geração de Perguntas: O agente seleciona a próxima pergunta para maximizar a redução esperada da Entropia de Deng (uma medida de incerteza na teoria DS). A estratégia é bifásica:
    1. Primeiro, reduzir a não-especificidade (resolver ambiguidades de conjuntos grandes).
    2. Depois, reduzir o discordo (discriminar entre hipóteses concorrentes específicas).
  • O processo para quando a probabilidade pignística (conversão da BBA em probabilidade para decisão) de uma hipótese atinge um limiar de confiança pré-definido.

3. Contribuições Chave

1. Modelagem de Incerteza Formal: Substitui sinais heurísticos de LLMs por uma representação matemática rigorosa de incerteza (Dempster-Shafer), permitindo que o agente saiba o que não sabe e represente explicitamente a ignorância.
2. Fundamentação em Documentos: O raciocínio é ancorado em documentos de domínio recuperados (guias médicos, leis), mitigando alucinações e dependência de conhecimento paramétrico desatualizado.
3. Estratégia de Pergunta Otimizada: Utiliza a estrutura da rede evidencial para identificar lacunas de informação críticas, gerando perguntas direcionadas que reduzem a incerteza de forma mais eficiente do que métodos baseados em planejamento aleatório ou heurístico.
4. Framework Geral: Apresenta um pipeline completo que vai da construção da rede baseada em texto até a interação dinâmica e tomada de decisão.

4. Resultados Experimentais

O INFOGATHERER foi avaliado em dois domínios de alto risco:

• Medicina: Utilizando o benchmark MedQA (diagnóstico clínico).
• Direito: Utilizando o benchmark BarExamQA (raciocínio jurídico).

Desempenho:

• Precisão: O INFOGATHERER superou consistentemente as linhas de base (baselines) fortes, incluindo Ask-or-Predict (AoP), MediQ e Uncertainty of Thoughts (UoT).
  • No domínio jurídico (com gpt-5-nano), alcançou 66,5% de taxa de sucesso, uma melhoria de ~49 pontos sobre o AoP e ~39 pontos sobre o MediQ.
  • No domínio médico, alcançou 69,3% de sucesso, superando todas as baselines.
• Eficiência: O sistema alcançou essas taxas de sucesso com menos turnos de diálogo em comparação com a maioria das baselines (ex: 7,4 turnos no médico vs. 10,7 do MediQ), demonstrando que perguntas mais inteligentes levam a decisões mais rápidas e precisas.
• Ablação: Estudos mostraram que o uso de BBAs (em vez de probabilidades pontuais) e a fundamentação em documentos recuperados são componentes essenciais para o ganho de desempenho, especialmente em tarefas complexas onde a ambiguidade é alta.

5. Significado e Impacto

O trabalho representa um avanço significativo na direção de agentes conversacionais confiáveis e interpretáveis para domínios críticos.

• Confiabilidade: Ao fundamentar a incerteza em teoria formal e documentos externos, o sistema evita a "confiança excessiva" típica de LLMs, abstendo-se de responder quando a evidência é insuficiente.
• Interpretabilidade: A estrutura da rede evidencial permite rastrear como cada peça de evidência (documento ou resposta do usuário) influencia a crença final, oferecendo transparência no processo de decisão.
• Aplicabilidade: O framework é agnóstico a tarefas e domínios, sugerindo que pode ser aplicado em qualquer cenário onde a coleta de informações precisas e a redução de incerteza são vitais para a segurança e eficácia da decisão.

Em resumo, o INFOGATHERER demonstra que combinar a capacidade de linguagem dos LLMs com o raciocínio probabilístico rigoroso e a recuperação de evidências externas é a chave para superar as limitações atuais na interação homem-máquina em cenários de alto risco.