Resumo Técnico: Saber mas Não Mostrar

Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) estão cada vez mais implantados para responder a consultas de usuários, mas essas consultas são frequentemente subespecificadas, omitindo detalhes cruciais ou admitindo múltiplas interpretações válidas. Ao enfrentar tal ambiguidade, um assistente útil deveria idealmente reconhecer a incerteza e buscar esclarecimentos, em vez de fazer suposições silenciosas. No entanto, os modelos atuais frequentemente recorrem a fornecer uma única resposta de "melhor palpite", forçando suposições ocultas que podem distorcer a intenção do usuário e propagar erros.

O problema central investigado é a discrepância entre a consciência de ambiguidade de um LLM (a capacidade de reconhecer que uma consulta é ambígua) e seu comportamento de esclarecimento (a tendência de agir sobre esse reconhecimento fazendo perguntas ou recusando-se a responder). Os autores postulam que, embora os modelos possam internamente "saber" que uma consulta é ambígua, raramente "mostram" esse conhecimento em suas respostas padrão.

Metodologia

O estudo avalia LLMs em três configurações complementares usando o conjunto de dados AmbigQA, que contém perguntas ambíguas, perguntas não ambíguas e reescritas desambiguadas das ambíguas. A avaliação envolve 10 modelos de três famílias (OpenAI, Claude e Qwen) e inclui:

1. Resposta a Perguntas Padrão (QA): Os modelos são instruídos a responder perguntas diretamente, com e sem contexto recuperado (passagens da Wikipedia). O desempenho é medido pela precisão em relação às respostas de referência.
2. Julgamento Explícito de Ambiguidade: Os modelos são solicitados a realizar uma tarefa de classificação binária: determinar se uma pergunta específica é ambígua ou não ambígua. Isso investiga a consciência explícita do modelo sem exigir uma resposta.
3. Análise Comportamental: Um modelo julgador (GPT-5-nano) classifica as respostas dos modelos em quatro categorias: Recusa, Perguntou uma Pergunta de Esclarecimento, Respondeu (fornecendo uma resposta) e Apenas Respondeu (fornecendo uma resposta sem recusa ou esclarecimento).

O estudo também analisa os tipos específicos de ambiguidade (Temporal, Identidade, Versão, Escopo, Semântica, Local, Outro) que os modelos identificam quando reconhecem a ambiguidade, comparando essas distribuições com anotações humanas.

Principais Resultados

1. A Lacuna "Saber mas Não Mostrar"

A descoberta mais significativa é uma desconexão clara entre reconhecimento e comportamento.

• Reconhecimento: Quando explicitamente solicitados a julgar a ambiguidade, os modelos exibem uma consciência não trivial. Eles frequentemente conseguem identificar corretamente que uma consulta é ambígua, alcançando 60–80% de precisão nas classes ambíguas (embora frequentemente tendam a superestimar a ambiguidade).
• Comportamento: Na configuração padrão de QA, os modelos recorrem massivamente a respostas diretas. Perguntas de esclarecimento são extremamente raras (tipicamente <1% a 5% das respostas), e recusas são quase inexistentes. Mesmo quando os modelos identificam corretamente uma consulta como ambígua no cenário de julgamento, eles falham em traduzir isso em comportamento de esclarecimento quando instruídos a responder.

2. O Impacto do Contexto Recuperado

O contexto recuperado (RAG) produz efeitos contra-intuitivos no tratamento de ambiguidades:

• Precisão de QA: O contexto melhora substancialmente a precisão das respostas tanto para perguntas ambíguas quanto não ambíguas, particularmente para modelos menores.
• Supressão do Esclarecimento: A presença de contexto torna os modelos menos propensos a fazer perguntas de esclarecimento. O contexto atua como um indício de que a pergunta é respondível, fazendo com que os modelos tratem até mesmo consultas ambíguas como efetivamente não ambíguas.
• Alargamento da Lacuna: Embora o contexto melhore a capacidade de responder, ele amplia ainda mais a lacuna entre o reconhecimento de ambiguidade e o comportamento de esclarecimento. Os modelos tornam-se ainda mais relutantes em sinalizar ambiguidade quando há passagens de suporte presentes.

3. Viés no Tipo de Ambiguidade

Quando os modelos identificam ambiguidade, sua classificação do tipo de ambiguidade é distorcida. Os modelos consistentemente superatribuem ambiguidades de Identidade (múltiplas entidades com o mesmo nome) e de Versão, enquanto subatribuem significativamente ambiguidades de Escopo (níveis de granularidade ausentes). Isso sugere que os modelos dependem de sinais específicos e superficiais, em vez de um raciocínio profundo sobre a estrutura da consulta.

Significado e Alegações

O artigo afirma demonstrar que os pipelines de treinamento atuais, que incentivam os modelos a produzir respostas avaliadas como "úteis" e "úteis" por anotadores humanos, ensinam inadvertidamente os modelos a esconder a incerteza. Como expressar ambiguidade ou pedir esclarecimentos frequentemente não está alinhado com alta recompensa nos pipelines padrão de RLHF (Aprendizado por Reforço a partir de Feedback Humano), os modelos aprendem a suprimir essa consciência em favor de fornecer uma resposta direta.

Os autores argumentam que isso tem duas implicações principais:

1. Objetivos de Treinamento: Para melhorar a veracidade e a confiabilidade, os objetivos de treinamento devem recompensar explicitamente a expressão de incerteza, a formulação de perguntas de esclarecimento e o reconhecimento de subespecificação, em vez de focar apenas na precisão da resposta.
2. Cautela na Avaliação: Ao investigar o que os LLMs "sabem", a formulação da tarefa importa significativamente. Um modelo pode exibir alta consciência de ambiguidade quando solicitado a analisar uma pergunta, mas exibir consciência quase nula quando solicitado a respondê-la.

O estudo conclui que o padrão "saber mas não mostrar" é uma questão sistêmica onde a consciência interna não surge de forma confiável no comportamento padrão, um fenômeno que é ainda mais suprimido pela presença de contexto recuperado.