💻 computer science

Ask, Condition or Abstain: Reinforcement Learning for Missing-Premise Reasoning

Este artigo apresenta o ACA-RL, um framework de aprendizado por reforço, e o Missing-Premise Benchmark (MPB), que permitem que modelos de raciocínio lidem de forma eficaz com consultas subdeterminadas ao aprender a solicitar informações ausentes, condicionar respostas a desconhecidos ou abster-se, em vez de forçar respostas incorretas.

Autores originais: Yongqi Tong, Zhenyu Zhang, Zimi Liu, Kewei Fu, Mingli Song, Haofei Zhang, Junshao Zhang, Hong Zhu, Jiang-Ming Yang, Xin Zhang, Jianshe Li

Publicado 2026-08-18

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yongqi Tong, Zhenyu Zhang, Zimi Liu, Kewei Fu, Mingli Song, Haofei Zhang, Junshao Zhang, Hong Zhu, Jiang-Ming Yang, Xin Zhang, Jianshe Li

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja fazendo uma pergunta a um assistente muito conhecedor, mas acidentalmente esqueceu de mencionar uma peça crucial de informação necessária para resolver o enigma. Talvez você peça o custo total de uma viagem, mas esqueça de mencionar o destino, ou peça a solução de um problema matemático, mas omita um número específico. No mundo real, um humano prestativo pararia, notaria a lacuna e pediria o detalhe que falta. Eles não adivinhariam o destino ou inventariam um número apenas para lhe dar uma resposta. Por muito tempo, sistemas de inteligência artificial treinados para resolver problemas lutaram com essa situação específica. Diante de uma pergunta incompleta, esses sistemas sentem-se frequentemente compelidos a preencher as lacunas por conta própria, produzindo confiantemente uma resposta errada ou um fato inventado. Esse comportamento, conhecido como alucinação, acontece porque os modelos são treinados primariamente para encontrar uma resposta final, não para reconhecer quando uma resposta é impossível de ser encontrada.

Pesquisadores têm trabalhado para ensinar esses sistemas a reconhecer a incerteza, mas simplesmente dizer a eles para dizer "eu não sei" nem sempre é a resposta mais útil. Às vezes, a melhor reação é pedir ao usuário a peça de informação que falta. Outras vezes, o sistema pode fornecer uma resposta útil que dependa de uma variável, como dizer: "O custo será de dez dólares se a viagem for para Paris, mas vinte dólares se for para Londres". Este artigo apresenta um novo método para treinar a inteligência artificial para lidar com essas perguntas incompletas com o mesmo cuidado que um humano teria. Os pesquisadores desenvolveram um sistema que ensina os modelos a ou pedir a informação faltante, ou fornecer uma resposta condicional, ou recusar educadamente responder quando nenhuma resposta útil é possível.

A equipe, liderada por pesquisadores da Ant International e da Universidade de Zhejiang, criou uma nova abordagem de treinamento chamada Aprendizado por Reforço Ask-Condition-Abstain (Perguntar-Condicionar-Abster-se). Para ensinar esse comportamento aos modelos, eles primeiro tiveram que criar uma enorme biblioteca de problemas de prática que estavam intencionalmente quebrados. Eles pegaram 120.000 problemas bem formulados e solucionáveis e removeram ou alteraram cuidadosamente uma única peça crítica de informação de cada um. Esse processo não foi aleatório; eles usaram um mapa estruturado de como o problema deveria ser resolvido para identificar exatamente qual fato era necessário para a resposta. Ao remover cirurgicamente esses fatos, criaram um conjunto de dados onde a única resposta correta era admitir que a pergunta estava incompleta.

Uma vez que esses dados de treinamento estivessem prontos, eles ensinaram os modelos usando um sistema de recompensas que incentivava comportamentos específicos. Em vez de apenas recompensar uma resposta final correta, o sistema dava pontos por fazer perguntas de esclarecimento ou explicar o que estava faltando. Dava menos pontos por simplesmente recusar-se a responder e dava pontos negativos por inventar fatos ou adivinhar. O objetivo era mudar o instinto do modelo de "adivinhar a resposta" para "identificar a lacuna". Para testar se esse treinamento realmente funcionava, os pesquisadores construíram um novo benchmark chamado Missing-Premise Benchmark (Avaliação de Premissa Ausente). Este conjunto de testes continha 274 problemas cuidadosamente verificados onde informações estavam faltando, abrangendo matemática, lógica e problemas de palavras do mundo real.

Os resultados mostraram que o novo método de treinamento melhorou significativamente a forma como os modelos lidam com perguntas incompletas. No novo benchmark, os modelos treinados com este método pontuaram muito mais alto do que aqueles treinados apenas para encontrar respostas ou aqueles treinados simplesmente para dizer "eu não sei". Os modelos treinados foram muito menos propensos a alucinar ou inventar fatos. Em vez disso, frequentemente optavam por pedir a informação faltante ou por explicar como a resposta mudaria dependendo da variável desconhecida. Crucialmente, essa melhoria não ocorreu às custas de sua capacidade de resolver problemas normais e completos. Quando testados em enigmas padrão de matemática e lógica onde toda a informação foi fornecida, os modelos performaram tão bem quanto antes, mostrando que aprender a reconhecer a incerteza não os tornou piores em resolver tarefas solucionáveis.

O estudo sugere que o próximo passo para sistemas inteligentes não é apenas ser mais rápido ou mais preciso na resolução de problemas, mas ser melhor em saber quando um problema não pode ser resolvido conforme enunciado. Ao ensinar os modelos a expor a informação faltante em vez de adivinhar, esta abordagem apoia a criação de assistentes mais seguros e confiáveis. Esses sistemas podem decidir quando pedir ajuda a um usuário ou quando usar uma ferramenta para encontrar um fato faltante, em vez de fornecer confiantemente uma resposta errada. Os pesquisadores observam que, embora seu método funcione bem para lacunas lógicas em problemas estruturados, as perguntas do mundo real podem ser mais bagunçadas e ambíguas. No entanto, o trabalho fornece um caminho claro para ensinar a inteligência artificial a reconhecer os limites de seu próprio conhecimento e responder construtivamente quando a informação está incompleta.

Resumo Técnico: Perguntar, Condicionar ou Abster-se: Aprendizado por Reforço para Raciocínio com Premissas Ausentes

1. Definição do Problema

Os modelos de raciocínio atuais são predominantemente otimizados via Aprendizado por Reforço (RL) em problemas totalmente especificados, onde existe uma única resposta final verificável. No entanto, consultas de usuários reais frequentemente omitem premissas críticas, deixando o problema subdeterminado. Nesses cenários, modelos treinados apenas para respostas definitivas tendem a alucinar soluções confiantes mesmo quando a pergunta não determina uma.

O artigo argumenta que o espaço de resposta ideal para problemas de premissas ausentes estende-se além da simples recusa ("Eu não sei"). Um modelo robusto deve ser capaz de três comportamentos distintos:

Perguntar (Ask): Solicitar proativamente a premissa ausente.
Condicionar (Condition): Formular uma resposta condicionada à variável desconhecida.
Abster-se (Abstain): Recusar-se a responder quando nenhuma resposta condicional informativa é possível.

Abordagens existentes, como recuperação ou triagem em tempo de inferência, não ensinam o modelo base a reconhecer intrinsecamente prompts subdeterminados. Além disso, o simples prompting (ex: "Introspecção de LM") é insuficiente para induzir de forma confiável essas políticas de resposta específicas.

2. Metodologia: ACA-RL

Os autores propõem o ACA-RL (Ask-Condition-Abstain Reinforcement Learning), um framework de RL com aumento de dados projetado para aprender essas políticas de resposta.

2.1 Construção de Dados: Síntese Guiada por Grafo de Raciocínio

Para treinar em instâncias de premissas ausentes, os autores desenvolveram um pipeline para sintetizar 120.000 exemplos de treinamento a partir de problemas bem formulados. Este processo garante que a informação "ausente" seja uma lacuna lógica localizada, em vez de ruído aleatório. O pipeline envolve:

Desconstrução e Geração de Grafo: Analisar um problema bem formulado em um Grafo Acíclico Dirigido (DAG) que representa o caminho de raciocínio e as dependências entre as condições e a resposta.
Perturbação Cirúrgica de Condição: Identificar uma condição crítica no caminho da solução e aplicar uma das seis estratégias de perturbação (ex: remover um valor numérico, desquantificar uma relação ou interromper uma entidade) para criar uma variante subespecificada ( $s'$ ).
Reescrita e Verificação: Reconstruir o problema em um problema de enunciado fluente e filtrar amostras onde a lacuna não é identificável ou o problema permanece solúvel.

2.2 Função de Recompensa Estruturada

Ao contrário do RL padrão de apenas resposta, que recompensa apenas respostas finais corretas, o ACA-RL utiliza uma função de recompensa estruturada ( $R_{ACA}$ ) baseada em uma taxonomia comportamental de cinco categorias:

Alucinação Silenciosa (Silent Hallucination - SH): Fabricar uma resposta sem reconhecimento (Recompensa: -1.0).
Suposição Explícita (Explicit Assumption - EA): Dar uma resposta definitiva, mas declarando a suposição (Recompensa: -0.3).
Abstenção (Abstention - Abs): Identificar corretamente o problema como subespecificado e recusar-se (Recompensa: 0.3).
Formulação Condicional (Conditional Formulation - Cond): Expressar a resposta como uma fórmula dependente da variável ausente (Recompensa: 0.6).
Elicitação Ativa (Active Elicitation - Elicit): Solicitar proativamente a premissa ausente (Recompensa: 1.0).

O objetivo é maximizar o valor esperado desses comportamentos, deslocando a política para longe da alucinação e da recusa genérica em direção a interações mais informativas.

2.3 Avaliação: Benchmark de Premissas Ausentes (MPB)

Os autores introduzem o Missing-Premise Benchmark (MPB), um conjunto de dados verificado por humanos com 274 instâncias abrangendo problemas matemáticos, lógicos e do mundo real. O MPB avalia modelos através das mesmas cinco categorias comportamentais, reportando uma "Pontuação de Comportamento" (uma média ponderada das recompensas categóricas) em vez de apenas taxas de acerto ou de recusa.

3. Resultados Principais

Experimentos foram conduzidos nos modelos Qwen3 (8B, 14B) e Llama3.1-8B, comparando o ACA-RL contra Cold-start SFT, Vanilla PPO (apenas resposta) e IDK-RL (treinado para recusar).

Robustez de Premissas Ausentes: O ACA-RL supera significativamente os baselines no MPB. No Qwen3-8B, o ACA-RL alcançou uma Pontuação de Comportamento de 51.73, comparado a 8.66 para o Vanilla PPO e 48.72 para o IDK-RL. Isso indica que o ACA-RL aprendeu com sucesso a perguntar ou condicionar em vez de apenas recusar ou alucinar.
Preservação do Raciocínio Geral: Crucialmente, o ACA-RL mantém um desempenho competitivo em benchmarks padrão bem formulados (GSM8K, MATH-500, AIME'24). Por exemplo, no Qwen3-8B, a queda no desempenho do GSM8K em relação ao Vanilla PPO foi menor para o ACA-RL (-2.35) do que para o IDK-RL (-5.83).
Mudança Comportamental: A análise mostra que, enquanto o IDK-RL maximiza as taxas de recusa, o ACA-RL desloca a distribuição para Formulação Condicional e Elicitação Ativa. Os comportamentos de "Perguntar" e "Condicionar" emergem de forma mais gradual do que o "Abster-se", sugerindo um processo de aprendizado de política mais complexo.
Eficiência de Dados: Estudos de ablação confirmam que a síntese guiada por grafo de raciocínio é superior a outras fontes de dados (ex: dados derivados de Treecut ou SUM) para esta tarefa. Uma mistura de 30% de dados de premissas ausentes no conjunto de treinamento proporcionou o melhor equilíbrio entre robustez e capacidade de raciocínio geral.

4. Significância e Alegações

O artigo afirma redefinir o progresso nos modelos de raciocínio: o sucesso não deve ser medido apenas pela precisão em tarefas totalmente especificadas, mas também pela capacidade de reconhecer quando uma tarefa é subdeterminada e responder de forma construtiva.

Além da Recusa: O trabalho demonstra que modelos podem ser treinados para fazer mais do que apenas dizer "Eu não sei"; eles podem fornecer respostas condicionais ou solicitar informações ausentes, o que é mais útil em sistemas de tutoria e fluxos de trabalho de agentes.
Lacuna de Avaliação: Ao introduzir o MPB, os autores destacam uma lacuna na avaliação atual de PLN, que frequentemente falha em medir como os modelos lidam com a incerteza e entradas subespecificadas.
Limitações: Os autores observam modestamente que seu treinamento foca em respostas de turno único. O método não treina atualmente políticas de esclarecimento de múltiplos turnos ou uso de ferramentas (recuperação) para realmente adquirir a informação ausente, deixando uma lacuna entre identificar a lacuna e resolvê-la em um fluxo de trabalho completo de agente. Além disso, os dados sintéticos, embora controlados, podem não capturar totalmente a ambiguidade semântica de consultas orgânicas de usuários.

Em conclusão, o ACA-RL fornece um framework concreto para treinar modelos para navegar na incerteza ao perguntar, condicionar ou abster-se, apoiado por um novo benchmark e um pipeline escalável de síntese de dados.