💬 NLP

Reasoning about Intent for Ambiguous Requests

Este artigo propõe um método baseado em aprendizado por reforço que gera uma única resposta estruturada enumerando múltiplas interpretações válidas para solicitações ambíguas, aumentando assim a cobertura e a transparência sem exigir rodadas de interação adicionais ou supervisão explícita.

Autores originais: Irina Saparina, Mirella Lapata

Publicado 2026-08-11

📖 9 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Irina Saparina, Mirella Lapata

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está falando com um robô superinteligente que sabe quase tudo. Você faz uma pergunta, mas esquece de mencionar um detalhe minúsculo, como o ano ou o tipo específico de coisa a que se refere. No mundo da Inteligência Artificial, isso é chamado de "ambiguidade". É como perguntar a um amigo: "Qual é o melhor filme?", sem dizer se você quer um filme de terror assustador ou uma comédia engraçada. O robô tem que adivinhar o que você quer dizer. Geralmente, ele apenas escolhe um palpite, responde e espera o melhor. Se ele errar o palpite, você recebe uma resposta frustrante ou, pior, o robô pode acidentalmente fornecer algo perigoso porque entendeu mal sua intenção. Este artigo, escrito por pesquisadores da Universidade de Edimburgo, aborda esse problema de "errar o palpite" ensinando os robôs a pararem de adivinhar e começarem a listar todas as suas opções de uma só vez.

Os pesquisadores, Irina Saparina e Mirella Lapata, propõem uma nova maneira para esses Grandes Modelos de Linguagem (LLMs) lidarem com perguntas complicadas. Em vez de se comprometer silenciosamente com uma única interpretação, o método deles, chamado IntentRL, força o modelo a agir como um bibliotecário prestativo que diz: "Eu vejo que você perguntou pelo 'melhor filme'. Aqui estão três maneiras diferentes de entender isso: 1) O melhor filme de terror, 2) A melhor comédia e 3) O melhor filme de todos os tempos. Aqui está a resposta para cada um." O artigo sugere que, ao treinar o modelo para listar explicitamente esses diferentes significados e suas respectivas respostas de uma só vez, podemos evitar confusão e tornar a IA mais segura e transparente. Eles testaram isso em tarefas como responder perguntas de conversação e escrever código de computador (especificamente consultas SQL para bancos de dados), descobrindo que seu método cobre mais respostas corretas do que truques anteriores, como pedir esclarecimentos ao usuário ou apenas esperar que o robô acerte.

O Problema: O Palpite "Um e Pronto" do Robô

Imagine que você está jogando "20 Perguntas" com um robô. Você diz: "Estou pensando em uma fruta que é vermelha". O robô imediatamente grita: "Maçã!" e para. Mas espere! Você estava pensando em um morango, ou talvez uma cereja, ou até mesmo um pimentão vermelho. O robô não perguntou: "Você quis dizer uma baga?" ou "Você quis dizer um vegetal?". Ele apenas escolheu a primeira coisa que surgiu em sua cabeça digital.

No mundo real, isso acontece o tempo todo. As pessoas costem ser breves ou esquecem detalhes quando falam com computadores. Um usuário pode perguntar: "Mostre-me filmes com orçamento de 20 milhões", mas ele pode querer dizer "filmes que sejam tanto de terror quanto suspense com esse orçamento", ou "filmes que sejam ou de terror ou suspense com esse orçamento". Se o robô escolher o significado errado, a resposta é inútil. Pior ainda, se o robô for um "modelo de raciocínio" (um que pensa por muito tempo), ele pode gastar milhares de "tokens" (sua maneira de dar passos de pensamento) perseguindo a ideia errada, desperdiçando energia e reforçando seu próprio erro.

Os Velhos Modos: Perguntar ou Tagarelar

Antes deste novo método, cientistas tentaram duas formas principais de corrigir isso:

A Pergunta de Esclarecimento: O robô para e pergunta: "Você quer dizer terror ou suspense?". Isso funciona, mas é irritante. Transforma uma pergunta rápida em uma conversa longa de ida e volta. É como perguntar ao seu amigo: "Espera, você quer uma maçã vermelha ou um morango vermelho?" toda vez que você pede uma fruta.
A Resposta de Longo Formato: O robô tenta ser superprestativo escrevendo um parágrafo enorme que cobre tudo. "Bem, se você quer dizer terror, é X. Se você quer dizer suspense, é Y. Se você quer dizer ambos, é Z." Isso é frequentemente desordenado e difícil de ler. É como um amigo dando a você um ensaio de 10 páginas para responder a uma pergunta simples. Além disso, se os significados forem contraditórios (como "mostre-me filmes que são tanto terror quanto suspense" vs. "mostre-me filmes que são ou terror ou suspense"), é difícil fundi-los em uma única história fluida.

A Nova Solução: A Abordagem do "Menu"

Os autores deste artigo sugerem uma terceira via: O Menu Estruturado. Em vez de adivinhar ou tagarelar, o robô gera uma lista organizada de "Pares Interpretação-Resposta".

Pense nisso como pedir em um restaurante onde o menu é ambíguo. Se você disser: "Vou querer o especial", e o especial puder ser um hambúrguer ou uma salada, um garçom normal pode simplesmente trazer um hambúrguer. O robô IntentRL, no entanto, traz uma bandeja com três pratos pequenos:

Prato 1: "Se você quis dizer o especial de hambúrguer, aqui está seu hambúrguer."
Prato 2: "Se você quis dizer o especial de salada, aqui está sua salada."
Prato 3: "Se você quis dizer o especial de sopa, aqui está sua sopa."

O robô faz isso em um único passo. Ele não espera você dizer "Não, eu queria a salada". Ele apenas lhe dá todas as opções de uma vez, claramente rotuladas. Isso é ótimo porque:

Transparência: Você pode ver por que ele deu aquela resposta.
Velocidade: Sem esperar por uma segunda rodada de conversa.
Segurança: Se uma resposta for perigosa, você pode detectá-la imediatamente porque vê as outras opções também.

Como Ensinaram o Robô: O Jogo do "Objetivo Duplo"

Ensinar um robô a fazer isso é difícil. Você não pode apenas mostrar a ele uma lista de perguntas e respostas porque o robô precisa aprender quando listar várias coisas e quando dar apenas uma resposta. Se você o ensinar a sempre listar cinco opções, ele irá te irritar quando você fizer uma pergunta simples como "Quanto é 2+2?".

Os pesquisadores usaram uma técnica chamada Aprendizado por Reforço (pense em treinar um cachorro com petiscos). Eles deram ao robô um sistema de "recompensa dupla" especial:

A Recompensa de "Abrangência" (Recall): Se a pergunta for ambígua (como "Que outro estado o governou?"), o robô ganha um grande petisco se listar todas as possíveis respostas válidas. É como um jogo de pesca onde você ganha pontos por pegar todos os tipos de peixes no lago, não apenas um.
A Recompensa de "Precisão": Se a pergunta for clara (como "Qual é a capital da França?"), o robô ganha um petisco por dar apenas a resposta correta. Se ele tentar listar cinco capitais diferentes, ele recebe nenhum petisco (ou uma penalidade).

Crucialmente, eles não precisaram ensinar ao robô quais eram as "interpretações". Eles só precisavam da lista de respostas corretas. O robô descobriu o resto por conta própria ao tentar maximizar seus petiscos. Ele aprendeu a dizer: "Hmm, esta pergunta pode significar A, B ou C. Vou listar os três para ser seguro", ou "Esta pergunta é simples. Vou apenas dar a resposta única".

Os Resultados: Um Vencedor Claro

A equipe testou este novo método em dois tipos diferentes de tarefas:

Resposta de Perguntas Conversacionais: Responder perguntas baseadas em uma história ou conversa.
Text-to-SQL: Transformar perguntas em inglês em código de computador (SQL) para consultar um banco de dados.

Eles compararam seu método (IntentRL) contra:

Apenas pedir ao robô para adivinhar (Prompting).
Ensinar o robô através de exemplos (Ajuste Fino Supervisionado).
O método da "Pergunta de Esclarecimento" (perguntar ao usuário).
Modelos fechados superinteligentes (como GPT-5.4 e Gemini 2.5 Pro).

As descobertas foram surpreendentes:

Melhor Cobertura: O IntentRL encontrou a resposta correta em 74,1% dos casos ambíguos (Cobertura Total), enquanto os melhores modelos de código fechado conseguiram apenas cerca de 16%. Mesmo os modelos de "Raciocínio" (que gastam muito tempo pensando) não foram muito melhores que os modelos padrão.
Sem "Sobrepensar": Os pesquisadores descobriram que simplesmente fazer o robô "pensar" por mais tempo não ajudou a encontrar mais respostas. O robô frequentemente ficava preso na mesma ideia errada. O IntentRL, no entanto, aprendeu a explorar caminhos diferentes sistematicamente.
Generalização: Quando testaram o robô em um tipo completamente novo de banco de dados que ele nunca tinha visto antes, o IntentRL ainda funcionou bem. Os outros métodos (como o treinamento padrão) falharam porque apenas memorizaram os padrões do banco de dados antigo. Isso sugere que o IntentRL aprendeu uma habilidade geral de "pensar sobre o que o usuário quer dizer", em vez de apenas memorizar respostas.
Aprovação Humana: Quando humanos analisaram as respostas do robô, concordaram que as interpretações faziam sentido 90% das vezes. O robô não estava apenas inventando listas aleatórias; ele estava realmente explicando sua lógica.

O Que Isso Significa para o Futuro

O artigo sugere que a chave para lidar com a ambiguidade não é apenas tornar o robô maior ou mais inteligente, ou pedir para ele "pensar mais profundamente". É sobre ensiná-lo a raciocinar sobre a intenção. Ao forçar o modelo a gerar uma lista estruturada de possibilidades, obtemos um sistema que é mais honesto sobre o que sabe e o que não sabe.

Os autores observam que, embora seu método seja ótimo, não é perfeito. Às vezes, o robô lista muitas opções (até 5) e, para perguntas extremamente vagas, um humano ainda pode precisar intervir. Eles também não testaram se os humanos preferem este estilo de menu em vez de uma conversa simples, embora suspeitem que seria muito útil para tarefas técnicas como escrita de código.

Em resumo, este artigo mostra que, ao ensinar a IA a dizer: "Aqui estão todas as maneiras como eu poderia entender sua pergunta, e aqui estão as respostas para cada uma delas", podemos construir robôs que têm menos probabilidade de nos entender mal, menos probabilidade de desperdiçar tempo e que serão muito mais úteis a longo prazo. É uma mudança do "adivinhar e torcer" para o "listar e esclarecer", tudo em um único passo eficiente.

Resumo Técnico: Raciocínio sobre Intenção para Solicitações Ambíguas

Definição do Problema

Grandes Modelos de Linguagem (LLMs) frequentemente encontram solicitações de usuários ambíguas onde múltiplas interpretações plausíveis existem. Os modelos atuais tipicamente respondem comprometendo-se implicitamente com uma única interpretação, o que pode frustrar os usuários, obscurecer o raciocínio do modelo e criar riscos de segurança se a interpretação escolhida estiver incorreta. Além disso, modelos de raciocínio podem desperdiçar recursos computacionais gastando tokens em interpretações incorretas.

As estratégias existentes para lidar com a ambiguidade apresentam trade-offs distintos:

Perguntas de Clarificação: Requerem rodadas adicionais de interação, aumentando a latência e o esforço do usuário.
Respostas Longas: Cobrem múltiplas interpretações em uma única resposta verbosa, mas carecem de estrutura explícita, tornando-as difíceis de analisar para aplicações downstream (ex: sistemas agênticos) e potencialmente esmagadoras para os usuários.
Amostragem Paralela: Frequentemente falha em produzir saídas substancialmente diferentes devido aos vieses do modelo para conclusões específicas.

O desafio central é ensinar os modelos a reconhecer a ambiguidade, enumerar interpretações válidas e fornecer as respostas correspondentes sem exigir rótulos de interpretação explícitos ou perguntas de clarificação durante o treinamento.

Metodologia

Os autores propõem o IntentRL, uma abordagem de aprendizado por reforço que treina modelos para gerar uma única resposta estruturada contendo múltiplos pares interpretação-resposta.

1. Formato de Saída

Em vez de uma única resposta ou um diálogo de clarificação, o modelo gera uma sequência de pares $\{(i_1, a_1), \dots, (i_m, a_m)\}$ , onde:

$i_k$ é uma interpretação explícita que desambigua a entrada (ex: "Outro estado refere-se ao predecessor de Boêmia").
$a_k$ é a resposta correspondente para essa interpretação específica.
O modelo gera até cinco pares sequencialmente. Devido à natureza autorregressiva dos LLMs, as interpretações subsequentes são condicionadas às anteriores, incentivando a diversidade e o alinhamento semântico.

2. Estrutura de Treinamento

O método utiliza DAPO (Decoupled Clip and Dynamic Sampling Policy Optimization), uma extensão do Group Relative Policy Optimization (GRPO).

Supervisão: A abordagem requer apenas respostas de ouro (gold answers) como supervisão. Não requer interpretações de ouro, perguntas de clarificação ou traços de raciocínio explícitos. Entradas ambíguas são identificadas pela presença de múltiplas respostas válidas ( $|A| > 1$ ) no conjunto de dados.
Objetivo de Recompensa Duplo:
- Para Entradas Ambíguas ( $|A| > 1$ ): A recompensa é baseada em Recall (Revocação). O modelo é otimizado para maximizar a cobertura de interpretações distintas válidas encontradas no conjunto de ouro.
- Para Entradas Não Ambíguas ( $|A| = 1$ ): A recompensa é baseada em Precision (Precisão). O modelo é penalizado por gerar alternativas espúrias, incentivando-o a reconhecer quando uma única intenção é suficiente.
Mecanismo de Correspondência: Para calcular as recompensas, as respostas previstas são confrontadas com as respostas de ouro usando o algoritmo de Hungria para encontrar o mapeamento um-para-um ideal baseado em uma pontuação de similaridade (correspondência exata para execução SQL, sobreposição de palavras F1 para QA).

3. Balanceamento de Dados

Os conjuntos de dados frequentemente contêm muito mais exemplos não ambíguos do que ambíguos. Os autores empregam uma proporção de sobreamostragem de 3:1 para exemplos ambíguos durante o treinamento. Isso garante que o modelo receba sinais de aprendizado suficientes para lidar com a ambiguidade enquanto usa exemplos não ambíguos como regularização para evitar a sobregeração.

Principais Contribuições

Resolução Estruturada de Ambiguidade: O artigo introduz um método de geração de etapa única que produz pares interpretação-resposta estruturados, oferecendo um equilíbrio entre a interatividade das perguntas de clarificação e a eficiência das respostas diretas.
Treinamento com Supervisão Esparsa: O método demonstra que os modelos podem aprender a raciocinar sobre a intenção do usuário e enumerar interpretações usando apenas anotações de resposta, eliminando a necessidade de rótulos de interpretação caros ou dados de diálogo de clarificação.
Aprendizado por Reforço de Objetivo Duplo: A introdução de um objetivo de recompensa duplo (recall para ambíguo, precisão para não ambíguo) ensina efetivamente o modelo a alternar dinamicamente entre enumerar opções e comprometer-se com uma única resposta.
Validação Empírica: A abordagem é validada através de duas tarefas distintas: Questionamento Conversacional (Abg-CoQA) e Parsing de Text-to-SQL (Ambrosia, AmbiQT).

Resultados

Desempenho em Ambig-CoQA (QA Conversacional)

O IntentRL alcançou 78,1% de recall e 61,0% de cobertura total em perguntas ambíguas, superando significativamente baselines como IntentPrompt (62,3% de recall) e SFT (48,1% de recall).
Modelos SFT tenderam a sofrer overfitting em casos não ambíguos, falhando em gerar múltiplas interpretações mesmo quando necessário.
O IntentRL manteve alto desempenho em perguntas não ambíguas (90,9% de recall), demonstrando que não gera excessivamente de forma cega.

Desempenho em Ambrosia (Text-to-SQL)

O IntentRL alcançou 82,4% de recall e 74,1% de cobertura total em consultas SQL ambíguas, superando o método de dois estágios de última geração DisambigParse (59,7% de recall, 30,5% de cobertura total).
Notavelmente, o IntentRL alcançou isso com um processo de treinamento de estágio único, enquanto o DisambigParse requer interpretações de ouro para o treinamento.

Generalização e Avaliação Humana

Generalização Out-of-Domain: Quando treinado no Ambrosia e testado no benchmark out-of-domain AmbiQT, o IntentRL alcançou 49,1% de cobertura total, enquanto o SFT colapsou para 9,1%. Isso sugere que o IntentRL aprende habilidades de raciocínio geral sobre ambiguidade em vez de padrões específicos do dataset.
Avaliação Humana: Anotadores confirmaram que 90,0% (Abg-CoQA) e 91,7% (Ambrosia) das interpretações previstas estavam alinhadas com suas respectivas respostas, validando que as interpretações geradas explicam as respostas de forma significativa.
Comparação com SOTA: O IntentRL superou o método de clarificação de múltiplos turnos ACT (83,0% de similaridade vs. 75,1%) e superou significativamente modelos de fronteira fechados (GPT-5.4, Gemini 2.5 Pro) em cobertura total no Ambrosia (74,1% vs. ~16%).

Significância e Alegações

O artigo alega que o IntentRL promove transparência ao tornar as interpretações explícitas, permitindo que os usuários identifiquem rapidamente seu significado pretendido sem rodadas adicionais de interação. O formato de saída estruturado suporta aplicações downstream, particularmente em sistemas agênticos, onde o branching entre interpretações é benéfico.

Crucialmente, os autores argumentam que os ganhos de desempenho decorrem de aprender a raciocinar sobre a intenção do usuário e não apenas de adotar um formato de saída específico. Experimentos mostram que a amostragem paralela e estratégias de prompting alternativas falham em recuperar a diversidade de interpretações que o IntentRL alcança através de treinamento direcionado.

O trabalho defende uma mudança na forma de lidar com a ambiguidade: em vez de se comprometer silenciosamente com uma única interpretação (potencialmente errada) ou engajar em loops de clarificação custosos, os modelos devem ser treinados para enumerar interpretações plausíveis quando necessário. Esta abordagem é apresentada como um passo em direção a LLMs mais robustos e alinhados ao usuário que abraçam a ambiguidade em vez de obscurecê-la, particularmente em aplicações críticas de segurança onde a sobregeração de interpretações plausíveis é preferível à falha silenciosa.

Os autores reconhecem limitações, incluindo o limite fixo de cinco interpretações e a necessidade de modelos de base fortes, mas enfatizam que o método generaliza bem entre domínios e famílias de modelos sem exigir pipelines de anotação complexos.