Uncertainty as a Planning Signal: Multi-Turn Decision Making for Goal-Oriented Conversation

Título: Incerteza como Sinal de Planejamento: Tomada de Decisão Multi-turno para Conversas Orientadas a Objetivos

1. Problema Abordado

Os sistemas conversacionais orientados a objetivos (como recomendação de produtos ou conclusão de tarefas) enfrentam um desafio central: a tomada de decisão sob incerteza sobre a intenção do usuário. O sistema deve equilibrar dois objetivos conflitantes ao longo de múltiplas rodadas de interação:

1. Aquisição de Informação: Fazer perguntas para reduzir a incerteza sobre o que o usuário deseja.
2. Comprometimento (Commitment): Escolher e apresentar um alvo (item/tarefa) correto o mais cedo possível para minimizar o custo da interação.

Limitações das Abordagens Existentes:

• Métodos Estruturados Tradicionais: Permitem planejamento de longo prazo, mas dependem de esquemas pré-definidos e conhecimento de domínio limitado, o que os torna rígidos e pouco adaptáveis a entradas de usuários livres e diversificadas.
• Abordagens Baseadas em LLMs (Large Language Models): Oferecem interações flexíveis e ricas semanticamente, mas carecem de mecanismos explícitos para otimização de trajetórias de interação de longo prazo. Suas decisões são frequentemente guiadas por estratégias locais ou heurísticas, sem raciocínio sobre o impacto de longo prazo das ações, resultando em coordenação ineficiente entre a coleta de informações e o comprometimento.

2. Metodologia: Framework CUP

Os autores propõem o CUP (Conversation Uncertainty-aware Planning), um framework que formula a conversa orientada a objetivos como um problema de decisão sequencial consciente da incerteza. O sistema integra Modelos de Linguagem (LLMs) com planejamento estruturado, utilizando a incerteza como um sinal guia.

O framework consiste em três módulos principais:

1. Modelagem de Crença e Incerteza:

   • Mantém um estado de crença ($b_t$) sobre um conjunto de candidatos, representado como uma distribuição de probabilidade condicionada ao histórico da conversa.
   • Quantifica a incerteza atual utilizando a Entropia do estado de crença. Alta entropia indica que a crença está dispersa (muitos candidatos possíveis), enquanto baixa entropia indica concentração em poucos candidatos.
   • Define gatilhos para comprometimento baseados na redução da entropia normalizada e na probabilidade máxima do candidato.

2. Planejamento Guiado por Incerteza:

   • Utiliza um LLM para propor um conjunto de ações factíveis (perguntar sobre atributos ou comprometer-se com um candidato).
   • Calcula o Ganho de Informação Esperado (EIG - Expected Information Gain) para cada ação. O EIG mede a redução esperada na entropia (incerteza) após a execução de uma ação.
   • Implementa uma busca em Monte Carlo Tree Search (MCTS) para planejar trajetórias futuras. A função de pontuação do MCTS combina o valor estimado da ação com um termo de exploração ponderado pelo prior baseado no EIG. Isso permite que o agente avalie o impacto de longo prazo das ações, não apenas a próxima rodada imediata.

3. Execução de Ação Baseada em Linguagem:

   • O LLM gera a resposta natural (utterance) correspondente à ação selecionada pelo planejador.
   • Se a ação for "perguntar", o LLM gera uma pergunta com opções que particionam o conjunto de candidatos.
   • Se a ação for "comprometer-se", o LLM gera uma recomendação final baseada no candidato mais provável e no histórico.
   • O estado de crença é atualizado iterativamente usando uma lógica multiplicativa bayesiana, filtrando candidatos inconsistentes com a resposta do usuário.

3. Contribuições Principais

1. Identificação da Incerteza como Sinal Chave: O trabalho estabelece a incerteza não apenas como uma métrica de estado, mas como um sinal direto para guiar o planejamento multi-turno, coordenando a aquisição de informações e o comprometimento.
2. Formulação e Framework CUP: Propõe a formulação do problema como uma decisão sequencial consciente da incerteza e introduz o CUP, que utiliza o Ganho de Informação Esperado para tomada de decisão de longo horizonte.
3. Validação Empírica: Demonstra melhorias consistentes em eficácia (taxa de sucesso) e eficiência (número de rodadas) em múltiplos conjuntos de dados e backbones de modelos.

4. Resultados Experimentais

O método foi avaliado em quatro conjuntos de dados (Inspired, Beauty, Fashion, Home) utilizando diferentes backbones de modelos (Qwen3-4B, Mistral-7B, Llama-3.1-8B).

• Desempenho Superior: O CUP superou consistentemente todas as linhas de base, incluindo métodos baseados em recuperação (SBERT), LLMs diretos (Direct Prompting), métodos de raciocínio em cadeia (CoT) e outros métodos de planejamento com incerteza (UoT, ATD, BED-LLM, MISQ-HF).
  • Exemplo: No conjunto de dados "Inspired" com o modelo Qwen3-4B, a taxa de sucesso do CUP foi de 89,80%, comparado a 67,35% do melhor método anterior (MISQ-HF) e 32,65% do Direct Prompting.
• Eficiência: O CUP alcançou taxas de sucesso mais altas exigindo, em média, o mesmo ou menos número de rodadas de interação do que os métodos concorrentes.
• Robustez: O framework reduziu a sensibilidade à capacidade do modelo de linguagem subjacente. A diferença de desempenho entre modelos menores e maiores foi menor no CUP do que em métodos puramente baseados em LLM, indicando que o mecanismo de planejamento guia a seleção de ações independentemente da força bruta do LLM.
• Análise de Ablação: Confirmou que o módulo de planejamento estruturado é o fator dominante para o sucesso, superando significativamente variantes sem planejamento ou com seleção aleatória de ações.

5. Significado e Conclusão

O trabalho demonstra que tratar a conversa orientada a objetivos como um problema de decisão sequencial consciente da incerteza é fundamental para superar as limitações atuais. Ao integrar a incerteza diretamente no processo de planejamento (via MCTS e EIG), o CUP permite que o agente:

• Realize uma aquisição de informação mais eficiente, descartando candidatos de forma estratégica.
• Tome comprometimentos mais confiantes e precoces, evitando perguntas redundantes.
• Equilibre melhor o trade-off entre explorar (perguntar) e explorar (recomendar).

Este estudo oferece uma nova direção para sistemas conversacionais, movendo-se além de estratégias locais ou heurísticas para um planejamento global que maximiza a utilidade de longo prazo da interação, sendo particularmente eficaz em cenários com alta ambiguidade e sobreposição semântica entre candidatos.