Reasoning Gets Harder for LLMs Inside A Dialogue

Título: O Raciocínio Fica Mais Difícil para LLMs Dentro de um Diálogo

Autores: Ivan Kartáček, Mateusz Lango e Ondřej Dušek (Universidade Charles, Praga).

1. Problema e Motivação

Os Grandes Modelos de Linguagem (LLMs) demonstraram desempenho excepcional em diversos benchmarks de raciocínio isolados (como matemática, lógica e ciências). No entanto, a maioria dessas avaliações foca em tarefas estáticas e bem definidas, que diferem significativamente do uso real em Diálogos Orientados a Tarefas (TOD - Task-Oriented Dialogue).

No cenário real de TOD, os LLMs devem:

• Realizar raciocínio complexo enquanto geram texto.
• Adherir a instruções de papel (persona), formato, estilo e comprimento da resposta.
• Gerenciar interações de múltiplas voltas (multi-turn) e chamadas de ferramentas.

Os autores questionam se o alto desempenho em benchmarks isolados reflete com precisão a robustez do raciocínio dos modelos em cenários interativos e realistas. O objetivo do trabalho é investigar como o enquadramento de tarefas de raciocínio dentro de um diálogo afeta o desempenho dos LLMs e identificar as causas de qualquer degradação observada.

2. Metodologia: O Benchmark BOULDER

Para abordar essa lacuna, os autores introduzem o BOULDER (Benchmarking of Usefulness of LLMs in Dialogue-Embedded Reasoning), um novo benchmark dinâmico e automaticamente verificável.

• Estrutura: O benchmark contém 8 tarefas distintas baseadas em 4 domínios relacionados a viagens (trens, hotéis, restaurantes e atrações).
• Tipos de Raciocínio: As tarefas cobrem raciocínio aritmético, espacial, temporal e de senso comum.
• Design Experimental: Cada problema é apresentado em duas variantes:
  1. Isolado (Baseline): Uma tarefa única com dados JSON e a pergunta direta.
  2. Diálogo: O mesmo problema inserido em um histórico de conversa de múltiplas voltas, incluindo chamadas de ferramentas (tools), resultados de busca e instruções de papel (ex: "Você é um assistente de viagens amigável").
• Prevenção de Contaminação: O benchmark é gerado dinamicamente, permitindo a criação de novos exemplos com respostas verificáveis automaticamente, evitando vazamento de dados de treinamento.
• Avaliação: Utiliza parsers baseados em LLM (Qwen3) para extrair respostas de texto natural e compará-las com as respostas-alvo, aplicando correção de viés estatístico (Prediction-Powered Inference) para compensar erros de extração.

3. Configuração Experimental

• Modelos Avaliados: 8 LLMs de diferentes tamanhos e arquiteturas (incluindo Qwen3, Mistral, Command A, DeepSeek, Gemini e Claude).
• Configurações de Avaliação:
  1. Baseline: Tarefa isolada.
  2. Diálogo: Enquadramento em diálogo sem restrições de comprimento.
  3. Diálogo-Conciso: Enquadramento em diálogo com instrução para respostas curtas (máx. 2 frases).
• Ablações: Foram realizados experimentos para isolar fatores específicos:
  • Redução de domínios/ferramentas.
  • Remoção de chamadas de ferramentas.
  • Conversão de diálogo multi-turno para single-turn.
  • Inclusão de instruções de papel (persona) no modo isolado.
  • Instruções para "pensar mais" no modo diálogo.

4. Resultados Principais

Os experimentos revelaram uma lacuna substancial e consistente no desempenho entre os cenários isolados e os de diálogo:

1. Queda de Desempenho: Todos os modelos sofreram uma degradação significativa de desempenho no cenário de diálogo em comparação com o isolado. Isso ocorreu mesmo em modelos de última geração (SOTA) e grandes (ex: Claude 4.5 Sonnet, DeepSeek V3.2).
2. Fator Principal (Multi-turn): A ablação mostrou que a natureza de múltiplas voltas (multi-turn) é o principal motor da queda de desempenho. Adicionar voltas de conversa ao histórico reduz a capacidade de raciocínio, mesmo sem instruções complexas de papel.
3. Viés de Papel (Persona): A inclusão de instruções de papel (ex: "seja amigável e prestativo") no prompt isolado causou uma queda significativa no desempenho para cerca de metade dos modelos, sugerindo que a "persona" do assistente interfere no foco lógico.
4. Efeito das Ferramentas: A presença de esquemas de ferramentas (tool schemas) no contexto também impactou negativamente, embora menos do que a interação multi-turno.
5. Comportamento de Resposta:
   • No modo isolado, os modelos tendem a usar cadeias de pensamento longas e detalhadas.
   • No modo diálogo, os modelos adotam um estilo conversacional, respondendo "cedo" (antes de concluir o raciocínio) e justificando a resposta apenas depois, ou recusando-se a resolver a tarefa alegando falta de ferramentas.
   • Erros comuns incluem má interpretação de sistemas de coordenadas espaciais e soluções subótimas em problemas de otimização temporal.

5. Contribuições Chave

1. Novo Benchmark Dinâmico: Criação do BOULDER, projetado especificamente para testar raciocínio embutido em geração de linguagem em cenários interativos realistas.
2. Evidência Empírica de Degradação: Demonstração robusta de que o desempenho de raciocínio de LLMs não é transferível diretamente de tarefas isoladas para diálogos complexos, independentemente do tamanho do modelo.
3. Análise de Causas Raiz: Identificação de que a interação multi-turno e o condicionamento de papel são os principais culpados pela falha, mais do que a complexidade intrínseca da tarefa ou o uso de ferramentas.
4. Avaliação Realista: Ênfase na necessidade de avaliar LLMs em cenários de interação real, onde a geração de texto e o raciocínio ocorrem simultaneamente.

6. Significado e Conclusão

O artigo conclui que, embora os LLMs sejam frequentemente aplicados a sistemas de diálogo orientados a tarefas (TOD), existem limitações críticas em sua capacidade de raciocínio nesse contexto. A suposição de que um modelo que performa bem em benchmarks estáticos será robusto em um assistente conversacional é falsa.

Implicações:

• A avaliação de LLMs deve evoluir para incluir cenários interativos e de múltiplas voltas.
• Estratégias de engenharia de prompt que forçam o modelo a "pensar" explicitamente antes de responder podem ser necessárias, mas enfrentam desafios de latência e custo em TOD.
• O "viés de persona" (a necessidade de ser amigável/curto) pode ser prejudicial para tarefas que exigem precisão lógica rigorosa.

Este trabalho serve como um alerta para a comunidade de IA: o raciocínio em LLMs é frágil quando submetido às pressões de um diálogo realista, e métricas de benchmarks isolados podem estar superestimando a capacidade real desses sistemas em aplicações práticas.