Intent Mismatch Causes LLMs to Get Lost in Multi-Turn Conversation

Resumo Técnico: Desalinhamento de Intenção como Causa da Perda de Desempenho em Conversas de Múltiplos Turnos

1. O Problema: "Lost in Conversation" (LiC)

Pesquisas recentes identificaram que os Grandes Modelos de Linguagem (LLMs) sofrem uma queda drástica de desempenho (cerca de 30%) quando passam de interações de turno único (instruções completas) para diálogos de múltiplos turnos (instruções fragmentadas e ambíguas). Este fenômeno é chamado de "Lost in Conversation" (LiC).

A literatura anterior atribuía o LiC à falta de confiabilidade ou capacidade de raciocínio dos modelos. No entanto, este artigo propõe uma nova perspectiva: o problema não é uma deficiência de capacidade intrínseca do modelo, mas sim um gap de alinhamento de intenção.

• A Causa Raiz: Os usuários costumam ser vagos ou fornecer informações de forma incremental. Os LLMs, treinados para serem "úteis" e evitar respostas evasivas, tendem a fazer suposições prematuras para preencher lacunas de informação. Essas suposições criam um efeito de "travamento" (lock-in), onde o modelo desvia progressivamente da real intenção do usuário.
• A Falha da Escala: O artigo demonstra teoricamente que aumentar o tamanho do modelo (scaling) não resolve o problema, pois modelos maiores apenas se tornam mais eficientes em seguir o "usuário médio" (o viés do treinamento), exacerbando o desalinhamento com usuários que possuem padrões de comunicação específicos ou idiossincráticos.

2. Metodologia: Arquitetura Mediador-Assistente

Para resolver o problema, os autores propõem desacoplar a compreensão da intenção da execução da tarefa. Em vez de um único modelo tentar fazer ambas as coisas, eles introduzem um pipeline de dois estágios:

1. Mediador (Mediator): Atua como uma camada de alinhamento. Ele recebe o contexto ambíguo da conversa e o transforma em uma instrução explícita, bem estruturada e de "baixa entropia" (sem ambiguidades).
2. Assistente (Assistant): Recebe a instrução refinada pelo Mediador e foca exclusivamente na execução precisa da tarefa.

O componente de aprendizado: Refinador (Refiner) e Experiência
Para que o Mediador seja eficaz sem a necessidade de retreinamento (training-free), o sistema utiliza um mecanismo baseado em experiência:

• Construção de Pares Contrastivos: O sistema analisa o histórico do usuário, comparando trajetórias de conversas que falharam ($D^-$) com as que tiveram sucesso ($D^+$).
• Refinador: Um módulo que destila esses pares em Experiências ($E$) — diretrizes textuais concisas que descrevem os hábitos pragmáticos do usuário (ex: "Se o usuário não aprovar explicitamente a solução, ele deseja uma correção, não uma continuação").
• Injeção de Contexto: Essas experiências são injetadas no Mediador como instruções de sistema, permitindo que ele antecipe as necessidades do usuário com base em padrões históricos.

3. Principais Contribuições

• Nova Explicação Teórica: Demonstra que o LiC é um problema de gargalo de informação e desalinhamento pragmático, não de capacidade de raciocínio.
• Arquitetura de Desacoplamento: Introdução do framework Mediador-Assistente que separa a inferência de intenção da execução de tarefas.
• Abordagem Baseada em Experiência: Um método eficiente de aprendizado in-context que utiliza um Refinador para transformar logs de conversas em regras de alinhamento, sem necessidade de ajuste de parâmetros (fine-tuning).

4. Resultados Experimentais

Os testes foram realizados em diversos modelos (GPT-4o-mini, GPT-5.2 e DeepSeek-V3.2-Thinking) em domínios como Código, Banco de Dados, Ações e Matemática.

• Recuperação de Desempenho: O método proposto recuperou significativamente o desempenho perdido no cenário "Sharded" (ambíguo). Em média, houve um ganho de 20% no desempenho ($\bar{P}$) e 15% na confiabilidade ($R$).
• Superioridade sobre RAG e Sumarização: O artigo prova que métodos tradicionais de memória (como RAG/Mem0) ou sumarização de contexto falham, pois eles apenas recuperam fatos, mas não resolvem a ambiguidade da intenção. O Mediador superou o Mem0 em 17,4%.
• Eficiência: O uso do Refinador provou ser muito mais eficiente em termos de tokens do que o uso direto de In-Context Learning (ICL) com logs brutos, mantendo uma precisão comparável ou superior.

5. Significância

Este trabalho muda o paradigma de como abordamos a robustez em diálogos de múltiplos turnos. Ele sugere que, para criar IAs verdadeiramente colaborativas, não basta apenas modelos "mais inteligentes" ou com maior janela de contexto; é necessário construir sistemas que possuam uma camada de interpretação pragmática, capaz de entender não apenas o que o usuário disse, mas o que ele realmente pretende fazer.