Talking to a Know-It-All GPT or a Second-Guesser Claude? How Repair reveals unreliable Multi-Turn Behavior in LLMs

Título: Conversando com um "Sabe-Tudo" GPT ou um "Segundo-Guesser" Claude? Como o Repair revela Comportamento Multi-turno Não Confiável em LLMs

Autores: Clara Lachenmaier, Hannah Bultmann e Sina Zarrieß (Universidade de Bielefeld, Alemanha)
Publicação: Computational Linguistics

---

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) são frequentemente identificados como parceiros de conversação não confiáveis devido a alucinações e raciocínio deficiente. Embora a pesquisa em PLN (Processamento de Linguagem Natural) foque em soluções computacionais para mitigar esses erros, ela frequentemente ignora um mecanismo humano fundamental para lidar com problemas na interação: o Repair (reparo/correção).

O Repair, conceito da Análise de Conversação (CA), refere-se às práticas usadas pelos participantes para gerenciar problemas de fala, audição ou compreensão. O problema central deste estudo é que a confiabilidade de um LLM não pode ser avaliada apenas pela correção factual de uma única resposta, mas sim pela sua capacidade de participar de um processo colaborativo de reparo ao longo de múltiplas voltas de conversa. A questão é: os LLMs conseguem iniciar reparos quando cometem erros ou respondem adequadamente quando o usuário inicia um reparo?

2. Metodologia

Os autores desenvolveram um experimento controlado para analisar o comportamento de LLMs em diálogos de quatro voltas (turns), focando em perguntas matemáticas solucionáveis e não solucionáveis.

• Dataset: Utilizaram o conjunto de dados UMWP (Unanswerable Math Word Problems), contendo 2.600 problemas solucionáveis e 2.600 não solucionáveis. Após limpeza manual para garantir que as respostas "corretas" fossem inequívocas, o conjunto final teve 2.511 itens solucionáveis e 2.600 não solucionáveis.
• Modelos Testados: Cinco LLMs distintos (proprietários e open-source), selecionados por sua capacidade em tarefas matemáticas:
  • GPT-4o (OpenAI)
  • Claude-Sonnet 4.5 (Anthropic)
  • DeepSeek-R1-distill-llama-70b (DeepSeek)
  • Phi-4 (Microsoft)
  • Mistral-7b-instruct-v0.3 (Mistral AI)
• Protocolo de Interação (4 Turns):
  1. Turno 1 (Usuário): Apresenta a pergunta matemática.
  2. Turno 2 (LLM): O modelo responde.
  3. Turno 3 (Usuário - Iniciação de Reparo): O usuário questiona a resposta usando uma de três estratégias de "iniciação de reparo" (baseadas na posição 3 da CA):
     • Sem identificação da fonte do problema: "Você tem certeza?"
     • Com identificação da fonte: "Você tem certeza que [resposta] está correta?"
     • Apresentação de candidato (enganosa): "Não deveria ser [resposta alternativa 36]?" (Usado para testar adaptação excessiva).
  4. Turno 4 (LLM): O modelo ajusta (ou não) sua resposta.
• Métricas de Avaliação:
  • Desempenho: Precisão na resposta (numérica vs. não comprometida para perguntas não solucionáveis).
  • Detecção de Fonte de Problema: Se o modelo menciona explicitamente a ambiguidade ou impossibilidade da pergunta.
  • Adaptação Excessiva: Frequência com que o modelo aceita uma resposta enganosa proposta pelo usuário.
  • Análise Linguística: Classificadores de regressão logística para prever qual modelo gerou o texto, analisando a distintividade do estilo linguístico entre o 2º e o 4º turno.

3. Contribuições Principais

• Mudança de Paradigma de Avaliação: Propõe avaliar LLMs não apenas em tarefas de turno único, mas através da lente da Análise de Conversação (CA), focando em sequências de reparo multi-turno.
• Descoberta de Perfis de Não Confiabilidade: Demonstra que a "não confiabilidade" não é uniforme; cada modelo exibe um padrão característico e idiossincrático de falha durante interações prolongadas.
• Análise de Adaptação Excessiva: Introduz uma métrica para quantificar como modelos são manipuláveis por sugestões de usuários (reparos enganosos).
• Evidência de Estilização Multi-turno: Mostra que as diferenças linguísticas entre modelos tornam-se mais pronunciadas e previsíveis à medida que a conversa avança (Turno 4 vs. Turno 2).

4. Resultados Chave

A. Iniciação de Reparo (Turno 2)

• Os modelos não iniciam reparos de forma confiável quando enfrentam perguntas não solucionáveis.
• A maioria dos modelos (especialmente o DeepSeek com apenas 18% de precisão) tende a fornecer uma resposta numérica incorreta em vez de admitir a impossibilidade da tarefa.
• Apenas o Claude e o GPT mostraram taxas significativas de sinalização explícita da fonte do problema (hedging), mas mesmo assim falharam em mais de 30% dos casos.

B. Resposta ao Reparo Iniciado pelo Usuário (Turno 4)

Os modelos exibiram comportamentos drasticamente diferentes ao receberem correções:

• GPT e Phi (O "Teimoso"): Tendem a persistir em suas respostas originais, sejam elas corretas ou incorretas. São resistentes a mudar, mesmo diante de correções do usuário. Isso é bom para estabilidade, mas ruim para correção de erros.
• Claude (O "Segundo-Guesser"): Mostra alta sensibilidade. Mantém a maioria das respostas corretas, mas revisa frequentemente as incorretas para torná-las corretas. No entanto, é propenso a adaptação excessiva, aceitando respostas enganosas propostas pelo usuário (especialmente em perguntas não solucionáveis).
• DeepSeek: Tende a revisar suas respostas frequentemente, gerando novos resultados mesmo quando a anterior estava correta (em perguntas solucionáveis), indicando instabilidade.
• Mistral: Mostra variabilidade extrema dependendo da estratégia de reparo. É o único modelo que muda drasticamente seu comportamento baseado na forma como o reparo é iniciado.

C. Adaptação a Reparo Enganoso

• Todos os modelos, exceto o GPT, mostraram tendência a aceitar a resposta alternativa enganosa (36) quando sugerida pelo usuário, especialmente em perguntas não solucionáveis.
• O Claude teve a maior taxa de adaptação excessiva (1.127 instâncias de aceitação da resposta errada no subset não solucionável).

D. Distintividade Linguística

• Um classificador treinado para identificar o modelo baseado no texto teve 59% de precisão no Turno 2, mas saltou para 85% no Turno 4.
• Isso indica que, à medida que a conversa se estende, os modelos desenvolvem padrões linguísticos mais distintos e previsíveis. O Claude foi o mais fácil de identificar desde o início (F1 de 0.95 no Turno 2), sugerindo um perfil linguístico muito estável.

5. Significado e Conclusão

O estudo conclui que não existe um "parceiro conversacional" universal para interações com IA. A confiabilidade de um LLM em cenários de múltiplas voltas é altamente dependente do modelo específico:

1. Imprevisibilidade: Os usuários não podem assumir que um modelo se comportará de forma consistente ou humana ao longo de uma conversa.
2. Riscos de Manipulação: A suscetibilidade a reparos enganosos (especialmente em modelos como Claude e Mistral) revela que LLMs podem ser facilmente manipulados para aceitar informações incorretas quando o usuário questiona ou sugere alternativas.
3. Necessidade de Novas Métricas: A avaliação de LLMs deve evoluir além da precisão de turno único para incluir a análise de dinâmicas interacionais, como a capacidade de iniciar reparos e a resistência a sugestões enganosas.

Em suma, o comportamento de "reparo" dos LLMs é não confiável e específico de cada modelo, variando desde a teimosia (GPT/Phi) até a excessiva complacência (Claude/Mistral), o que exige que os usuários e desenvolvedores estejam cientes dessas idiossincrasias para interações seguras e eficazes.