Multiple Choice Questions: Reasoning Makes Large Language Models (LLMs) More Self-Confident, Especially When They are Wrong

Resumo Técnico: Questões de Múltipla Escolha: O Raciocínio Torna os Modelos de Linguagem de Grande Escala (LLMs) Mais Autoconfiantes, Especialmente Quando Estão Errados

Enunciado do Problema
A avaliação de Modelos de Linguagem de Grande Escala (LLMs) frequentemente depende de benchmarks de Questões de Múltipla Escolha (MCQ). Embora a precisão seja a métrica padrão, ela falha em capturar a confiança do modelo em suas respostas. A confiança é frequentemente estimada usando a probabilidade (logprobs) atribuída ao token selecionado. Existe uma lacuna crítica na compreensão de como a estratégia de resposta — especificamente, o uso de promptagem de Cadeia de Pensamento (CoT) versus resposta direta — afeta essas estimativas de confiança. Não está claro se os passos de raciocínio melhoram genuinamente a calibração da confiança ou se introduzem vieses sistemáticos, particularmente no que diz respeito à confiabilidade das pontuações de confiança para respostas incorretas.

Metodologia
Os autores conduziram uma avaliação abrangente em sete LLMs (incluindo LLaMA3.1-8B e LLaMA3.2-11B da Meta, Mistral-7B, Gemma-2-9B do Google, Yi-1.5-9B da 01.AI, e GPT-4o-mini e GPT-4o da OpenAI) usando o benchmark Massive Multitask Language Understanding (MMLU). O MMLU cobre 57 disciplinas distintas e mais de 15.000 perguntas.

O estudo comparou duas condições de promptagem para cada modelo:

1. Promptagem Direta: O modelo é instruído a outputar apenas a letra da solução em um formato estruturado, sem texto intermediário.
2. Promptagem de Cadeia de Pensamento (CoT): O modelo é instruído a "pensar passo a passo" (fornecendo pelo menos três passos de raciocínio) antes de outputar a letra da solução no mesmo formato estruturado.

Os pesquisadores analisaram as log-probabilidades das opções selecionadas para estimar a confiança. Eles empregaram testes estatísticos (testes t pareados) para determinar significância e utilizaram métricas de calibração padrão, especificamente o Erro de Calibração Esperado (ECE) e pontuações de Brier, para quantificar a relação entre confiança e correção. A análise foi ainda estratificada por correção (respostas corretas versus incorretas) e por categoria de disciplina.

Principais Resultados
A avaliação produziu cinco achados principais:

1. Aumento da Confiança com Raciocínio: Todos os modelos testados exibiram confiança sistematicamente maior (probabilidades atribuídas mais altas) ao usar promptagem CoT em comparação com a resposta direta. Esse aumento foi estatisticamente significativo ($p < 1 \times 10^{-10}$).
2. Confiança Desproporcional em Erros: Embora os modelos fossem geralmente mais confiantes quando corretos, a magnitude do aumento da confiança foi sistematicamente maior quando a resposta selecionada estava incorreta. A promptagem CoT amplificou previsões de alta confiança especificamente para respostas erradas.
3. Calibração Degradada: O uso de promptagem CoT piorou as métricas de calibração padrão. Para cinco dos sete modelos, o Erro de Calibração Esperado (ECE) aumentou sob CoT. Da mesma forma, as pontuações de Brier aumentaram para vários modelos, indicando que as probabilidades mais altas atribuídas às opções selecionadas não se traduziram em previsões melhor calibradas.
4. Consistência entre Tópicos: A inflação da confiança ocorreu em praticamente todas as 57 categorias do MMLU. No entanto, o efeito foi mais pronunciado em disciplinas que exigem raciocínio (por exemplo, ciências) em comparação com disciplinas baseadas em fatos, embora mesmo em disciplinas baseadas em fatos onde a precisão não melhorou (ou diminuiu), a confiança em respostas incorretas aumentou significativamente.
5. Mecanismo de Superconfiança: O estudo observou que o efeito de superconfiança é impulsionado pelo próprio processo de raciocínio, e não meramente pelo CoT selecionar opções diferentes. Um estudo de ablação que restringiu a análise a perguntas onde ambos os prompts selecionaram a mesma opção mostrou que o ECE ainda aumentou para todos os modelos sob CoT.

Significado e Implicações
O artigo conclui que os processos de raciocínio alteram as probabilidades dos tokens, provavelmente porque a previsão da resposta final depende conjuntamente da pergunta e do raciocínio auto-gerado pelo modelo. Isso leva a estimativas de confiança infladas que não necessariamente correlacionam com a correção.

Os autores destacam uma implicação crítica para a avaliação de LLMs: em configurações de MCQ utilizando promptagem CoT, estimativas de confiança baseadas em logprob devem ser usadas com extrema cautela como base para avaliação ou mecanismos metacognitivos. O fenômeno espelha o comportamento humano onde "explicar é acreditar", contudo, em LLMs, esse mecanismo pode levar a um estado onde o modelo está altamente confiante em conclusões errôneas. O estudo sugere que, embora o CoT melhore a precisão em muitas tarefas complexas, ele simultaneamente degrada a confiabilidade das métricas de confiança, potencialmente tornando as saídas errôneas mais persuasivas e menos escrutinadas.

Os autores notam limitações, incluindo o foco em modelos de pesos abertos relativamente pequenos (com exceção dos modelos da OpenAI) e a dependência de um único benchmark. Eles apelam para pesquisas futuras que explorem métodos robustos de estimativa de confiança que levem em conta o comprimento da resposta e a profundidade do CoT, e para realizar estudos sistemáticos de comparação entre humanos e LLMs para melhor entender esses comportamentos metacognitivos.