Resumo Técnico: Você Tem Certeza de que Tem Certeza? Sobre o Impacto do Ajuste de Instrução na Confiança e na Diversidade Lexical

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) ajustados por instrução demonstram um forte desempenho em tarefas de geração, mas recentemente foi demonstrado que eles exibem "excesso de confiança verbalizado", particularmente em contextos de perguntas e respostas (QA). Embora trabalhos anteriores tenham estabelecido que o pós-treinamento altera as distribuições de confiança dos modelos, permanece incerto se essas mudanças na confiança são acompanhadas por mudanças correspondentes na diversidade lexical das justificativas (rationales) geradas. Na geração de texto livre, a estimativa de incerteza é complicada pelas variações de forma superficial, onde respostas semanticamente equivalentes podem ser expressas através de sequências lexicais substancialmente diferentes. Este artigo investiga se o ajuste de instrução induz uma mudança uniforme tanto na confiança do modelo quanto na diversidade das justificativas que sustentam as respostas selecionadas.

Metodologia

Os autores realizam uma avaliação pareada em três famílias de modelos (Qwen2.5-7B, Mistral-7B-v0.3 e Llama-3.1-8B) e três benchmarks de raciocínio de múltipla escolha (ARC-Easy, MMLU e CommonsenseQA).

Métricas de Avaliação

1. Confiança do Modelo:
   • Entropia de Escolha ($H_{choice}$): Calculada via a entropia das verossimilhanças normalizadas das respostas para estimar a incerteza sobre as respostas candidatas.
   • Confiança Verbalizada: Elicitada via um protocolo de dois estágios onde o modelo primeiro seleciona uma resposta com base na verossimilhança e, em seguida, relata explicitamente uma probabilidade numérica de correção.
   • Calibração: Medida usando o Erro de Calibração Esperada (ECE) tanto para a confiança baseada em verossimilhança quanto para a verbalizada.
2. Diversidade Lexical:
   • Unique-2 (U2): A proporção de bigramas distintos nas justificativas geradas, servindo como uma medida de riqueza lexical de nível superficial.
   • 1-Self-BLEU (1-SB): A similaridade de cada justificativa com as demais justificativas geradas para a mesma questão. Os autores reportam $1-SB$ para que valores mais altos indiquem maior variabilidade entre as justificativas.
   • Amostragem: Para cada questão, $K=5$ justificativas são geradas usando prompting de Cadeia de Pensamento (Chain-of-Thought) com temperatura $T=0.7$.

Análise Controlada

Para isolar os efeitos do ajuste de instrução na diversidade de fatores de confusão, os autores realizam uma análise controlada restrita a exemplos onde:

1. O modelo base e o modelo ajustado selecionam a mesma resposta.
2. Os comprimentos das justificativas são pareados (combinando justificativas e truncando para o comprimento da menor).

Principais Resultados

1. O Ajuste de Instrução Aumenta a Confiança Sem Ganhos de Acurácia

Em todos os modelos e benchmarks, o ajuste de instrução consistentemente aumenta a confiança do modelo. Isso é evidenciado por:

• Diminuições significativas na entropia de escolha (ex: Qwen no MMLU caiu de 0.430 para 0.131).
• Aumentos significativos na confiança verbalizada (ex: Llama no ARC-Easy subiu de 49.2% para 90.4%).
• Crucialmente, esses aumentos de confiança não se correlacionam com melhorias consistentes na acurácia preditiva. Em vários casos (ex: Llama no ARC-Easy), a acurácia permaneceu inalterada apesar de mudanças significativas nas métricas de confiança.

2. Efeitos Heterogêneos na Diversidade Lexical

O impacto do ajuste de instrução na diversidade lexical é não uniforme e depende da métrica de diversidade específica e do modelo:

• Diversidade Entre Justificativas (1-SB): O ajuste de instrução diminui consistentemente a variabilidade entre justificativas (ou seja, as justificativas geradas tornam-se mais semelhantes entre si) em todos os modelos e benchmarks.
• Diversidade de Nível Superficial (Unique-2): As mudanças são inconsistentes. Por exemplo, o Unique-2 diminuiu para o Mistral no ARC-Easy e MMLU, mas aumentou no CSQA. Da mesma forma, o Qwen mostrou resultados mistos entre os benchmarks.

3. Desacoplamento de Incerteza e Diversidade

O estudo descobre que as diminuições na incerteza da resposta (aumento de confiança) não são consistentemente acompanhadas por diminuições na diversidade lexical.

• Para o Qwen, menor incerteza frequentemente coincidia com menor diversidade.
• Para o Mistral, menor incerteza coincidiu com um Unique-2 maior em 61.8% dos casos, mas com um 1-SB menor em 77.6% dos casos.
• Isso indica que a confiança e a diversidade da justificativa capturam efeitos distintos do ajuste de instrução.

4. Persistência dos Efeitos

As mudanças observadas na diversidade persistem mesmo após controlar a seleção de resposta e o comprimento da justificativa. No subconjunto controlado do benchmark CSQA:

• O 1-SB diminuiu consistentemente (indicando redução da variabilidade entre justificativas).
• O Unique-2 mostrou tendências mistas (diminuiu para Qwen, aumentou para Mistral e Llama), confirmando que as mudanças de diversidade não são meros artefatos de troca de resposta ou mudanças no comprimento de geração.

5. Descompasso de Calibração

As mudanças na diversidade lexical não se alinham consistentemente com as mudanças na calibração do modelo (ECE). Por exemplo, no MMLU, o ECE baseado em verossimilhança e o verbalizado do Llama aumentaram (piorando a calibração) enquanto as medidas de diversidade diminuíram. Isso sugere que métricas de diversidade não são proxies confiáveis para o status de calibração.

Significância e Alegações

O artigo afirma ser um dos primeiros a estudar conjuntamente a diversidade de justificativas e a confiança do modelo (tanto verbalizada quanto baseada em verossimilhança). Suas principais contribuições são:

1. Efeitos Distintos: O ajuste de instrução afeta a confiança e a diversidade da justificativa de formas diferentes. Embora aumente a confiança de forma confiável e reduza a variabilidade entre justificativas, ele não altera uniformemente a diversidade lexical superficial ou a acurácia preditiva.
2. Risco de Excesso de Confiança: As descobertas destacam um risco potencial em aplicações de alto risco (ex: medicina, direito): o ajuste de instrução pode encorajar uma confiança infundada nas previsões porque os modelos se tornam mais confiantes sem se tornarem mais precisos.
3. Limitações de Proxies: A divergência entre a confiança baseada em verossimilhança e a verbalizada, e a falta de correlação entre diversidade e calibração, sugere que a confiança deve ser avaliada usando múltiplas medidas complementares em vez de um único proxy.
4. Implicações para Estimativa de Incerteza: Os resultados motivam trabalhos futuros sobre estimativa de incerteza que considerem conjuntamente a confiança preditiva e a variação nas justificativas geradas, uma vez que a redução da diversidade entre justificativas pode limitar a utilidade de gerações repetidas como evidência independente da confiabilidade da previsão.

Os autores mantêm um escopo modesto, observando que seu estudo é limitado a benchmarks de múltipla escolha em inglês e medidas de diversidade lexical, e que investigações adicionais são necessárias em relação à diversidade semântica, generalização cross-lingual e prompts sensíveis à segurança.