Resumo Técnico: Generalização da Comunicação de Incerteza e Metacognição Ajustadas via Fine-Tuning em Grandes Modelos de Linguagem

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implantados em domínios de alto risco, como direito, medicina e educação. Uma limitação crítica nesses cenários é que os modelos frequentemente geram informações factualmente incorretas com alta confiança, induzindo usuários ao erro que carecem de sinais claros de incerteza. Embora os LLMs possam manter sinais internos de incerteza (por exemplo, verossimilhança de tokens ou consistência de amostragem), eles frequentemente falham em expressar esses sinais de forma explícita, calibrada e interpretável. O relato de confiança explícito atual é frequentemente mal alinhado com a correção da resposta, e medidas implícitas (como a consistência baseada em amostragem) exigem acesso a probabilidades internas ou incorrem em altos custos computacionais. O problema central abordado é se o ajuste fino supervisionado (supervised fine-tuning) pode melhorar a capacidade de um LLM de comunicar incerteza e se essas melhorias metacognitivas se generalizam através de diferentes domínios de conhecimento e formatos distintos de tarefas metacognitivas.

Metodologia

Modelos e Conjuntos de Dados

O estudo utilizou dois modelos representativos: GPT-4.1-mini e Llama3.1-70B-Instruct.

• Domínios de Treinamento: Três conjuntos de dados foram utilizados para o ajuste fino: MMLU-PRO (múltipla escolha de nível especialista), GSM8K (matemática de nível escolar) e TriviaQA (conhecimento geral de resposta curta). Estes foram usados individualmente e em combinação (M+G+T).
• Avaliação Fora do Domínio (Out-of-Domain): Três conjuntos de dados foram reservados exclusivamente para testar a generalização: TruthfulQA (equívocos/concepções errôneas), MetaMedQA (raciocínio médico) e LegalBench (raciocínio jurídico).

Tarefas Metacognitivas

Duas tarefas complementares foram avaliadas:

1. Estimativa de Confiança de Pergunta Única: O modelo fornece uma pontuação de confiança numérica (0–1) junto com sua resposta. O desempenho é medido por Calibração (Erro de Calibração Esperada, ECE) e Discriminação (Área Sob a Curva, AUC, e meta-informação ao nível da resposta, $meta-I^2_{r,ans}$).
2. Comparação de Confiança Pareada: Dada duas perguntas, o modelo seleciona aquela que tem maior probabilidade de responder corretamente. O desempenho é medido por AUCc (alinhamento com escores de consistência de referência) e AUCa (alinhamento com a correção real da resposta).

Procedimento de Ajuste Fino (Fine-Tuning)

Os autores empregaram ajuste fino supervisionado utilizando sinais de incerteza baseados em consistência como alvos de treinamento.

• Geração de Alvos: Para cada pergunta de treinamento, $N=10$ amostras independentes foram geradas. Um escore de consistência foi calculado com base na proporção de amostras que coincidem com a resposta modal.
• Calibração: Para tarefas de pergunta única, os escores de consistência foram mapeados para a precisão empírica (calibração factual) para criar valores de confiança alvo. Pequenas quantidades de ruído foram adicionadas a esses alvos para evitar que o modelo memorizasse bins discretos e para incentivar o relato de valores mais suaves.
• Variantes de Treinamento: Os modelos foram ajustados para:
  • Confiança de pergunta única (S).
  • Comparação pareada (C).
  • Ambas as tarefas conjuntamente (C+S).

Métricas de Avaliação

• Calibração (ECE): Mede a lacuna entre a confiança declarada e a precisão observada.
• Discriminação (AUC): Mede a probabilidade de uma resposta correta receber uma confiança maior do que uma resposta incorreta.
• Meta-Informação: Quantifica a redução na incerteza sobre a correção da resposta dada a faixa de confiança do modelo.

Contribuições Principais e Resultados

1. Melhoria Dentro dos Domínios de Treinamento

O ajuste fino supervisionado melhorou significamente tanto a calibração quanto a discriminação dentro dos domínios usados para o treinamento.

• Calibração: O ajuste fino reduziu substancialmente o ECE (ex: $\Delta ECE = -0.57$ para o GPT-4.1-mini em testes dentro do domínio). Os modelos passaram de predições superconfiantes e agrupadas para uma gama mais ampla de valores de confiança alinhados com a precisão empírica.
• Discriminação: O AUC aumentou significamente (ex: $\Delta AUC = 0.17$), indicando que os modelos tornaram-se melhores em atribuir maior confiança a respostas corretas e menor confiança a respostas incorretas.
• Precisão (Accuracy): Crucialmente, a precisão geral das respostas permaneceu estável ($\Delta Accuracy \approx 0$), confirmando que os ganhos em discriminação foram devidos a uma melhor estimativa de incerteza e não a uma melhoria na correção factual.

2. Generalização Entre Domínios

Modelos ajustados no conjunto de dados combinado (M+G+T) mostraram melhoria na calibração e discriminação quando avaliados em benchmarks fora do domínio (TruthfulQA, MetaMedQA, LegalBench).

• Embora os ganhos fossem menores do que as melhorias dentro do domínio, eles foram estatisticamente significativos ($\Delta AUC = 0.05$, $\Delta ECE = -0.03$).
• Isso sugere que as habilidades metacognitivas relativas à comunicação de incerteza podem ser transferidas para conteúdos e formatos de resposta desconhecidos, incluindo tarefas complexas de raciocínio médico e jurídico.

3. Transferência Limitada Entre Tarefas Metacognitivas

Uma descoberta fundamental é a falta de transferência bidirecional entre as duas tarefas metacognitivas quando treinadas isoladamente.

• Modelos ajustados apenas em confiança de pergunta única não apresentaram melhoria em tarefas de comparação pareada.
• Modelos ajustados apenas em comparação pareada não apresentaram melhoria na estimativa de confiança de pergunta única.
• Isso indica que a estimativa absoluta e o ranking relativo são aprendidos como rotinas metacognitivas distintas, e não como diferentes expressões de um único sinal de incerteza subjacente.

4. Benefícios do Ajuste Fino Multitarefa

O ajuste fino multitarefa (C+S) produziu uma generalização mais ampla do que o ajuste fino de tarefa única.

• Modelos treinados em ambas as tarefas simultaneamente mostraram desempenho superior em avaliações de fora do domínio em comparação com modelos de tarefa única.
• Por exemplo, no MetaMedQA, o modelo multitarefa alcançou maior AUC e menor ECE do que os modelos de tarefa única.
• Isso sugere que o treinamento conjunto incentiva o desenvolvimento de representações internas de incerteza parcialmente compartilhadas, preenchendo a lacuna entre rotinas metacognitivas isoladas.

5. Diferenças de Arquitetura de Modelo

Embora tanto o GPT-4.1-mini quanto o Llama3.1-70B tenham mostrado tendências semelhantes, houve nuances. O Llama-3.1-70B beneficiou-se do treinamento multitarefa para tarefas de pergunta única, mas mostrou um leve declínio no desempenho de comparação pareada sob o ajuste fino multitarefa em comparação com o treinamento de comparação de tarefa única. Isso implica que a capacidade de formar representações de incerteza compartilhadas via treinamento multitarefa pode variar entre arquiteturas de modelos.

6. Estudos de Ablação

• Calibração Factual: Incluir a etapa de mapear escores de consistência para a precisão empírica melhorou significativamente a calibração (reduzindo a superconfiança), mas não alterou significativamente a discriminação (AUC).
• Injeção de Ruído: Adicionar ruído aos valores de confiança alvo não alterou as métricas de desempenho agregadas, mas aumentou significativamente a diversidade dos valores de confiança reportados pelo modelo, evitando a saída de apenas números discretos e arredondados.

Significância e Alegações

O artigo afirma que a comunicação de incerteza em LLMs é treinável, mas que a transferência entre tarefas metacognitivas é limitada sem intervenção específica.

• Treinabilidade: O ajuste fino supervisionado usando sinais baseados em consistência alinha efetivamente a confiança declarada com a precisão observada, abordando o risco de erros superconfiantes em aplicações de alto risco.
• Generalização de Domínio: Essas melhorias transferem-se para domínios não vistos (médico, jurídico), sugerindo que a comunicação de incerteza não está estritamente vinculada a bases de conhecimento específicas.
• Especificidade de Tarefa: O estudo desafia a suposição de que as habilidades metacognitivas são monolíticas. A falha da transferência de treinamento de tarefa única para outros formatos metacognitivos sugere que os LLMs aprendem "rotinas" distintas para diferentes tipos de avaliação de incerteza.
• Solução Multitarefa: O artigo postula que o ajuste fino multitarefa é uma estratégia viável para superar essas limitações, promovendo representações de incerteza compartilhadas que apoiam uma generalização mais ampla.

Os autores concluem que, embora seus achados sejam promissores, eles se limitam a duas famílias de modelos e tarefas específicas. Eles pedem mais testes em diversas famílias de modelos e uma gama mais ampla de tarefas metacognitivas (por exemplo, abstenção, detecção de erro) para compreender plenamente a generalizabilidade dessas representações de incerteza compartilhadas.