Confident in a Confidence Score: Investigating the Sensitivity of Confidence Scores to Supervised Fine-Tuning

Título: Confiantes em uma Pontuação de Confiança: Investigando a Sensibilidade das Pontuações de Confiança ao Ajuste Fino Supervisionado (SFT)

1. O Problema

A quantificação de incerteza (UQ) em Modelos de Linguagem (LLMs) é crucial para aplicações como a detecção de alucinações, seleção de respostas de alta qualidade e alertas para revisão humana. Para que essas técnicas sejam úteis, as pontuações de confiança geradas pelo modelo devem estar correlacionadas com a qualidade real da saída.

No entanto, o artigo identifica um problema crítico: o Ajuste Fino Supervisionado (SFT), uma etapa comum no desenvolvimento de LLMs, pode alterar drasticamente a relação entre a confiança do modelo e a qualidade da sua saída. Trabalhos recentes sugerem que o SFT pode tornar os modelos excessivamente confiantes (overconfident), levando a uma "má correlação" (miscorrelation), onde o modelo expressa alta confiança em respostas erradas ou baixa confiança em respostas corretas. A questão central é: as métricas de confiança funcionam "prontas para uso" (off-the-shelf) em modelos que passaram por SFT, ou precisam ser reavaliadas?

2. Metodologia

Os autores investigaram a sensibilidade da correlação entre pontuações de confiança e qualidade da saída em relação aos parâmetros do SFT (número de épocas e tamanho do conjunto de dados).

• Configuração Experimental:

  • Modelos: BART Base, Flan-T5 Base, Llama 3.1-8B e Gemma-2-2B.
  • Tarefas: Tradução (Eng-Afr), Resposta a Perguntas (SQUAD) e Matemática (GSM8K).
  • Métricas de Confiança Analisadas:
    • Baseadas em Probabilidade: Probabilidade média de token, entropia média de token, entropia com Dropout, médias ponderadas de beams, etc.
    • Baseadas em Autoconsistência: Variância de BLEU, Divergência KL e Variância de METEOR entre amostras geradas com Dropout.
    • Híbridas: CoCoA (produto de métricas de probabilidade e consistência).
  • Medida de Desempenho: Correlação de Spearman entre a pontuação de confiança e a métrica de qualidade da tarefa (ex: ChrF+ para tradução, F1 para QA).

• Análise Dinâmica (Nível de Amostra):

  • Os autores classificaram as mudanças nas amostras pós-SFT em quatro quadrantes: concordantes (qualidade e confiança sobem/descem juntas), relativamente superconfiantes (confiança sobe, qualidade desce) e relativamente subconfiantes.
  • Investigaram casos de "má correlação relativa" onde a classificação de qualidade de duas amostras se inverte em relação à classificação de confiança.

3. Contribuições Principais e Resultados

A. Sensibilidade Extrema ao SFT (RQ1)

• Degradação da Correlação: Em 33,3% dos 144 cenários testados (combinações de modelo, tarefa e métrica), a correlação entre confiança e qualidade degradou-se após o SFT. Em outros casos, melhorou, mas a variação é imprevisível.
• Impacto de Épocas e Amostras: A correlação não é estável durante o treinamento. Pode haver uma queda de até 0,391 pontos na correlação de Spearman entre uma época e outra. O número de amostras de treinamento também afeta significativamente a correlação, indicando que métricas otimizadas para um tamanho de lote não funcionam necessariamente para outros.
• Conclusão Prática: Métricas de confiança não podem ser usadas "off-the-shelf" sem testes específicos para o pipeline de SFT utilizado.

B. Dinâmicas Subjacentes da Má Correlação (RQ2)

• Superconfiança Relativa (Métodos Baseados em Probabilidade): O SFT tende a aumentar as probabilidades de log dos tokens, independentemente da qualidade da saída. Isso leva a um aumento sistemático na confiança, mesmo quando a qualidade da resposta diminui (superconfiança).
• Subconfiança Relativa (Métodos Baseados em Consistência): Métodos que medem a variância entre amostras (como Dropout BLEU) tendem a se tornar mais subconfiantes após o SFT.
• Fator de Distração (Similaridade com Dados de Treino): A pesquisa descobriu que a confiança do modelo é influenciada por fatores além da qualidade da saída, especificamente a similaridade da amostra com a distribuição de dados de treino. Amostras que se assemelham muito aos dados de treino recebem pontuações de confiança mais altas, mesmo que a resposta esteja errada. Isso explica por que a correlação falha: o modelo está "confiante" porque a entrada é familiar, não porque a saída é correta.

C. Estudo de Caso: Impacto em Tarefas Descendentes

• Ao usar pontuações de confiança para prever se uma resposta em um dataset de QA (TruthfulQA) estava correta, a capacidade de identificar respostas corretas caiu em 47% dos casos após o SFT. Isso demonstra que a utilidade prática dessas métricas pode ser severamente comprometida se a má correlação não for tratada.

4. Significado e Implicações

O trabalho fornece evidências empíricas de que as métricas de incerteza padrão são frágeis frente ao ajuste fino supervisionado.

1. Necessidade de Validação: Engenheiros e pesquisadores não devem assumir que uma métrica de confiança (como entropia ou probabilidade média) funcionará bem em um modelo ajustado. Cada configuração de SFT exige uma verificação da correlação.
2. Direção para Futuras Pesquisas:
   • É necessário desenvolver novas métricas de confiança que sejam robustas ao SFT.
   • As futuras métricas devem considerar fatores como a similaridade com os dados de treino para isolar a relação real entre confiança e qualidade.
   • A comunidade deve relatar melhor a consistência dessas métricas em estudos futuros, em vez de apenas reportar a acurácia do modelo.

Em resumo, o artigo alerta que a confiança de um LLM é uma propriedade dinâmica que pode ser distorcida pelo próprio processo de treinamento (SFT), exigindo novas abordagens para garantir que os modelos saibam realmente quando estão errados.