What Models Know, How Well They Know It: Knowledge-Weighted Fine-Tuning for Learning When to Say "I Don't Know"

---

1. O Problema: Alinhamento de Conhecimento e Alucinações

Os Grandes Modelos de Linguagem (LLMs) demonstram capacidades impressionantes, mas ainda sofrem com alucinações (geração de conteúdo confiante, porém incorreto). O artigo identifica que uma causa fundamental dessas alucinações é o desalinhamento de conhecimento entre o pré-treinamento e o ajuste fino supervisionado (SFT).

• A Causa: Durante o ajuste fino, os modelos são forçados a gerar tokens rotulados mesmo para fatos que eles não "conhecem" intrinsecamente (conhecimento paramétrico não coberto no pré-treinamento).
• A Consequência: Em vez de reconhecer a ausência de conhecimento, o modelo tende a inventar respostas para consultas não respondíveis, gerando alucinações.
• Limitação de Abordagens Anteriores: Métodos existentes muitas vezes tratam o conhecimento como binário (sabe/não sabe) ou forçam a recusa em nível de token durante a decodificação, criando um trade-off intrínseco entre precisão e recusa.

2. Metodologia: Ajuste Fino Ponderado por Conhecimento (KWT)

Os autores propõem o KWT (Knowledge-Weighted Fine-Tuning), uma abordagem que estima o conhecimento do modelo em nível de instância e ajusta o sinal de aprendizado de acordo.

A. Estimação de Conhecimento (Knowledge Estimation)

Em vez de uma classificação binária, o KWT calcula uma pontuação de conhecimento granular para cada instância de treinamento:

1. Inferência Multi-Amostrada: Para cada pergunta no conjunto de treinamento, o modelo base ($M_{base}$) gera múltiplas respostas (ex: 5 amostras) usando few-shot prompting (3-shot).
2. Avaliação de Corretude: As respostas geradas são comparadas com a resposta dourada ($r^*$) usando três métricas:
   • Exact Match (EM)
   • ROUGE (para variações lexicais semanticamente corretas)
   • LLM-as-a-judge (um LLM externo avalia a semântica).
   • Resultado: A pontuação de conhecimento ($KS$) é a média da corretude dessas amostras. O artigo demonstra que o LLM-as-a-judge tem a maior concordância com avaliações humanas.

B. Estratégia de Ponderação (Weighting Strategy)

Durante o ajuste fino, cada amostra recebe um peso ($w_i$) baseado na sua pontuação de conhecimento ($KS_i$):

• Estratégia Familiaridade (F - Padrão): Aumenta o peso de amostras que o modelo já conhece bem.
  • Fórmula: $w_i = \frac{S \times KS_i + 1}{S + 1}$
• Estratégia Reversa (RF): Dá mais peso a amostras desconhecidas (menos eficaz para o objetivo de reduzir alucinações).
• Uniforme (U): Todos os pesos são iguais (equivalente ao SFT padrão).

C. Expressão de Incerteza ()

Para amostras com pontuação de conhecimento zero (o modelo não sabe o fato), um token especial <IDK> ("I Don't Know") é anexado ao final da resposta alvo.

• Isso ensina o modelo a expressar incerteza explicitamente quando o conhecimento é insuficiente, em vez de alucinar.
• Diferente de substituir toda a resposta por <IDK>, o método preserva a estrutura da resposta para casos onde o modelo sabe a resposta, mantendo a precisão.

3. Métricas de Avaliação Propostas

O artigo introduz métricas específicas para avaliar o comportamento consciente da incerteza, superando a simples acurácia:

1. nAUPC (Normalized Area Under the Product Curve): Uma métrica unificada que avalia o equilíbrio entre:
   • UA-Acc (Uncertainty-Aware Accuracy): Recompensa a abstenção correta em respostas erradas.
   • CA-Acc (Certainty-Aware Accuracy): Penaliza a abstenção desnecessária em respostas corretas.
2. A-FPR (Abstain False Positive Rate): Proporção de casos em que o modelo usa <IDK> incorretamente (quando a resposta estava certa).
3. IDK Precision: Frequência com que uma previsão <IDK> é justificada (corresponde a uma resposta errada).

4. Resultados Experimentais

Os experimentos foram realizados em modelos como Llama 3.2-3B e Qwen 2.5-3B em conjuntos de dados diversos (HaluEval, MedQA, SciQ, RefuNQ, SelfAware).

• Desempenho em Domínio (In-Domain):
  • O KWT (LLM) alcançou o melhor desempenho em nAUPC, com menor A-FPR e maior precisão de IDK em comparação com SFT padrão, FT-TOP e R-Tuning.
  • A acurácia padrão (em perguntas respondíveis) permaneceu comparável ao SFT, indicando que a expressão de incerteza não degrada a capacidade de responder o que o modelo sabe.
• Generalização (Out-of-Domain):
  • O método generalizou bem para dados fora do domínio, demonstrando capacidade de distinguir perguntas respondíveis de não respondíveis mesmo em cenários não vistos durante o treino.
• Comparação com SEAL:
  • O método SEAL (que realoca probabilidade para um token de recusa) mostrou maior divergência KL em relação ao modelo base e pior desempenho em generalização, sugerindo que o KWT preserva melhor a distribuição preditiva original.
• Impacto do Token <IDK>:
  • Um estudo de ablação mostrou que a leve queda na acurácia padrão do KWT completo vem principalmente da supervisão do token <IDK>, e não da estratégia de ponderação. Remover o <IDK> mas manter a ponderação (KWT non-IDK) até melhora a acurácia, sugerindo que a ponderação por familiaridade é benéfica por si só.

5. Contribuições Principais

1. Estimação de Conhecimento Granular: Demonstração de que estimar quão bem o modelo conhece cada instância (em vez de apenas saber/não saber) é crucial para reduzir alucinações.
2. Estratégia de Ponderação Dependente de Conhecimento: Evidência de que ponderar o sinal de aprendizado com base no conhecimento pré-existente do modelo melhora tanto a expressão de incerteza quanto o desempenho geral.
3. Novas Métricas de Avaliação: Introdução de métricas (nAUPC, A-FPR, IDK Precision) para medir sistematicamente a consciência de conhecimento e a expressão de incerteza.
4. Abordagem Prática: Um método que permite ao modelo dizer "não sei" explicitamente sem sacrificar significativamente a precisão em perguntas que ele pode responder.

6. Significado e Conclusão

O trabalho propõe uma solução elegante para o problema de alucinação ao alinhar o processo de ajuste fino com o conhecimento real do modelo. Ao invés de forçar o modelo a aprender fatos desconhecidos (o que gera alucinações), o KWT reforça o que o modelo já sabe e ensina-o a recusar-se a responder quando o conhecimento é insuficiente.

Isso resulta em modelos mais confiáveis, que mantêm alta precisão em tarefas factuais, mas que são capazes de sinalizar incerteza de forma explícita e calibrada, reduzindo a geração de conteúdo falso confiante tanto em domínios conhecidos quanto em cenários novos. A principal limitação apontada é o custo computacional adicional devido à necessidade de inferência multi-amostrada para calcular as pontuações de conhecimento.