RBCorr: Response Bias Correction in Language Models

Título: RBCorr: Correção de Viés de Resposta em Modelos de Linguagem

1. O Problema

Os Modelos de Linguagem (LMs) são conhecidos por sofrerem de vieses de resposta em cenários de avaliação com respostas fixas (ex: múltipla escolha, sim/não). Esses vieses manifestam-se como preferências sistemáticas por certas opções de resposta, independentemente do conteúdo da pergunta.

• Impacto: Esse viés reduz o desempenho real dos modelos e compromete a validade das avaliações de suas capacidades de raciocínio.
• Desafio Atual: Métodos de mitigação existentes, como manipulações de LogProbs (probabilidades de log), são acessíveis e de baixo custo, mas carecem de uma exploração sistemática de como o viés varia dependendo do modelo, do conjunto de dados e do formato do prompt. Além disso, é necessário distinguir o viés da precisão (acurácia) para obter insights mais nuances sobre a eficácia das correções.

2. Metodologia (RBCorr)

Os autores propõem uma estratégia simples e eficaz chamada RBCorr (Response Bias Correction), baseada na normalização das probabilidades de log (LogProbs) antes da geração da resposta final.

• Extração de Dados: O método extrai os valores de LogProbs dos tokens de resposta (última camada do LM) antes da transformação softmax e da amostragem final.
• Medição do Viés: Utiliza a Distância de Variação Total (TVD) para quantificar o viés. A TVD mede a divergência entre a distribuição de rótulos verdadeiros (que é uniforme em conjuntos de dados balanceados) e a distribuição de respostas do modelo. Um TVD de 0 indica ausência de viés.
• Mecanismo de Correção:
  1. Um pequeno conjunto de calibração (balanceado por classe) é amostrado do conjunto de dados.
  2. Calcula-se a média dos LogProbs para cada token de opção nesse conjunto de calibração.
  3. Esses valores médios são subtraídos dos LogProbs de cada item no conjunto de avaliação (fora da calibração).
  4. A resposta final é determinada com base nos LogProbs corrigidos.
• Eficiência: O método não requer computação adicional significativa, apenas o acesso aos LogProbs de base. Estudos mostram que um conjunto de calibração de apenas 100 perguntas é suficiente para obter correções estáveis.

3. Configuração Experimental

Os autores testaram o método em:

• Modelos: 12 LMs de peso aberto de três famílias (Falcon3, Gemma3, Llama3.1), variando em tamanho (ex: 3B a 70B) e tipo (base vs. ajustado por instrução).
• Datasets: 12 conjuntos de dados cobrindo 2, 3 e 4 opções de resposta (incluindo ARITH, bAbI, SNLI, MultiNLI, MMLU e EWoK).
• Prompts: Três formatos de complexidade variável: Zero-shot, Instruction-only e Few-shot.

4. Resultados Principais

• Existência de Viés (Experimento 1):

  • Os modelos exibem vieses inerentes significativos antes da correção.
  • Em questões de "Sim/Não", há uma tendência moderada para "Não".
  • Em tarefas de NLI (3 opções), há uma forte preferência pela opção '1' (Neutro/Contradição, dependendo da codificação), com modelos específicos mostrando abstenção total em certas opções.
  • Modelos maiores e ajustados por instrução tendem a ter distribuições de rótulos mais uniformes que seus pares menores ou base.

• Melhoria de Desempenho (Experimento 2):

  • A aplicação do RBCorr reduz consistentemente o viés (TVD mais baixo) em todos os modelos e datasets.
  • A correção resulta em aumento ou manutenção da acurácia.
  • Os ganhos de acurácia foram mais expressivos em modelos menores (famílias Gemma3 e Llama3.1 de 8B), indicando que o viés de resposta estava mascarando capacidades latentes desses modelos.
  • Em alguns casos (ex: dataset BABI), houve uma recuperação de até 29% de acurácia.

• Comparação com Métodos Existentes (Experimento 3):

  • O RBCorr foi comparado com Contextual Calibration (CC) e Batch Calibration (BC).
  • O RBCorr superou ou empatou com os outros métodos na maioria dos casos, especialmente em datasets de 2 e 3 opções.
  • O RBCorr produziu a maior redução de viés (TVD) em quase todos os casos observados.

• Não Transferibilidade (Experimento 4):

  • Um achado crucial é que os termos de correção não são transferíveis.
  • Tentar aplicar um termo de correção derivado de um modelo, dataset ou formato de prompt para outro (mesmo dentro da mesma família) resultou em taxas de sucesso muito baixas (~10-21%).
  • Isso demonstra que o viés é altamente específico ao contexto (modelo + dataset + prompt), tornando a calibração in situ essencial.

5. Contribuições Chave

1. Método RBCorr: Uma estratégia de correção de viés simples, de baixo custo e baseada em normalização de LogProbs que não requer re-treinamento.
2. Diagnóstico de Avaliação: A capacidade de separar o viés da acurácia, permitindo avaliar a verdadeira capacidade de raciocínio do modelo.
3. Análise de Generalização: A demonstração de que o viés de resposta é altamente dependente do contexto, invalidando a ideia de correções universais ou transferíveis entre configurações.
4. Benefício para Modelos Pequenos: A prova de que modelos menores podem ter seu desempenho real recuperado através da correção de viés, tornando-os mais viáveis para tarefas de classificação de texto.

6. Significância e Conclusão

O trabalho argumenta que as avaliações de benchmarks de LM devem ser acompanhadas por técnicas de debiasing para serem fiéis. O RBCorr oferece uma ferramenta prática para:

• Melhoria de Desempenho: Permitir que modelos menores e mais baratos atinjam níveis de precisão mais altos em tarefas de resposta fechada.
• Avaliação Justa: Garantir que as métricas de desempenho reflitam a capacidade de raciocínio do modelo e não apenas suas preferências de rótulo aprendidas.

Limitações: O método requer acesso aos LogProbs (limitado a modelos de código aberto) e foi testado em modelos até 70B parâmetros.

Código: Disponível em https://github.com/ombbhatt/rbcorr_bias_correction.