ABCD: All Biases Come Disguised

Resumo Técnico: ABCD – All Biases Come Disguised

1. O Problema

As benchmarks de perguntas de múltipla escolha (MCQ) são o padrão da indústria para avaliar a capacidade de raciocínio e conhecimento de Grandes Modelos de Linguagem (LLMs). No entanto, o artigo identifica que esses modelos são altamente sensíveis a artefatos superficiais das perguntas, em vez de dependerem genuinamente do raciocínio lógico.

Os autores demonstram que os LLMs exploram vieses não intencionais para maximizar a precisão, incluindo:

• Viés de Posição: A tendência de escolher a resposta baseada na sua localização (ex: sempre a opção C).
• Viés de Rótulo: A preferência por certos símbolos de rótulo (ex: "A", "B", "C", "D") em vez do conteúdo da resposta.
• Viés de Distribuição em Few-Shot: A exploração da distribuição estatística das respostas corretas nos exemplos de few-shot (ex: se 3 de 4 exemplos têm a resposta "A", o modelo tende a escolher "A" para a nova pergunta, independentemente do conteúdo).
• Viés de Modo de Resposta: A preferência por gerar apenas o rótulo da letra em vez do texto completo da resposta.

Estes vieses levam a avaliações infladas, onde a alta performance pode refletir a capacidade do modelo de "trapacear" no formato da pergunta, e não sua inteligência real.

2. Metodologia Proposta

Para diagnosticar e mitigar esses problemas, os autores propõem duas inovações principais:

A. NonsenseQA (Ferramenta de Diagnóstico)

• Um dataset sintético composto por 1.000 perguntas aleatórias geradas a partir de palavras sem sentido, com opções de resposta também aleatórias.
• A resposta correta é atribuída aleatoriamente, garantindo uma distribuição uniforme (25% de chance para cada opção).
• Objetivo: Se um modelo obtém precisão significativamente acima de 25% neste dataset, isso prova que ele está explorando vieses de formato (rótulos, posição ou distribuição de few-shot) em vez de raciocinar, já que não há lógica semântica para seguir.

B. Protocolo de Avaliação Reduzida de Viés (M&D - Matched-and-Dashed)
Os autores propõem um novo protocolo de avaliação que substitui o método padrão "Select-and-Letter" (S&L). O protocolo M&D consiste em:

1. Rótulos Uniformes e Desordenados: Substituição dos rótulos tradicionais (A, B, C, D) por hífens idênticos (-, -, -, -). Isso elimina o viés de ordem e associação semântica dos rótulos.
2. Geração de Resposta Completa: O modelo é instruído a gerar o texto completo da opção escolhida, em vez de apenas prever a letra do rótulo.
3. Correspondência Semântica: A resposta gerada pelo modelo é comparada com as opções originais usando um modelo de similaridade de sentenças (embedding) e uma função de similaridade (ex: cosseno). A opção com a maior similaridade semântica é selecionada como a resposta final.

Este protocolo permite que o modelo utilize Chain-of-Thought (raciocínio passo a passo) e variações linguísticas, enquanto remove os atalhos exploráveis pelos rótulos e posições.

3. Contribuições Principais

1. Protocolo Prático de Desviés (M&D): Uma solução simples de "passada única" que não requer fine-tuning do modelo, acesso a logits internos ou múltiplas passagens de avaliação. Requer apenas ~3% de tempo computacional adicional para a extração e correspondência semântica.
2. NonsenseQA: Um novo benchmark diagnóstico que quantifica e expõe diferentes tipos de viés (rótulo, posição, distribuição de few-shot) em LLMs, revelando comportamentos que benchmarks reais podem mascarar.
3. Análise de Viés em Few-Shot: Identificação e caracterização do viés de distribuição de respostas em exemplos de few-shot, um fator anteriormente subexplorado na literatura.
4. Validação em Múltiplos Cenários: Avaliação do protocolo em 13 LLMs (de 8B a 32B parâmetros) e 5 benchmarks distintos (MMLU-Pro, GPQA, CommonsenseQA, ARC, INCLUDE).

4. Resultados Chave

• Redução drástica de viés no NonsenseQA: Sob o protocolo padrão (S&L), vários modelos atingiram precisões superiores a 95% em perguntas sem sentido, explorando vieses. Com o protocolo M&D, a precisão caiu para níveis próximos ao acaso (25%), indicando que o viés foi efetivamente suprimido.
• Robustez em Benchmarks Reais:
  • A variância da precisão entre diferentes permutações de respostas (ataques de "mover a resposta") foi reduzida em 3 vezes (razão de variância média de 0,33) sob o protocolo M&D.
  • A maioria dos modelos (11 de 13) mostrou menor variância e uma lacura menor entre a precisão original e a precisão sob ataque.
• Estabilidade e Consistência: O protocolo M&D produziu avaliações mais estáveis, onde a performance do modelo não flutua drasticamente dependendo da ordem das opções ou dos exemplos de few-shot.
• Métricas de Correlação: A avaliação M&D melhorou a concordância de classificação (Rank Agreement) entre benchmarks de raciocínio desafiadores (como GPQA) e benchmarks mais simples, sugerindo que a remoção de artefatos revela melhor a verdadeira capacidade de raciocínio.
• Custo Computacional: O overhead computacional foi mínimo, aumentando o tempo total de avaliação em apenas cerca de 3% devido à etapa de extração e similaridade semântica.

5. Significado e Impacto

O artigo demonstra que a avaliação padrão de LLMs em benchmarks de múltipla escolha está fundamentalmente comprometida por artefatos que os modelos aprendem a explorar.

• Para Pesquisadores: O protocolo M&D oferece um método mais fiel para medir o raciocínio e o conhecimento, separando a capacidade real do modelo de sua habilidade de explorar o formato da pergunta.
• Para a Indústria: A adoção deste protocolo pode prevenir a superestimação das capacidades de modelos em cenários de alto risco (ex: decisões médicas ou jurídicas), onde a consistência e a robustez são críticas.
• Conclusão: A alta performance em benchmarks atuais pode ser, em grande parte, um artefato de avaliação. O uso de rótulos uniformes, geração de texto completo e correspondência semântica é essencial para obter uma avaliação robusta e justa dos LLMs.

Em suma, o trabalho "ABCD" fornece as ferramentas e o protocolo necessários para "desmascarar" os vieses ocultos na avaliação de IA, promovendo uma compreensão mais precisa das capacidades reais dos modelos.