Compared to What? Baselines and Metrics for Counterfactual Prompting

1. Declaração do Problema

O prompting contrafactual é um método padrão para avaliar Modelos de Linguagem de Grande Escala (LLMs), onde pesquisadores editam cirurgicamente uma entrada (por exemplo, trocando "masculino" para "feminino") para isolar o efeito de um fator específico (por exemplo, viés de gênero) na saída do modelo. A premissa central é que qualquer mudança observada na saída é causalmente atribuível à mudança semântica alvo.

Os autores argumentam que essa premissa é falha porque viola o princípio da inferência causal de Irrelevância da Variação do Tratamento.

• O Problema: Toda edição contrafactual é um "tratamento composto". Ela agrupa a variável de interesse (por exemplo, gênero) com variações acidentais de forma superficial (por exemplo, escolhas específicas de palavras, contagem de tokens, formulação).
• A Consequência: Sabe-se que os LLMs são sensíveis a formulações arbitrárias e mudanças de tokens (sensibilidade ao prompt). Portanto, uma inversão observada na saída pode ser causada pela mudança na estrutura do texto e não pelo significado semântico da perturbação.
• Lacuna Atual: Trabalhos anteriores frequentemente interpretam efeitos de perturbação brutos (por exemplo, uma taxa de inversão de respostas de 15%) como evidência de viés ou falta de fidelidade sem compará-los a uma distribuição "nula" de mudanças induzidas por modificações benignas que preservam o significado.

2. Metodologia

Os autores propõem um framework rigoroso para distinguir entre efeitos direcionados (causados pela variável de interesse) e sensibilidade geral do modelo (causada por ruído de modificação de texto).

A. Desenho Experimental

1. Perturbação Direcionada ($D_{targeted}$): A intervenção padrão (por exemplo, troca de gênero, mudança de estilo).
2. Perturbação de Linha de Base ($D_{benign}$): Uma condição de controle projetada para imitar as mudanças de nível superficial do alvo sem alterar a variável semântica.
   • Paráfrase Ajustada por Token: A linha de base primária. Um LLM parafraseia a entrada para preservar a semântica, mas altera uma fração de tokens correspondendo à porcentagem de edição de tokens da perturbação direcionada. Isso controla a descoberta de que a sensibilidade do modelo escala com o número de tokens alterados.
   • Frases Fixas: Uma linha de base secundária onde uma frase topicamente irrelevante é adicionada ao início do prompt.
3. Testes Estatísticos: Em vez de comparar métricas brutas, os autores utilizam testes estatísticos para determinar se a divergência na condição direcionada excede significativamente a divergência na condição de linha de base.
   • Métricas por amostra: Testes t pareados sobre as diferenças entre os valores de divergência direcionada e de linha de base.
   • Métricas agregadas: Testes de bootstrap não paramétricos sobre a diferença de estatísticas agregadas.
   • Regressão: Utilizada para hipóteses direcionais para estimar a magnitude e o sinal do efeito sistemático.

B. Métricas Avaliadas

O artigo avalia três classes de métricas para quantificar a divergência de saída:

1. Métricas Agregadas:
   • Taxa de Inversão (Flip Rate): Fração de instâncias onde a resposta categórica muda.
   • Informação Mútua (MI): Mede a consistência das respostas entre as condições.
   • Coeficiente Phi ($\phi$): Distingue concordância de desacordo sistemático.
   • Limitação: Estas têm baixa potência e podem ser degeneradas sob desequilíbrio de classes.
2. Métricas Distribucionais por Amostra:
   • Divergência de Kullback-Leibler (KL): Mede a mudança na distribuição de probabilidade sobre as opções de resposta.
   • Divergência de Jensen-Shannon (JSD): Uma variante simétrica e limitada da KL.
   • Vantagem: Estas capturam mudanças distribucionais sutis mesmo quando o limite de decisão final não é cruzado.
3. Coeficientes de Regressão:
   • Estima a mudança direcional ($\beta$) quando as perturbações possuem uma codificação com sinal (por exemplo, +1 para feminino, -1 para masculino). Isso caracteriza tanto a magnitude quanto a direção do viés.

3. Contribuições Principais

1. Correção Metodológica: Demonstra que, sem uma linha de base com magnitude correspondente, os resultados contrafactuais são ininterpretáveis. Efeitos observados frequentemente refletem sensibilidade geral ao prompt e não sensibilidade a fatores específicos.
2. Proposta de Framework: Introduz um framework de testes estatísticos que compara perturbações direcionadas contra linhas de base de paráfrase com correspondência de tokens.
3. Análise de Métricas: Prova empiricamente que métricas distribucionais por amostra (JSD, KL) e regressão são significativamente mais poderosas do que métricas agregadas (Taxa de Inversão, MI, $\phi$), especialmente em conjuntos de dados desequilibrados.
4. Código Aberto: Lança o cfprompt, um pacote Python que implementa este framework.

4. Resultados Principais

A. Revisão do MedPerturb (Viés Médico)

• Afirmação Original: Um estudo anterior afirmava que os LLMs são altamente sensíveis a pistas de gênero e estilo do paciente em triagem médica.
• Nova Descoberta: Quando comparado com linhas de base de paráfrase ajustadas por tokens:
  • Perturbações de Gênero: Os efeitos observados (por exemplo, taxa de inversão de 14,9% para troca de gênero) foram estatisticamente indistinguíveis dos efeitos da paráfrase de linha de base (14,1%).
  • Conclusão: De 120 testes, apenas 5 atingiram significância (todos relacionados a perturbações de estilo "colorido" em um modelo menor). A afirmação de que os modelos são especificamente sensíveis ao gênero do paciente é amplamente não suportada; os efeitos foram provavelmente ruído da sensibilidade geral ao texto.

B. Verificações de Sanidade

• Recall (Controle Positivo): Quando a tarefa foi explicitamente alterada para "Este paciente é do sexo masculino?", o framework detectou corretamente um efeito massivo e significativo, provando que não é excessivamente conservador.
• Precisão (Controle Negativo): Alterar a idade de um paciente em um ano (uma perturbação mínima) não produziu efeito significativo em comparação com a linha de base, confirmando a especificidade do framework.

C. Bias-in-Bios (Viés Ocupacional)

• Contexto: Testar se os modelos associam "Professor" a homens e "Enfermeira" a mulheres.
• Descobertas:
  • Métricas Agregadas: Mostraram taxas de inversão pequenas e quase insignificantes (por exemplo, +0,7%), levando a uma conclusão potencial de "sem viés".
  • Métricas por Amostra (JSD/KL): Detectaram mudanças distribucionais estatisticamente significativas ($p \approx 10^{-7}$).
  • Regressão: Revelou um viés direcional claro ($\hat{\beta} \approx -0,5$), indicando que trocar uma biografia para feminino diminui sistematicamente os log-odds da etiqueta "Professor".
  • Insight: O viés existe, mas opera abaixo do limite de decisão (mudança nos logits sem inverter a resposta binária). Apenas regressão e métricas distribucionais puderam caracterizar isso.

D. Replicação Q-Pain (Viés Racial)

• Replicando um estudo sobre disparidades raciais no manejo da dor, os autores descobriram que 4 dos 5 efeitos demográficos significativos tinham efeitos de linha de base correspondentes significativos (paráfrase). Isso sugere que as descobertas originais de viés racial podem ter sido confundidas pela sensibilidade geral ao texto.

5. Significado e Orientação Prática

Este artigo muda fundamentalmente a forma como o prompting contrafactual deve ser conduzido na avaliação de LLMs.

• A Linha de Base "Nula" é Obrigatória: Os pesquisadores devem incluir uma perturbação de linha de base (especificamente, uma paráfrase ajustada por tokens) para estabelecer uma distribuição nula. Sem isso, as descobertas de "viés" podem ser artefatos da sensibilidade ao prompt.
• A Seleção de Métricas Importa:
  • Evite confiar apenas na Taxa de Inversão ou MI, pois elas carecem de potência e falham sob desequilíbrio de classes.
  • Use JSD/KL para detectar mudanças distribucionais.
  • Use Regressão para quantificar a direção e a magnitude dos efeitos.
• Correspondência de Tokens: As linhas de base devem corresponder ao número de tokens alterados pela perturbação alvo, pois a sensibilidade do modelo escala com a magnitude da edição.
• Implicação: Muitas afirmações anteriores sobre viés ou infidelidade de LLMs podem ser exageradas ou mal atribuídas. Vieses reais e sutis existem (como mostrado no Bias-in-Bios), mas exigem ferramentas estatísticas mais sofisticadas para serem detectados.

Em resumo, o artigo argumenta que o prompting contrafactual não é um diagnóstico "plug-and-play"; ele requer controles estatísticos rigorosos para separar o sinal (sensibilidade real ao fator) do ruído (sensibilidade geral ao prompt).