Resumo Técnico: Avaliação Comportamental In-Situ para Equidade de LLM, Não Pontuações de Testes Padronizados

Declaração do Problema

O paradigma atual para avaliar a equidade de Modelos de Linguagem de Grande Escala (LLM) depende fortemente de benchmarks de perguntas e respostas de testes padronizados. Nessa abordagem, os modelos são sondados com perguntas que referenciam atributos sensíveis (raça, gênero, idade), e escores agregados de viés são derivados de suas respostas. Os autores argumentam que esse paradigma é estruturalmente não confiável.

A análise empírica revela que escolhas superficiais de construção de prompts — fatores totalmente ortogonais à própria questão de equidade, como a formatação das opções de resposta (por exemplo, letras versus marcadores) ou a ordenação dos campos de saída JSON (resposta primeiro versus justificativa primeiro) — dominam a variância nos escores de equidade. Essas escolhas arbitrárias podem:

1. Representar a maioria da variância dos escores, mesmo após controlar a estocasticidade da decodificação.
2. Alterar as conclusões sobre equidade tanto em direção quanto em magnitude (por exemplo, um modelo parecer enviesado em uma direção sob um formato de prompt e não enviesado ou enviesado na direção oposta sob outro).
3. Induzir uma discordância severa nas classificações dos modelos, onde a posição de um modelo em relação aos outros flutua selvagemente com base na formatação do prompt, e não no comportamento intrínseco do modelo.

Consequentemente, o paradigma de testes padronizados falha em distinguir entre sinais genuínos de equidade e artefatos de medição, potencialmente levando a avaliações que são "justas no papel, mas enviesadas na prática".

Metodologia: MAC-Fairness

Para abordar essas limitações, os autores propõem o MAC-Fairness, um framework de conversação multiagente que desloca o foco da avaliação de perguntas e respostas estáticas para a medição comportamental in-situ.

Framework Central

• Conversação como Instrumento: Em vez de tratar o modelo como um candidato a teste, o framework usa o diálogo multi-turno como instrumento de medição. Perguntas de testes padronizados são reaproveitadas meramente como "sementes de conversação" para iniciar o diálogo, não como a métrica de avaliação direta.
• Configuração de Agentes: Agentes são instanciados a partir do mesmo modelo subjacente, mas configurados com atributos específicos:
  • Demografia: Categorias sociais (por exemplo, Preto, Branco, Idoso, Jovem).
  • Persona: Funções profissionais (por exemplo, Médico, Professor).
  • Instanciação: Se o agente é a pessoa ("humano") ou auxilia a pessoa ("IA").
  • Agente Baseline: Um agente de controle com demografia e persona nulas, instanciado como IA.
• Design Experimental:
  • Perspectiva de Si Mesmo: Examina como a identidade atribuída a um agente afeta sua persistência de posição (com que frequência ele mantém sua posição inicial) ao interagir com um agente baseline.
  • Perspectiva do Outro: Examina como a receptividade de um agente (disposição em mudar sua posição) muda com base na identidade revelada de seu par.
  • Variações Controladas: O framework varia sistematicamente estruturas de prompts, atribuições de identidade e condições de divulgação (pares revelados versus anônimos) em 8 milhões de transcrições de conversação.

Métricas Comportamentais

A métrica primária é a taxa de mudança ($\lambda$), definida como a probabilidade de um agente mudar sua resposta selecionada para corresponder à resposta anterior de um par, condicionado a um desacordo prévio.

• Persistência de Posição: Medida pela frequência com que um agente de identidade falha em mudar em direção à posição de um agente baseline.
• Receptividade ao Par: Medida pela frequência com que um agente baseline muda em direção à posição de um agente de identidade quando a identidade do par é revelada.

Resultados Chave

1. Instabilidade dos Paradigmas de Testes Padronizados

A avaliação em 11 modelos de pesos abertos (de 3B a 70B parâmetros) e dois benchmarks principais (BBQ e Difference-Awareness) confirmou a instabilidade estrutural:

• Dominância da Variância: Escolhas de construção de prompts explicaram uma proporção significativa da variância dos escores ($\eta^2$), com muitos resultados permanecendo estatisticamente significativos após a correção de Benjamini-Hochberg.
• Mudanças Direcionais: Para modelos como o GLM 4.7 Flash, a razão entre escores de viés extremos dentro de uma única categoria atingiu 57×. Várias categorias exibiram "inversões de sinal", onde o modelo parecia enviesado em direções opostas dependendo do formato do prompt.
• Discordância de Classificação: As classificações dos modelos foram altamente instáveis; um modelo poderia percorrer toda a faixa de classificações (do melhor ao pior) exclusivamente com base em variações superficiais do prompt.

2. Assinaturas Comportamentais In-Situ Estáveis

Em contraste com a volatilidade dos testes padronizados, o MAC-Fairness revelou padrões comportamentais estáveis e específicos do modelo que se replicaram em diferentes benchmarks (BBQ, Discrim-Eval, Difference-Awareness):

• Perspectiva de Si Mesmo (Persistência de Posição):

  • Atribuição Demográfica Aumenta a Teimosia: Atribuir qualquer identidade demográfica (por exemplo, Preto, Branco, Idoso) geralmente aumentou a persistência de posição (tornou os agentes mais "teimosos") em comparação com uma atribuição demográfica nula.
  • Assimetria em Grupos Desfavorecidos: Agentes atribuídos a demografias desfavorecidas (Preto, Idoso, Feminino) consistentemente mostraram maior persistência de posição do que seus pares correspondentes (Branco, Jovem, Masculino) em múltiplos modelos e benchmarks. Esse efeito foi particularmente pronunciado nos modelos Ministral 3 e Qwen3.
  • Efeitos de Instanciação: Efeitos relacionados à raça persistiram sob ambas as instanciações "humano" e "IA", enquanto efeitos relacionados à idade foram observados principalmente sob instanciação "humano".

• Perspectiva do Outro (Receptividade ao Par):

  • Receptividade Diferencial: A receptividade do agente baseline variou dependendo de qual identidade foi revelada. Revelar "Preto" (vs. "Branco") ou "Feminino" (vs. "Masculino") aumentou a receptividade do agente baseline em modelos específicos (notavelmente GLM 4.7 Flash).
  • Modulação por Instanciação: O efeito da revelação de identidade foi modulado pelo fato de o par ser instanciado como "humano" ou "IA". Por exemplo, no Phi-4 Mini, a instanciação humana diminuiu a receptividade quando o par foi revelado como "Idoso".
  • Identidade vs. Nulo: Diferentemente da perspectiva de si mesmo, simplesmente revelar qualquer identidade demográfica não alterou robustamente a receptividade em comparação com uma revelação nula; o conteúdo demográfico específico importou mais do que a mera presença de uma identidade.

Significado e Alegações

O artigo alega que a equidade de LLM deve ser avaliada através do comportamento conversacional in-situ e não por pontuações de testes padronizados.

• Mudança de Paradigma: Os autores argumentam pela migração de avaliações estáticas baseadas em pontuações, que são vulneráveis a artefatos de prompts, para frameworks que capturam a equidade através de interações comportamentais dinâmicas.
• Generalizabilidade: As assinaturas comportamentais identificadas (por exemplo, maior persistência para identidades desfavorecidas) são alegadas como estáveis através de benchmarks com diferentes alvos de equidade, estruturas de perguntas e metodologias. Essa consistência entre benchmarks sugere que esses padrões refletem propriedades comportamentais intrínsecas dos modelos, e não artefatos de designs de avaliação específicos.
• Validade de Medição: Ao tratar a própria conversação como o instrumento, o MAC-Fairness visa fornecer uma avaliação mais fundamentada e confiável de como os modelos se comportam quando a identidade é integrada à interação natural, oferecendo evidências que o paradigma de testes padronizados não pode fornecer.

O trabalho não propõe uma nova "pontuação de equidade" para substituir as existentes, mas sim uma mudança metodológica para identificar padrões comportamentais estáveis que são robustos ao ruído inerente aos protocolos de avaliação atuais.