Resumo Técnico: Equidade na Explicação em Modelos de Linguagem de Grande Escala

1. Declaração do Problema

Embora existam pesquisas extensas sobre equidade no nível de decisão em Modelos de Linguagem de Grande Escala (LLMs) — focando se atributos protegidos correlacionam-se com resultados adversos —, há uma lacuna crítica quanto à equidade na explicação. Este artigo define equidade na explicação como a variação sistemática na qualidade, profundidade, tom e sofisticação linguística das justificativas fornecidas por LLMs entre diferentes grupos demográficos, mesmo quando a decisão subjacente é idêntica.

Os autores argumentam que um modelo pode produzir decisões equilibradas enquanto as explica de forma desigual (por exemplo, oferecendo justificativas elaboradas e respeitosas a um grupo e curtas e desdenhosas a outro). Essa disparidade distingue-se da equidade na decisão e possui urgência regulatória significativa, particularmente à luz do Regulamento de Inteligência Artificial da UE (Artigo 13), que exige que sistemas de IA de alto risco forneçam justificativas transparentes suficientes para que os indivíduos compreendam e contestem decisões. Se a qualidade da explicação for sistematicamente inferior para grupos minoritários, o cumprimento do "direito à explicação" fica comprometido.

2. Metodologia

2.1 Desenho Experimental

O estudo emprega um desenho empírico controlado usando substituição de nomes dentro de modelos de prompt, uma metodologia padrão em pesquisas de auditoria no estilo de correspondência.

• Domínios: Quatro domínios decisórios consequentes foram selecionados: Contratação, Triagem Médica, Avaliação de Crédito e Julgamento Legal.
• Modelos: 80 modelos de prompt foram construídos (20 por domínio). Em cada par, o conteúdo do cenário (qualificações, circunstâncias, resultado da decisão) é mantido constante, enquanto o atributo demográfico (nome) é variado para representar diferentes grupos (Gênero, Raça, Idade, Religião e identidades interseccionais).
• Modelos: Cinco LLMs foram avaliados: GPT-4.1, Claude Sonnet, LLaMA 3.3 70B, GPT-OSS 120B e Qwen3 32B.
• Volume de Dados: Até 400 pares de prompts foram avaliados em todos os modelos. Para a métrica de Explicação Vinculada à Decisão, uma explicação contrastiva foi elicida para cada prompt (justificando a decisão oposta no mesmo cenário) para calcular proxies de fidelidade.

2.2 A Taxonomia de Equidade na Explicação (EFT)

O artigo introduz a Taxonomia de Equidade na Explicação (EFT), um framework pragmático composto por cinco dimensões formalmente definidas e operacionalizáveis. Essas dimensões são mensuráveis via métricas de caixa-preta sem acesso aos internals do modelo:

1. Disparidade de Verbosidade: Medida pela contagem de palavras e profundidade de elaboração (número de razões semanticamente distintas identificadas via agrupamento de embeddings de sentenças).
2. Disparidade de Sentimento: Medida pela pontuação composta VADER para avaliar a valência emocional (positiva, negativa, neutra).
3. Disparidade de Mitigação Epistêmica: Medida pela Pontuação de Densidade de Mitigação (HDS), uma métrica baseada em léxico ponderado que quantifica a frequência de marcadores de incerteza (por exemplo, "pode", "possivelmente", "incerto").
4. Disparidade de Explicação Vinculada à Decisão: Medida pela Proxy de Fidelidade da Explicação (EFP). Esta heurística calcula a dissimilaridade estrutural (via distância cosseno de embeddings) entre uma explicação para uma decisão ($d$) e uma explicação para a decisão oposta ($\neg d$) no mesmo cenário. Um EFP mais baixo indica que a explicação é invariante à decisão, sugerindo falta de raciocínio genuíno.
5. Disparidade de Complexidade Lexical: Medida pelo Nível de Série Escolar Flesch-Kincaid (FKGL), Razão Tipo-Token (TTR) e densidade de termos de domínio.

2.3 Análise Estatística

As disparidades foram quantificadas usando diferenças absolutas entre pares demográficos. A significância estatística foi testada usando o teste de postos sinalizados de Wilcoxon de uma amostra, com tamanhos de efeito calculados via $d$ de Cohen. Múltiplas comparações foram corrigidas usando o procedimento Benjamini-Hochberg (BH).

3. Principais Contribuições

1. Taxonomia Operacional: A definição da EFT, fornecendo cinco dimensões distintas e mensuráveis de disparidade no nível da explicação.
2. Métricas Novas: A introdução da HDS e da EFP como heurísticas práticas de caixa-preta para auditoria da equidade na explicação sem exigir pesos do modelo ou acesso interno.
3. Benchmark Empírico: Um estudo em grande escala através de 80 modelos de prompt, 4 domínios e 5 LLMs, com resultados mostrando disparidades sistemáticas em todas as métricas.
4. Análise de Mitigação: Uma avaliação de duas intervenções de prompt ("Cego" e "Equidade") nos modelos com maior disparidade para determinar se instruções no nível de implantação podem resolver esses problemas.

4. Principais Resultados

4.1 Existência de Disparidades (RQ1)

Todas as oito métricas da EFT (incluindo submétricas para complexidade lexical) mostraram disparidades estatisticamente significativas em todos os pares de prompts ($p_{BH} < 10^{-62}$). Os tamanhos de efeito ($d$ de Cohen) variaram de pequenos a grandes:

• Efeitos Grandes: Complexidade Lexical (FKGL, $d=0,856$) e Mitigação Epistêmica (HDS, $d=0,810$).
• Efeitos Médios: Profundidade de elaboração, Sentimento, TTR, Densidade de Domínio e EFP ($d \approx 0,57–0,77$).
• Efeitos Pequenos: Verbosidade (Contagem de Palavras, $d=0,457$).
  A distribuição das disparidades foi assimétrica à direita, o que significa que, embora as disparidades médias fossem moderadas, pares demográficos específicos exibiram desigualdade extrema.

4.2 Eixos Demográficos (RQ2)

As disparidades variaram por eixo demográfico, mas não seguiram um único padrão uniforme de dano:

• Religião: Mostrou a maior disparidade média ($d=0,822$), particularmente na profundidade de elaboração e complexidade lexical, embora o tamanho da amostra para este eixo fosse pequeno ($n=40$).
• Direcionalidade: A direção da disparidade não foi uniforme. Por exemplo, candidatos com nomes muçulmanos receberam explicações significativamente mais curtas e menos elaboradas do que candidatos com nomes cristãos. Por outro lado, candidatas do sexo feminino receberam explicações mais longas e elaboradas do que candidatos do sexo masculino, embora isso não tenha correlacionado com sentimento mais positivo.

4.3 Variação entre Modelos (RQ3)

A escolha do modelo foi fortemente associada à magnitude da disparidade:

• Qwen3 32B exibiu as maiores disparidades, com disparidades de verbosidade 5,9 vezes maiores do que as do LLaMA 3.3 70B. Frequentemente produzia saídas minimalistas para um grupo demográfico enquanto gerava respostas detalhadas para outro em cenários idênticos.
• GPT-OSS 120B mostrou a maior disparidade na proxy EFP, particularmente no domínio legal, sugerindo que suas explicações eram menos sensíveis a mudanças de decisão para certos grupos.
• GPT-4.1 e LLaMA 3.3 70B foram os modelos mais equitativos, classificando-se em 4º e 5º lugares, embora ainda exibissem disparidades estatisticamente significativas.

4.4 Mitigação via Prompting (RQ4)

Duas intervenções de prompt ("Cego" e "Equidade") foram testadas no Qwen3 32B e no GPT-OSS 120B:

• Proxy EFP: Ambas as intervenções resultaram em reduções significativas (78–95%) na disparidade do EFP. No entanto, os autores observam que isso é ambíguo; poderia indicar uma sensibilidade mais consistente à decisão ou simplesmente explicações uniformemente genéricas.
• Dimensões Estilísticas: Nenhuma intervenção produziu reduções significativas na verbosidade, sentimento, mitigação ou complexidade lexical. Em alguns casos, as disparidades aumentaram (embora não significativamente).
• Conclusão: O prompting sozinho é insuficiente para resolver desigualdades estilísticas na explicação.

5. Significado e Alegações

O artigo afirma que a equidade na explicação é uma dimensão distinta, mensurável e com consequências legais para a segurança da IA, separada da equidade na decisão.

• Implicações Regulatórias: Os achados sugerem que organizações podem satisfazer a "letra" do Regulamento de IA da UE (fornecendo uma explicação) enquanto falham em seu "espírito" (fornecendo uma explicação de qualidade e acessibilidade iguais). A EFT oferece um framework de auditoria reproduzível e de caixa-preta para detectar essas assimetrias antes da janela de aplicação de 2026.
• Orientação de Implantação: O estudo identifica a seleção de modelos como a intervenção de maior alavancagem. Os praticantes são aconselhados de que estratégias simples de prompt não podem resolver disparidades estilísticas; em vez disso, abordar essas lacunas provavelmente requer intervenções no nível de treinamento (por exemplo, dados contrastivamente equilibrados ou ajuste fino direcionado).
• Limitações: Os autores afirmam explicitamente que a EFP é uma proxy heurística que requer validação humana, que o estudo depende de métricas automatizadas sem verdade fundamental avaliada por humanos e que o desenho de substituição de nomes captura sinais correlacionais em vez de atribuição causal a atributos demográficos específicos.

Em resumo, o artigo estabelece que os LLMs justificam decisões de forma sistematicamente diferente com base na estruturação demográfica, que essas disparidades são robustas entre modelos e domínios e que não podem ser facilmente corrigidas via prompting no nível de implantação, necessitando de uma mudança em direção a remediação no nível de treinamento e auditoria automatizada rigorosa.