Resumo Técnico: Detecção de Viés Causal em Inteligência Artificial Generativa

Declaração do Problema

À medida que sistemas automatizados baseados em inteligência artificial (IA) são cada vez mais implantados em domínios de alto risco (por exemplo, contratação, empréstimos, saúde), as preocupações relativas à equidade e à perpetuação de disparidades demográficas intensificaram-se. Embora trabalhos anteriores em equidade causal tenham estabelecido um quadro principiado para o cenário padrão de aprendizado de máquina (ML)—onde um tomador de decisão constrói uma única função preditiva $f_{\hat{Y}}$ enquanto herda mecanismos causais para todas as outras covariáveis do mundo real—este quadro é insuficiente para IA Generativa.

Os modelos generativos diferem fundamentalmente dos preditores padrão de ML:

1. Construção de Mecanismos: Ao contrário do ML padrão, que aprende um único mapeamento de covariáveis para um resultado, os modelos generativos constroem implicitamente suas próprias crenças sobre todos os mecanismos causais (incluindo aqueles para covariáveis $X, Z, W$), e não apenas sobre o resultado $Y$.
2. Granularidade dos Dados: Os modelos generativos frequentemente operam em modalidades de nível inferior (texto, imagens) em vez de dados tabulares estruturados, exigindo a inferência de relações entre variáveis que podem diferir significativamente das correlações do mundo real.
3. Propagação de Viés: Os métodos existentes falham em distinguir se as disparidades observadas nas saídas generativas surgem do mecanismo de resultado aprendido pelo modelo, de seus mecanismos de covariáveis aprendidos ou da interação entre eles.

O artigo aborda a necessidade de uma nova metodologia para detectar, quantificar e decompor o viés causal na IA generativa, analisando especificamente como os modelos generativos alteram as disparidades do mundo real através de seus mecanismos causais internos.

Metodologia

Os autores propõem um quadro teórico unificado que estende o Modelo Padrão de Equidade (SFM) para o cenário generativo utilizando Modelos Causais Estruturais (SCMs).

1. O Modelo Padrão de Equidade S (S-SFM)

A inovação central é a introdução de um nó de seleção $S$ que indica a fonte do mecanismo de geração de dados:

• $S = rw$ (ou $0$): O mecanismo do mundo real ($f^{rw}$).
• $S = gm$ (ou $1$): O mecanismo do modelo generativo ($f^{gm}$).

Neste quadro, o nó de seleção $S$ aponta para todas as variáveis ($X, Z, W, Y$), permitindo a substituição independente de mecanismos. Isso contrasta com o SFM padrão, onde $S$ tipicamente afeta apenas o mecanismo de resultado. O modelo define resultados potenciais $Y^{s_y}_{x_y, W^{s_w}_{x_w} | X=x_z, S=s_z}$, onde os sobrescritos denotam o ambiente (mundo real ou modelo) do qual o mecanismo específico é extraído, e os subscritos denotam os valores das variáveis ao longo de caminhos causais específicos.

2. Efeitos Causais S-Modificados

Os autores definem efeitos x-específicos S-modificados (Direto, Indireto e Espúrio) que levam em conta a fonte do mecanismo. Por exemplo, o efeito direto S-modificado é:
$$x\text{-}DE^{s_z, s_w, s_y}_{x_0, x_1}(y | x) = E[Y^{s_y}_{x_1, W^{s_w}_{x_0}} | X=x, S=s_z] - E[Y^{s_y}_{x_0, W^{s_w}_{x_0}} | X=x, S=s_z]$$
Isso permite o isolamento de como o efeito direto muda quando mecanismos específicos (por exemplo, $f_Y$, $f_W$ ou $f_{X,Z}$) são trocados do mundo real para o modelo generativo.

3. Decomposição das Diferenças de Disparidade

O artigo deriva um Teorema 1 que decompõe a diferença na variação total (TV) entre o mundo real e o modelo generativo ($\Delta TV$) em contribuições provenientes de mudanças nos caminhos diretos, indiretos e espúrios. Crucialmente, cada contribuição de caminho é ainda decomposta em três termos que representam a substituição passo a passo dos mecanismos:

1. T1: Substituição apenas do mecanismo de resultado ($f_Y$).
2. T2: Substituição do mecanismo mediador ($f_W$), com $f_Y$ já substituído.
3. T3: Substituição do mecanismo de covariável ($f_{X,Z}$), com $f_W$ e $f_Y$ já substituídos.

Esta decomposição granular permite que os pesquisadores identifiquem exatamente qual parte do "sistema de crenças" do modelo generativo impulsiona o viés.

4. Identificação e Estimação

O artigo estabelece condições de identificação (Proposição 3) mostrando que esses resultados potenciais podem ser estimados usando amostras de ambientes mistos. A estratégia de estimação envolve:

• Gerador ($\Gamma$): Um LLM instruído a gerar narrativas com base em condições específicas (por exemplo, "Escreva uma história sobre uma pessoa de [Raça], [Sexo], idade [Idade]...").
• Anotador ($A$): Um LLM separado que extrai valores estruturados (por exemplo, renda, educação, resultado) das narrativas geradas.
• Conjuntos de Dados: Construção de quatro conjuntos de dados específicos ($D_{s_0}$, $D_{s_0,s_0,s_1}$, $D_{s_0,s_1,s_1}$, $D_{s_1}$) representando a substituição progressiva de mecanismos, permitindo o cálculo dos termos de decomposição.

Contribuições Principais

1. Formalização da Equidade Causal em IA Generativa: O artigo unifica o cenário padrão de equidade em ML e o cenário de IA generativa sob um único guarda-chuva teórico (S-SFM), modelando explicitamente a construção de seus próprios mecanismos causais pelo modelo generativo.
2. Novos Resultados de Decomposição Causal: Introduz uma decomposição inovadora (Teorema 1) que quantifica os impactos na equidade ao longo de duas dimensões:
   • Diferentes caminhos causais (Direto, Indireto, Espúrio).
   • O mecanismo específico sendo substituído (Mundo real vs. Modelo).
3. Identificação e Estimação: Fornece condições de identificação e estimadores eficientes para essas quantidades causais, demonstrando como gerar os dados contrafactuais necessários usando LLMs.
4. Aplicação Empírica: A metodologia é aplicada para analisar viés racial e de gênero em 10 grandes modelos de linguagem (LLMs) em três conjuntos de dados:
   • NSDUH: Viés racial no abuso de substâncias (uso de maconha).
   • BRFSS: Viés racial no ônus de doenças crônicas (diabetes).
   • ACS: Viés de gênero nos níveis de renda.

Resultados

Os autores analisaram 10 modelos de peso aberto ajustados por instrução (incluindo as famílias Llama 3, Qwen, Gemma, DeepSeek e Phi) nos três conjuntos de dados.

• Assinaturas de Viés: O estudo produziu uma "assinatura de viés" de 27 dimensões para cada modelo. A agrupamento hierárquico revelou que a similaridade de viés não correlaciona estritamente com a família do modelo ou a escala de parâmetros; famílias distintas frequentemente exibiram assinaturas de viés mais próximas do que irmãos dentro da mesma família.
• Amplificação e Reversão:
  • Reversão: Os modelos frequentemente inverteram o sinal das disparidades do mundo real. Por exemplo, no conjunto de dados NSDUH, os dados do mundo real mostraram que minorias usam maconha em taxas menores (controlando por covariáveis), mas modelos como o Gemma 3 27B inverteram isso para mostrar minorias usando em taxas maiores.
  • Amplificação: No conjunto de dados BRFSS, os modelos frequentemente amplificaram o efeito direto da raça no risco de diabetes.
  • Atenuação: Alguns modelos atenuaram vantagens espúrias (por exemplo, a proteção relacionada à idade contra diabetes para minorias no BRFSS).
• Atribuição de Mecanismos: A decomposição revelou que o viés não é monolítico.
  • No caso do Gemma 3 27B (NSDUH), a reversão do efeito direto foi impulsionada principalmente pela substituição do mecanismo mediador ($f_W$), que codificava uma distribuição estereotipada de educação/renda para minorias, e não apenas pelo mecanismo de resultado.
  • No caso do Qwen 3.5 27B (BRFSS), a reversão do efeito direto foi dominada pelo mecanismo de resultado ($f_Y$), enquanto a reversão do efeito indireto foi impulsionada pelos mecanismos mediador ($f_W$) e de covariável ($f_{X,Z}$).

Significado e Alegações

O artigo alega que seu principal significado reside em fornecer uma lente causal granular para entender o viés na IA generativa, indo além de disparidades estatísticas agregadas.

• Além da Equidade Contrafactual: Ao contrário de trabalhos anteriores que focam exclusivamente na equidade contrafactual em classificação, este quadro modela o processo causal latente e quantifica quais mecanismos (geração de resultado, mediador ou covariável) contribuem para as disparidades.
• Generalização: O quadro generaliza estritamente a literatura existente de equidade causal para ML padrão (onde apenas o mecanismo de resultado é substituído) para o cenário generativo mais complexo, onde todos os mecanismos são potencialmente alterados.
• Utilidade Diagnóstica: A decomposição permite que os praticantes diagnostiquem se o viés de um modelo decorre de sua compreensão do resultado (por exemplo, "minorias têm maior probabilidade de usar drogas") ou de sua compreensão da estrutura do mundo (por exemplo, "minorias têm menor educação/renda"), oferecendo insights direcionados para mitigação.

Os autores permanecem modestos quanto às limitações, observando que o quadro assume a capacidade de consultar modelos para condicionais arbitrários (o que pode ser difícil em modelos de visão), requer a elicitação humana de suposições causais (especificação S-SFM) e foi restrito a modelos de peso aberto devido a restrições de custo para modelos fechados. Eles também observam que o quadro não cobre atualmente inferências feitas na ordem causal reversa (por exemplo, inferir raça a partir do salário).