Automatic Causal Fairness Analysis with LLM-Generated Reporting

1. Declaração do Problema

Embora a Aprendizagem de Máquina Automatizada (AutoML) vise simplificar a aplicação de ML a problemas do mundo real, os frameworks existentes ignoram em grande parte as questões de justiça inerentes aos dados de treinamento e às previsões. As abordagens atuais para justiça causal (por exemplo, justiça contrafactual) geralmente exigem:

• Decisões de modelagem manuais por especialistas de domínio.
• Interpretação complexa de grafos causais e fórmulas de identificação.
• Intervenção humana significativa, o que contradiz a filosofia de "zero-shot" ou intervenção humana mínima da AutoML.

Faltam ferramentas automatizadas que não apenas calculem métricas de justiça causal, mas também interpretem e relatem essas descobertas de forma acessível a não especialistas. Além disso, confiar exclusivamente em Grandes Modelos de Linguagem (LLMs) para analisar dados brutos quanto à justiça é ineficiente, propenso a alucinações e levanta preocupações de privacidade.

2. Metodologia: O Framework FairMind

Os autores introduzem o FairMind, um protótipo de software projetado para automatizar a análise de justiça no nível do conjunto de dados. A metodologia integra três componentes principais:

A. Fundamentação Teórica: Modelo de Justiça Padrão (SFM)

O framework é construído sobre o Modelo de Justiça Padrão proposto por Plečko e Bareinboim. Ele assume um Modelo Causal Estrutural (SCM) onde:

• $X$: Uma característica protegida (por exemplo, gênero, raça).
• $Y$: A variável alvo.
• $W$: Mediadores (fatores intermediários).
• $Z$: Confounders (causas compartilhadas de $X$ e $Y$).
• O modelo assume que não há confusão oculta entre grupos específicos de variáveis ($X, Z$ e $W, Y$).

B. Computação Causal Automatizada

O FairMind automatiza o cálculo de efeitos causais usando fórmulas de identificação derivadas de dados observacionais ($P(V)$). Ele calcula:

1. Variação Total (TV): Diferença observacional $P(y|x_1) - P(y|x_0)$.
2. Efeito Total (TE): Diferença causal via intervenção $P(Y_{x_1}) - P(Y_{x_0})$.
3. Efeito Espúrio (SE): A diferença entre TV e TE (viés de confusão).
4. Efeito Direto (DE): Efeito de $X$ sobre $Y$ mantendo os mediadores constantes em seu estado natural sob $x_0$.
5. Efeito Indireto (IE): Efeito de $X$ sobre $Y$ mediado através de $W$.

A ferramenta utiliza Redes Bayesianas (inferidas via biblioteca pgmpy com suavização de Laplace) para estimar essas probabilidades. Ela suporta cálculo em forma fechada desses efeitos, evitando a necessidade de modelagem complexa de equações estruturais pelo usuário.

C. Decomposições Novas e Extensões

O artigo estende o SFM padrão para lidar com cenários complexos do mundo real:

• Múltiplos Mediadores/Confounders: Novas fórmulas de decomposição (Proposições 3 e 4) permitem atribuir porções específicas do Efeito Indireto e do Efeito Espúrio a mediadores e confounders individuais.
• Alvos Não Binários: Para alvos contínuos ou ordinais, o framework utiliza expectativas (ou funções de utilidade) em vez de simples diferenças de probabilidade para preservar medidas assinadas de justiça.
• Características Protegidas Não Binárias: Lida com variáveis protegidas ordinais e multiclasse, calculando médias de efeitos pareados ou usando decomposição passo a passo para analisar disparidades entre níveis ordenados (por exemplo, níveis de educação).

D. Relatórios Gerados por LLM

Para preencher a lacuna entre resultados quantitativos e compreensão humana, o FairMind emprega um pipeline de duas etapas:

1. Computação Determinística: O FairMind calcula todas as métricas e gera um objeto JSON estruturado.
2. Interpretação por LLM: Um Grande Modelo de Linguagem (especificamente chatgpt-05-mini) atua como agente de relatórios. Ele recebe apenas os resultados numéricos estruturados (não dados brutos) e um prompt de Cadeia de Pensamento (CoT).
   • O prompt impõe uma estrutura analítica rigorosa, definindo o papel como "especialista em justiça causal".
   • Isso garante que o relatório esteja semanticamente ancorado aos dados computados, minimizando alucinações e garantindo coerência lógica.

3. Contribuições Principais

1. Ferramenta FairMind: A primeira ferramenta integrada à AutoML que automatiza a seleção, estimação e explicação de efeitos de justiça causal com entrada mínima do usuário.
2. Extensões Teóricas: Resultados de decomposição novos para múltiplos mediadores e confounders, e extensões para variáveis protegidas ordinais e alvos contínuos.
3. Abordagem Híbrida Neuro-Simbólica: Uma arquitetura robusta combinando inferência causal simbólica (para cálculo preciso) e LLMs neurais (para relatórios em linguagem natural).
4. Validação Empírica: Demonstrações nos conjuntos de dados UCI Adult Census e Student-Mat mostrando que a ferramenta pode identificar se as disparidades são impulsionadas por discriminação direta, mediação ou confusão.

4. Resultados e Descobertas

• Precisão vs. LLM Puro: Experimentos comparando FairMind+LLM com uma abordagem de "LLM Puro" (onde o LLM analisa dados brutos diretamente) mostram que a abordagem híbrida é superior.
  • Precisão: LLMs puros produziram cálculos incorretos (por exemplo, valores de Efeito Total errados) e interpretaram mal as contribuições dos mediadores.
  • Eficiência: A abordagem híbrida exigiu significativamente menos tokens (5.673 vs. 15.150) e pôde lidar com conjuntos de dados maiores, enquanto a abordagem de LLM Puro tornou-se inviável para dados maiores.
  • Privacidade: A abordagem híbrida protege a privacidade ao processar dados brutos em um ambiente local seguro e enviar apenas resumos numéricos ao LLM.
• Insights do Estudo de Caso:
  • No conjunto de dados Adult Census, a disparidade de renda observada entre gêneros foi encontrada como majoritariamente espúria (impulsionada pelo confounder "estado de relacionamento") em vez de um efeito causal direto.
  • No conjunto de dados Student-Mat, o framework quantificou com sucesso como o gênero afeta as taxas de aprovação em exames, distinguindo entre efeitos diretos e efeitos indiretos mediados pelo tempo de estudo.

5. Significado

Este trabalho representa um passo significativo rumo à democratização da análise de justiça causal. Ao automatizar os requisitos matemáticos complexos da justiça contrafactual e traduzi-los em relatórios em linguagem natural acessíveis, o FairMind permite:

• Não especialistas (cientistas de dados, formuladores de políticas) conduzirem auditorias rigorosas de justiça sem profundo conhecimento em inferência causal.
• Pipelines de AutoML incluírem a justiça como uma métrica de avaliação padrão e automatizada.
• Auditoria de justiça escalável e privada, evitando os riscos de enviar dados brutos sensíveis a LLMs externos.

O artigo conclui que essa integração neuro-simbólica oferece um caminho escalável para frente em direção a uma IA responsável, sugerindo que trabalhos futuros poderiam envolver aprendizado estrutural automatizado para inferir grafos causais e estratégias de mitigação automatizadas.