A Systems Thinking Approach to Algorithmic Fairness

Resumo Técnico: Uma Abordagem de Pensamento Sistêmico para a Justiça Algorítmica

1. O Problema

A comunidade de IA enfrenta um desafio persistente: desenvolver sistemas de IA/ML que sejam justos e alinhados aos valores democráticos compartilhados da sociedade. As abordagens puramente técnicas, baseadas apenas em correlações estatísticas, falharam em resolver o problema da justiça algorítmica, pois não conseguem capturar a complexidade das definições legais de discriminação (como tratamento desigual e impacto desigual) nem as divergências políticas e sociais sobre o que constitui "justiça".

O problema central é que a justiça é um problema sociotécnico. Diferentes grupos políticos e sociais possuem modelos mentais distintos sobre onde reside o viés no processo de geração de dados (atribuição interna vs. externa). Abordagens anteriores de inferência causal falharam em integrar essas perspectivas ideológicas e em modelar a dinâmica temporal (feedback loops) que perpetua disparidades.

2. Metodologia

O autor propõe uma unificação de três disciplinas analíticas sob a ótica do Pensamento Sistêmico:

1. Aprendizado de Máquina (ML): Para modelar a capacidade preditiva dos sistemas.
2. Inferência Causal: Para visualizar e quantificar diferentes formas de viés e discriminação.
3. Dinâmica de Sistemas: Para modelar o processo de geração de dados ao longo do tempo, incluindo feedback loops e efeitos emergentes.

A metodologia utiliza três representações gráficas interconectadas (Figura 1 do artigo):

• Diagrama de Blocos (ML): Representa o modelo como uma "caixa preta" recebendo dados ($X$) e gerando decisões ($D$).
• Redes Bayesianas Causais (CBN): Transforma o diagrama de blocos em um grafo acíclico dirigido (DAG) para codificar suposições sobre causalidade, mediadores ($W$) e atributos protegidos ($A$).
• Diagramas de Laço Causal (CLD): Estende as CBNs para incluir loops de feedback, permitindo modelar como decisões passadas influenciam dados futuros e perpetuam disparidades.

O autor também mapeia essas representações técnicas para conceitos de ciências sociais (atribuição, locus de controle) e espectros políticos (esquerda vs. direita).

3. Contribuições Principais

A. Codificação de Modelos Mentais em Grafos Causais
O artigo demonstra como diferentes crenças ideológicas sobre a origem do viés podem ser formalizadas em estruturas causais:

• Atribuição Interna (Direita/Conservador): O viés é visto como falha individual. A justiça é alcançada através da "Inconsciência" (Fairness through Unawareness), ignorando o atributo protegido.
• Atribuição Externa (Esquerda/Progressista): O viés é estrutural. A justiça exige "Ação Afirmativa" (Fairness through Affirmative Action), usando o atributo protegido para corrigir viés nos dados.
• Extremos: O artigo modela formas extremas como "Supremacia" (discriminação overt) e "Sorteio" (Lottery), mostrando como cada uma satisfaz ou viola critérios de justiça individual e grupal.

B. Mapeamento para a Lei e Política
O autor estabelece uma correspondência direta entre tipos de viés causal e conceitos legais:

• Tratamento Desigual (Disparate Treatment): Corresponde a efeitos diretos do atributo protegido na decisão ($A \to D$).
• Impacto Desigual (Disparate Impact): Corresponde a efeitos indiretos onde dados enviesados ($X$) carregam o viés do atributo protegido ($A \to W \to X \to D$).
• Isso permite que reguladores e cientistas de dados usem uma linguagem comum para verificar conformidade legal.

C. Análise de Efeitos de Curto vs. Longo Prazo (Dinâmica de Sistemas)
Usando arquétipos de sistemas (ex: "Sucesso para os Bem-Sucedidos", "Limites ao Sucesso", "Deslocamento da Carga"), o artigo revela comportamentos contra-intuitivos:

• Curto Prazo: Ações afirmativas podem equalizar taxas de decisão.
• Longo Prazo: Ações afirmativas podem criar dependência externa, desviar o foco de soluções internas (otimização de métricas reais) e, paradoxalmente, piorar os resultados de longo prazo para o grupo desfavorecido devido a feedback loops negativos.
• A "Inconsciência" (ignorar o atributo) pode perpetuar ciclos viciosos de desigualdade acumulada ao longo do tempo.

D. Nova Hierarquia Causal
O autor propõe uma reestruturação da hierarquia causal de Pearl para incluir a dinâmica de sistemas:

1. Camada 1 (Associação): Aprendizado de Máquina Supervisionado (Foco: Predição).
2. Camada 2 (Causação Acíclica): Inferência Causal (Foco: Controle/Intervenção).
3. Camada 3 (Causação Cíclica): Dinâmica de Sistemas (Foco: Simulação/Emergência).

4. Resultados e Descobertas

• Dualidade Justiça/Discriminação: O que é considerado "justo" por um grupo político pode ser modelado como "discriminatório" por outro, dependendo da direção e magnitude dos efeitos diretos e indiretos no grafo causal.
• Falha da Abordagem Estática: Modelos estáticos (CBNs) são insuficientes para prever a persistência de disparidades, pois ignoram como os resultados ($Y$) retroalimentam os dados futuros ($X$).
• Arquétipos de Falha: A aplicação de políticas de justiça sem considerar a dinâmica de sistemas pode levar a:
  • Ciclos Viciosos: Onde grupos desfavorecidos continuam a receber menos recursos devido a dados históricos enviesados.
  • Dependência: Onde intervenções externas impedem a melhoria de métricas internas (como qualificação real), criando uma armadilha de longo prazo.

5. Significado e Impacto

Este trabalho oferece uma fundação sociotécnica para a política de IA. Ao traduzir debates políticos e legais em modelos matemáticos causais, o artigo permite:

• Comunicação Comum: Criar uma linguagem unificada para cientistas de dados, advogados e formuladores de políticas.
• Design de Políticas Robustas: Permitir que legisladores simulem os efeitos de longo prazo de diferentes leis de justiça algorítmica antes de implementá-las.
• Transparência e Confiança: Fornecer uma estrutura para explicar por que um sistema toma certas decisões e como ele interage com a sociedade ao longo do tempo, indo além da "caixa preta".

Em suma, o artigo argumenta que a justiça algorítmica não pode ser resolvida apenas com otimização matemática; ela exige uma modelagem sistêmica que integre a causalidade, a dinâmica temporal e as diversas perspectivas ideológicas da sociedade.