Resumo Técnico: FairBED: Uma Abordagem de Design Experimental Bayesiano para Coleta de Dados Mais Justos

1. Definição do Problema

Os frameworks atuais para garantir a justiça (fairness) em aprendizado de máquina concentram-se predominantemente em aprender modelos justos a partir de conjuntos de dados já pré-coletados. No entanto, essa abordagem é frequentemente fundamentalmente limitada porque os próprios dados podem já codificar vieses sociais e correlações indesejadas. Intervenções como reponderação de dados, otimização com restrições ou "reparo de dados" de pré-processamento tentam mitigar esses problemas a jusante (downstream), mas não conseguem superar totalmente a injustiça inerente aos dados de origem.

Os autores argumentam que o próprio processo de aquisição de dados deve ser modificado para coletar dados que sejam inerentemente mais adequados para o treinamento de preditores justos. O desafio central é projetar uma estratégia de aquisição de dados que equilibre dois objetivos concorrentes:

1. Informatividade: Os dados devem permanecer altamente informativos sobre as variáveis alvo de interesse para garantir a predição e generalização eficazes.
2. Justiça (Fairness): Os dados devem ser pouco informativos sobre atributos sensíveis (ex: gênero, raça, pigmentação da pele) para evitar que modelos a jusante explorem esses atributos, melhorando naturalmente a justiça.

2. Metodologia

2.1 Estrutura Conceitual: "Mundos Justos" (Fair Worlds)

O artigo introduz o conceito de um "mundo justo" onde os atributos sensíveis (denotados como $\phi$) são causalmente independentes das variáveis alvo (denotadas como $\theta$). Em um mundo assim, um preditor justo não precisaria usar $\phi$ para estimar $\theta$. Os autores propõem medir a injustiça de um conjunto de dados quantificando o quanto ele viola essa independência. Especificamente, se um conjunto de dados permite a transferência de informação entre $\theta$ e $\phi$, ele é considerado injusto. O objetivo é guiar o processo de design experimental para coletar dados que minimizem essa transferência de informação enquanto mantêm a utilidade para $\theta$.

2.2 Métricas de Justiça para Dados

Os autores definem duas métricas inovadoras para quantificar a justiça de um conjunto de dados $D$ com base na informação que ele revela sobre atributos sensíveis:

• Justiça Incondicional ($F_u$): Definida como o negativo do Ganho de Informação Esperado (EIG) sobre $\phi$. Mede o quanto os dados revelam sobre $\phi$ marginalmente.
  $$F_u(\pi_d) = -\max_{m \in \mathcal{M}} \text{EIG}^m_\phi(\pi_d)$$
• Justiça Condicional ($F_c$): Definida como o negativo do EIG condicional sobre $\phi$ dado $\theta$. Esta é uma métrica mais rigorosa que garante que os dados não revelem $\phi$ para qualquer valor específico do alvo $\theta$, protegendo contra efeitos de "explicação de causa" (explaining away), onde $\phi$ torna-se recuperável uma vez que $\theta$ é conhecido.
  $$F_c(\pi_d) = -\max_{m \in \mathcal{M}} \mathbb{E}_{p(\theta)}[\text{EIG}^m_{\phi|\theta}(\pi_d)]$$

Aqui, $\pi_d$ representa uma política de design e a maximização sobre um conjunto de modelos $\mathcal{M}$ garante a robustez contra deficiências de modelo.

2.3 O Objetivo FairBED

Para equilibrar a necessidade de dados informativos com a necessidade de justiça, os autores constroem dois objetivos FairBED. Estes objetivos maximizam o Ganho de Informação Esperado (EIG) sobre o alvo $\theta$ enquanto penalizam o EIG sobre o atributo sensível $\phi$ (ou $\phi|\theta$).

• Unconditional FairBED ($R_u$):
  $$R_u(\pi_d) = \text{EIG}_\theta(\pi_d) - \beta \text{EIG}_\phi(\pi_d)$$
• Conditional FairBED ($R_c$):
  $$R_c(\pi_d) = \text{EIG}_\theta(\pi_d) - \beta \mathbb{E}_{p(\theta)}[\text{EIG}_{\phi|\theta}(\pi_d)]$$

Nestas equações, $\beta > 0$ é um hiperparâmetro que controla a força da aplicação da justiça. Os autores observam que estes objetivos são definidos sob um modelo conjunto, mas podem ser otimizados usando modelos marginais por questões de praticidade. Crucialmente, os autores argumentam que coletar dados informativos sobre $\theta$ é necessário para a justiça no mundo real para evitar lacunas de generalização que possam se manifestar como injustiça indireta.

2.4 Aplicação ao Aprendizado Ativo (Active Learning)

O framework é adaptado para contextos de Aprendizado Ativo (AL). Neste contexto, o alvo $\theta$ corresponde ao par de entradas de tempo de teste e rótulos alvo $(x^*, y^*_\theta)$, enquanto o atributo sensível $\phi$ corresponde a $(x'^*, y^*_\phi)$. O objetivo torna-se uma modificação do Ganho de Informação Preditiva Esperada (EPIG):
$$R_{\text{FairEPIG}}(x) = I(y_\theta; (x^*, y^*_\theta) | x) - \beta I(y_\phi; (x'^*, y^*_\phi) | x)$$
Isso permite a seleção de pontos de consulta que melhoram as predições para a tarefa alvo enquanto limitam deliberadamente a aprendibilidade do atributo sensível.

3. Principais Contribuições

1. Nova Formulação de Justiça de Dados: O artigo desloca o foco da justiça de um modelo para a justiça do próprio conjunto de dados, definindo justiça como a ausência de vazamento de informação sobre atributos sensíveis.
2. Objetivos FairBED: A introdução de objetivos práticos de Design Experimental Bayesiano (BED) que explicitamente trocam a informatividade do alvo pela informatividade do atributo sensível.
3. Elo Teórico com Paridade Demográfica: Os autores provam que, se a métrica de justiça condicional $F_c(\pi_d) = 0$ (ou seja, os dados não transmitem informação sobre $\phi$ dado $\theta$), então os preditores a jusante treinados nestes dados alcançam a Paridade Demográfica (DP) sob a suposição de que a distribuição a priori de $\theta$ e $\phi$ é separável e que o modelo a jusante não utiliza $\phi$ como entrada.
4. Validação Empírica: Demonstração de que o FairBED consistentemente alcança fronteiras de troca entre justiça e acurácia superiores à aquisição aleatória e ao BED convencional em múltiplos conjuntos de dados e arquiteturas de modelos.

4. Resultados Experimentais

Os autores avaliaram o FairBED em três tarefas distintas:

1. Localização de Fonte (Source Location Finding): Um benchmark sintético de BED onde o objetivo é inferir uma coordenada alvo ($\theta$) enquanto se evita aprender uma coordenada sensível ($\phi$). Os resultados mostraram que os designs do FairBED se espalham ao longo do eixo do alvo enquanto colapsam para a média a priori do eixo sensível, efetivamente suprimindo o aprendizado de $\phi$ com perda mínima no aprendizado de $\theta$.
2. Predição de Graduação de Estudante: Uma tarefa de classificação binária prevendo o status de graduação ($y_\theta$) enquanto trata o gênero ($y_\phi$) como sensível.
3. Predição de Renda do Censo: Prevendo níveis de renda ($>50k$) enquanto trata o gênero como sensível.
4. CelebA: Um grande conjunto de dados de imagens prevendo "Sorriso" (Smiling) enquanto trata o "Gênero" como sensível.

Principais Descobertas:

• Troca Justiça-Acurácia (Fairness-Accuracy Trade-off): O FairBED alcançou fronteiras de Pareto-ótimas que dominaram a aquisição aleatória e o EPIG padrão. Ele reduziu significativamente a previsibilidade do atributo sensível enquanto mantinha alta acurácia na tarefa alvo.
• Justiça ao Nível do Dataset: Experimentos treinando vários modelos a jusante (Random Forest, XGBoost, MLP, SVM) no mesmo conjunto de dados adquirido via FairBED mostraram melhorias consistentes nas razões de Paridade Demográfica (DP) e Igualdade de Oportunidades (EO). Isso confirma que a melhoria da justiça é uma propriedade dos dados adquiridos, não um artefato de um modelo específico.
• Complementaridade: O artigo demonstra que o FairBED pode ser combinado com intervenções de justiça a jusante (ex: Representações Justas Aprendidas ou Classificação de Opção de Rejeição). A combinação de FairBED e métodos a jusante produziu resultados melhores do que cada método isoladamente, sugerindo que são aditivos em vez de substitutivos.
• Robustez: Os benefícios do FairBED generalizaram-se através de diferentes arquiteturas de modelos e orçamentos de rótulos.

5. Significância e Alegações

O artigo afirma que o FairBED fornece uma nova perspectiva sobre a justiça algorítmica ao abordar a causa raiz do viés: o processo de aquisição de dados. Ao formalizar a utilidade dos dados para incluir uma penalidade pela informação do atributo sensível, o FairBED oferece uma abordagem fundamentada para coletar dados que são "inerentemente mais justos".

Os autores enfatizam que:

• Intervenção a Jusante é Crítica: Estratégias de mitigação a jusante são frequentemente prejudicadas por vieses já presentes nos dados. O FairBED aborda isso na fonte.
• Generalização: As melhorias de justiça são intrínsecas ao conjunto de dados, o que significa que qualquer modelo treinado nestes dados (mesmo sem restrições de justiça específicas) exibirá naturalmente melhores propriedades de justiça.
• Praticidade: A abordagem é compatível com frameworks padrão de Design Experimental Bayesiano e Aprendizado Ativo, exigindo apenas a especificação de modelos marginais para os atributos alvo e sensíveis, que podem ser pré-treinados ou criados manualmente mesmo sem rótulos sensíveis durante a fase de aquisição.

O trabalho abre novas direções de pesquisa para a aquisição de dados consciente da justiça, sugerindo que o caminho para sistemas de IA mais justos começa com a forma como os dados são coletados, não apenas como são modelados.