Resumo Técnico: CIFA – Auditoria de Equidade Contextual-Interseccional para Descoberta de Subgrupos Ocultos em Análise Facial

Declaração do Problema

A avaliação de equidade atual em visão computacional baseia-se predominantemente na acurácia agregada e na análise de subgrupos demográficos (ex: raça, gênero, idade). Embora essas métricas sejam padrão, elas frequentemente falham em capturar a degradação de desempenho causada pela interação entre características demográficas e fatores contextuais, como iluminação, desfoque, qualidade da imagem, acessórios faciais e pose.

O artigo argumenta que modelos visuais podem exibir uma forte acurácia agregada e uma equidade demográfica aceitável, enquanto simultaneamente sofrem de falhas substanciais dentro de subgrupos contextuais-interseccionais específicos. Esses "subgrupos ocultos" surgem quando atributos demográficos intersectam com condições visuais desafiadoras, criando disparidades de desempenho que permanecem indetectadas pelos protocolos de avaliação convencionais. Os autores citam a prisão injusta de Robert Williams como uma consequência do mundo real de tais vieses, onde um sistema falhou em identificar corretamente um indivíduo devido a interações entre fatores demográficos e contextuais não capturados por auditorias padrão.

Metodologia: O Framework CIFA

Para abordar essa lacuna, os autores propõem o Framework de Auditoria de Equidade Contextual-Interseccional (CIFA). O CIFA é um protocolo estruturado e agnóstico ao modelo, projetado para identificar, classificar e reavaliar vulnerabilidades de subgrupos ocultos através de um pipeline unificado de auditoria–mitigação–re-auditoria.

1. Auditoria de Múltiplos Níveis

O CIFA avalia o desempenho do modelo em três famílias distintas de grupos definidas em um conjunto de dados $D = \{(x_i, y_i, a_i, c_i)\}$, onde $x$ é a imagem, $y$ é o rótulo, $a$ representa atributos demográficos e $c$ representa atributos contextuais:

• Auditoria Demográfica ($\mathcal{G}_d$): Avalia o desempenho através de grupos demográficos (ex: raça, gênero) de forma independente.
• Auditoria Contextual ($\mathcal{G}_c$): Avalia o desempenho através de condições contextuais (ex: baixa luminosidade, desfoque, óculos) de forma independente.
• Auditoria Contextual-Interseccional ($\mathcal{G}_{dc}$): Avalia a interseção de atributos demográficos e contextuais (ex: "mulheres negras em baixa iluminação"). Esta é a inovação central, definida como $g = \text{raça} \times \text{idade} \times \text{iluminação} \times \text{qualidade da imagem}$.

2. Descoberta do Pior Grupo

O framework calcula a acurácia por grupo ($A_g$) e identifica o pior subgrupo de desempenho ($A_{\text{worst}}$). Ele calcula o gap de geral-para-grupo ($\Delta_g = A_{\text{all}} - A_g$) e o desvio padrão das acurácias dos grupos para quantificar a disparidade. Este processo classifica as combinações de atributos responsáveis pelas maiores falhas, distinguindo entre disparidades "visíveis" (detectadas por auditorias apenas demográficas) e disparidades "ocultas" (reveladas apenas sob análise contextual-interseccional).

3. Protocolo Auditoria–Mitigação–Re-Auditoria

O CIFA suporta um fluxo de trabalho sistemático para verificar a eficácia da mitigação:

1. Auditoria: Estabelece o desempenho base e identifica os piores subgrupos.
2. Mitigação: Aplica estratégias estabelecidas usando as mesmas definições de subgrupo. O artigo avalia:
   • Aumento de Contexto (transformações de preservação de rótulo para iluminação/qualidade).
   • Amostragem Balanceada (oversampling de grupos sub-representados).
   • Entropia Cruzada Ponderada por Grupo (reponderação de perda baseada na frequência do grupo).
   • Otimização Robusta de Distribuição de Grupo (Group DRO).
   • Combinações dos acima.
3. Re-Auditoria: Re-aplica o protocolo CIFA ao modelo mitigado. A eficácia é medida pelas mudanças em $A_{\text{worst}}$, $\Delta_{\text{worst}}$ e variância do grupo, em vez de apenas a acurácia agregada.

Configuração Experimental

O framework foi avaliado em tarefas de classificação de gênero utilizando arquiteturas ResNet-50 e ViT-B/16 através de três conjuntos de dados:

• FairFace: Anotações equilibradas de raça, gênero e idade.
• UTKFace: Variação de idade, gênero e etnia.
• CelebA: Ricas anotações de atributos faciais (óculos, maquiagem, etc.) usadas para variáveis contextuais.

Os atributos contextuais foram derivados de anotações do conjunto de dados ou estimados via estatísticas de nível de imagem (ex: brilho para iluminação, variância Laplaciana para qualidade da imagem).

Principais Resultados

Os experimentos demonstram que a acurácia agregada frequentemente mascara falhas severas de subgrupos:

• Disparidades Ocultas: Enquanto a acurácia agregada permaneceu alta (92,34% – 98,94%), a acurácia do pior grupo caiu significativamente. No UTKFace com ResNet-50, a acurácia do pior grupo foi de 65,91%, criando um gap de 26,43% em relação à agregada. Gaps semelhantes superiores a 21% foram observados no FairFace.
• Impacto Contextual: Fatores contextuais (ex: baixa qualidade de imagem, alta iluminação, desfoque) degradaram o desempenho de forma independente, mas sua interseção com demografia criou as falhas mais severas.
• Limitações de Mitigação: Nenhuma estratégia de mitigação eliminou consistentemente as disparidades em todos os conjuntos de dados e arquiteturas.
  • O Group DRO mostrou redução significativa do gap no UTKFace (reduzindo o gap de 26,43% para 16,68% para ResNet-50).
  • A Entropia Cruzada Ponderada por Grupo teve bom desempenho no CelebA e FairFace.
  • O Aumento de Contexto melhorou a acurácia do pior grupo no FairFace, mas não reduziu consistentemente os gaps em todas as configurações.
• Necessidade de Re-Auditoria: Os resultados confirmam que as estratégias de mitigação devem ser avaliadas via re-auditoria de definições específicas de subgrupos, pois melhorias na acurácia agregada não garantem a redução das disparidades do pior grupo.

Significância e Alegações

O artigo afirma que o CIFA fornece um framework reprodutível para descobrir, priorizar e reavaliar riscos de subgrupos ocultos em sistemas de análise facial. Suas principais contribuições são:

1. Framework Unificado: É o primeiro a integrar auditoria demográfica, contextual e contextual-interseccional dentro de um único protocolo que suporta mitigação iterativa e reavaliação.
2. Exposição de Vulnerabilidades Ocultas: Demonstra que a alta acurácia agregada pode ocultar falhas contextuais-interseccionais substanciais, afetando particularmente grupos sub-representados em condições visuais desafiadoras.
3. Avaliação de Mitigação: Estabelece que as estratégias de mitigação padrão têm eficácia variável e que a re-auditoria sistemática é essencial para verificar se vulnerabilidades específicas foram de fato reduzidas.

Os autores posicionam o CIFA como uma evolução necessária além da equidade puramente demográfica, argumentando que o contexto visual deve ser tratado como uma dimensão de auditoria explícita para garantir o desempenho equitativo em aplicações de alto risco. O artigo conclui modestamente, observando que, embora os resultados destaquem questões significativas na classificação de gênero, eles não devem ser interpretados como evidência exaustiva para todas as tarefas de visão computacional ou famílias de modelos, e que trabalhos futuros devem estender o framework para tarefas mais amplas e modelos de fundação.