Resumo Técnico: Efeitos de Perturbação na Robustez e na Equidade Individual

Declaração do Problema

Redes neurais profundas (DNNs) são vulneráveis a perturbações adversárias que podem degradar tanto a robustez de predição quanto a equidade individual. No entanto, os protocolos de avaliação existentes tipicamente avaliam essas dimensões isoladamente. Essa separação obscurece modos de falha críticos onde um modelo pode parecer robusto, mas injusto, ou justo, mas não robusto. Especificamente, métricas de eixo único frequentemente perdem regimes de falha acoplados:

• Robustamente Enviesado (RB - Robust Biased): O modelo permanece correto (robusto), mas produz predições inconsistentes para indivíduos semanticamente equivalentes (injusto).
• Injustamente Robusto (UF - Unrobust Fair): O modelo produz predições consistentes para indivíduos semelhantes (justo), mas ambas estão incorretas (não robusto).
• Injustamente Enviesado (UB - Unrobust Biased): O modelo falha em ambos os aspectos.

Os métodos atuais frequentemente dependem de proximidade geométrica (ex: similaridade de cosseno) ou acesso ao gradiente de caixa branca (white-box), que podem falhar em preservar condições de verdade semântica ou são inaplicáveis a implementações de API de caixa preta (black-box). Além disso, muitos testes de equidade permitem o desvio semântico, tornando impossível distinguir entre uma falha do modelo e uma mudança na verdade fundamental (ground truth).

Metodologia

1. Definição Formal: Equidade Individual Robusta (RIF)

Os autores propõem a Equidade Individual Robusta (RIF - Robust Individual Fairness) como um critério unificado fundamentado em semântica de condição de verdade.

• Equivalência Semântica: Dois inputs $v$ e $v'$ são considerados semanticamente equivalentes se compartilharem condições de verdade idênticas. O artigo operacionaliza isso via implicação bidirecional usando um modelo de Inferência de Linguagem Natural (NLI). Uma edição é admissível apenas se $v \models v'$ e $v' \models v$.
• O Critério: Um classificador $f$ satisfaz $\epsilon$-RIF se, para cada contraparte semanticamente equivalente $v'$ e toda perturbação admissível $\delta$, o erro de predição permanecer limitado por $\epsilon$. Isso exige que o modelo seja tanto correto (ancorado à verdade fundamental) quanto consistente (invariante entre indivíduos similares) sob perturbações de preservação de significado.

2. Estrutura: RIFair

Para expor violações de RIF, os autores introduzem o RIFair, um framework adversário de caixa preta.

• Estratégia de Substituição Desacoplada: Diferente de ataques acoplados que aplicam substituições idênticas a pares similares, o RIFair aplica substituições distintas, porém semanticamente equivalentes, a cada membro de um par (ex: mapear "talk" $\to$ "discuss" para um input e "talk" $\to$ "chat" para o outro). Isso isola falhas causadas por sensibilidade heterogênea de forma de superfície.
• Pipeline de Dois Estágios:
  1. Construção de Similaridade: Atributos sensíveis (ex: gênero, raça) são mascarados e substituídos por alternativas para criar pares semanticamente correspondentes $(v, v')$ mantendo o conteúdo não sensível idêntico.
  2. Geração-Filtragem de Perturbação: Um Modelo de Linguagem Grande (LLM) gera paráfrases candidatas para tokens, que são então filtradas por um modelo de NLI para garantir a implicação bidirecional (preservação semântica).
• Objetivo de Otimização: O RIFair minimiza uma função de objetivo conjunta que combina perda de robustez (entropia cruzada com a verdade fundamental) e discrepância de equidade (distância entre predições). Ao variar os pesos ($\alpha, \beta$), o framework visa quadrantes específicos: RB, UF ou UB.
• Eficiência de Consulta: O método utiliza saliência por oclusão para ranquear tokens e busca apenas candidatos extremos (mínimo/máximo de confiança) para minimizar consultas ao modelo, tornando-o adequado para ambientes de caixa preta.

Principais Contribuições

1. Critério Unificado (RIF): Formaliza um requisito conjunto para robustez e equidade individual sob perturbações de preservação semântica, abordando o desalinhamento de métricas de eixo único existentes.
2. Rigor Semântico: Fundamenta as perturbações na semântica formal via implicação bidirecional, garantindo que as instâncias adversárias geradas preservem as condições de verdade originais, ao contrário de métodos que dependem apenas de proximidade geométrica.
3. Framework de Caixa Preta (RIFair): Propõe uma estratégia de substituição desacoplada que expõe efetivamente vulnerabilidades ocultas (RB e UF) que ataques acoplados não detectam.
4. Evidência Empírica: Demonstra que métricas de robustez-apenas e equidade-apenas frequentemente falham em detectar falhas adversárias multidimensionais, fornecendo o caso para uma avaliação conjunta.

Resultados Experimentais

Experimentos foram conduzidos em diversas arquiteturas transformer (BERT, RoBERTa, DistilBERT, DeBERTa-v3) em diversos conjuntos de dados textuais (Bias in Bios, Jigsaw, SST-2) e um conjunto de dados tabular verbalizado (Census Income).

• Desalinhamento de Métricas: A Tabela 3 mostra que o ranking dos modelos varia significativamente dependendo do eixo de avaliação. Por exemplo, o DistilBERT teve o maior ranking em robustez ($R$), o BERT em equidade ($F$), mas o DeBERTa-v3 alcançou a resistência conjunta ($RIF$) mais forte.
• Detecção de Falhas Ocultas: O RIFair identificou com sucesso modos de falha perdidos por métricas de eixo único.
  • A Robustez ($R$) foi insensível a cenários RB (onde as predições são estáveis, mas enviesadas).
  • A Equidade ($F$) foi insensível a cenários UF (onde as predições derivam juntas, mantendo a consistência, mas perdendo precisão).
  • O RIF forneceu um sinal consistentemente sensível em todos os modos de falha (RB, UF, UB).
• Preservação Semântica: Estudos de ablação confirmaram que restrições baseadas em entailment produzem pontuações de equivalência semântica significativamente mais altas ($S_{eq} \approx 0,97$) e pontuações de juízes alinhadas com humanos em comparação com restrições geométricas (cosseno), que frequentemente resultam em desvio semântico ($S_{eq} \approx 0,33$).
• Eficácia do Desacoplamento: A estratégia desacoplada mostrou-se $2,3\times$ mais eficaz para expor violações de RB e $3,0\times$ mais eficaz para expor violações de UB em comparação com ataques acoplados.
• Defesa: O retreinamento adversário usando instâncias geradas pelo RIFair reduziu substancialmente as taxas de falha em todas as categorias (ex: reduzindo as taxas de falha de UB em $\approx 16\%$).

Significância e Alegações

O artigo argumenta que a robustez e a equidade não são propriedades independentes e que avaliá-las isoladamente leva a uma avaliação incompleta e potencialmente enganosa da confiabilidade do modelo.

• Necessidade de Avaliação Conjunta: Os autores afirmam que o RIF é um critério necessário para a avaliação de modelos confiáveis, particularmente em aplicações de alto risco (ex: identificação de conteúdo tóxico, análise de sentimento, previsão de renda) onde tanto a confiabilidade quanto a equidade são essenciais.
• Limitações: Os autores reconhecem modestamente que sua dependência de modelos de NLI para equivalência semântica é um proxy que pode codificar vieses ou ter dificuldade com entidades raras e contextos longos. Eles sugerem que trabalhos futuros devem incorporar supervisão humana (human-in-the-loop) e funções de mascaramento aprimoradas.
• Insight Central: A principal contribuição é a demonstração de que modelos podem exibir "falhas compostas" sob perturbações que métricas de eixo único não conseguem detectar, necessitando de um framework unificado como o RIF e o RIFair para expor essas vulnerabilidades.