Resumo Técnico: A Mão Invisível: Manipulando a Equidade do Modelo e o SHAP com Ataques de Reassociação de Identidade Direcionada

1. Declaração do Problema

À medida que os modelos de aprendizado de máquina se tornam cada vez mais opacos e influentes em domínios sociais críticos, a dependência de auditorias de equidade algorítmica e ferramentas de explicabilidade post-hoc (como o SHAP) cresceu para garantir a responsabilidade. No entanto, este artigo identifica uma vulnerabilidade crítica: esses próprios mecanismos de auditoria não são robustos contra manipulação adversária.

Pesquisas anteriores demonstraram que estratégias de "engodo" podem manipular métricas de equidade, mas esses métodos existentes frequentemente dependem de perturbações ostensivas ou exigem acesso à distribuição de dados interna do modelo. Consequentemente, eles deixam artefatos detectáveis — como quedas significativas nos escores de equidade ou valores de atribuição SHAP anômalos — que geram suspeitas durante as auditorias. Há uma carência de técnicas de manipulação post-hoc sutis e agnósticas a dados, capazes de alterar a equidade percebida de um modelo e minar ferramentas de explicação sem deixar pegadas forenses.

2. Metodologia

Os autores propõem uma nova família de ataques denominados Ataques de Reassociação de Identidade Direcionada (TIRA). Estes ataques operam sob um modelo de ameaça de caixa-preta (black-box), onde o adversário tem acesso apenas aos escores de saída do modelo e aos atributos protegidos das instâncias de entrada, mas sem acesso à arquitetura do modelo, aos dados de treinamento ou à lógica de decisão.

O framework central envolve:

1. Ordenação de Escores (Score Sorting): Obter os escores de predição de um modelo de caixa-preta e ordená-los em ordem decrescente.
2. Reassociação de Identidade: Modificar iterativa e probabilisticamente a associação entre os escores ordenados e as identidades (especificamente os atributos protegidos) sem alterar os escores em si.
3. Reassemblagem de Saída: Reconstruir o conjunto de dados com as identidades embaralhadas para recalcular as métricas de equidade e os valores SHAP.

O artigo formaliza dois algoritmos específicos dentro da família TIRA:

• Microembaralhamento Probabilístico (PMiS): Este algoritmo aplica trocas adjacentes localizadas. Em cada iteração, ele examina pares adjacentes na lista ordenada. Se um indivíduo desfavorecido (atributo protegido = 0) estiver adjacente a um indivíduo favorecido (atributo protegido = 1), ele troca probabilisticamente suas identidades com uma probabilidade $p_{swap}$. Isso cria um desvio cumulativo e gradual na distribuição dos atributos protegidos em relação aos escores.
• Microperturbação de Deslocamento de Rank Probabilístico (PRSMP): Este algoritmo introduz uma localidade mais ampla ao permitir deslocamentos de rank dentro de uma pequena janela. Ele visa indivíduos desfavorecidos e desloca probabilisticamente sua identidade para outro indivíduo desfavorecido dentro de uma janela de rank predefinida ($k_{max}$) com probabilidade $p_{shift}$. Assim como o PMiS, este depende de múltiplas iterações para acumular rearranjos significativos mantendo a sutileza.

3. Principais Contribuições

O artigo apresenta quatro contribuições principais:

1. Formalização dos Ataques TIRA: A introdução da Reassociação de Identidade Direcionada como um método novel, post-hoc, agnóstico a dados e probabilístico para manipular sutilmente as saídas do modelo.
2. Validação Empírica da Manipulação de Equidade: Demonstração de que os ataques TIRA podem alterar significativamente as métricas de equidade do AIF360 (ex: Igualdade de Oportunidades, Paridade Demográfica, Impacto Disparate) em diversas configurações de modelos e conjuntos de dados, guiando-os em direção a limiares ideais desejados.
3. Impacto na Atribuição SHAP: Ilustração de como os ataques TIRA confundem as explicações baseadas em SHAP. Os ataques conseguem reduzir a atribuição SHAP para os atributos protegidos para efetivamente zero, criando uma falsa impressão de que o modelo não depende desses atributos.
4. Benchmarking Comparativo: Uma demonstração de que os ataques TIRA oferecem maior granularidade e controle em comparação com ataques ostensivos existentes (como DomSwap e MixSwap), alcançando deslocamentos comparáveis ou superiores nas métis de equidade com uma furtividade significativamente maior.

4. Resultados e Análise

Os autores avaliaram os ataques TIRA no Conjunto de Dados de Diabetes de Bangladesh e no Conjunto de Dados de Crédito Alemão, utilizando tanto Regressão Logística quanto modelos de Redes Neurais.

• Métricas de Equidade: Os resultados mostraram que os ataques TIRA consistentemente empurraram as métricas de equidade em direção a valores ideais (ex: reduzindo as diferenças de Paridade Demográfica e as razões de Impacto Disparate para mais perto de 1). Em muitos casos, o PMiS e o PRSMP alcançaram um ajuste mais preciso dessas métricas em comparação com ataques de embaralhamento de base. Por exemplo, no conjunto de dados de Diabetes, o PMiS reduziu a diferença de Igualdade de Oportunidades de uma base de 0,09 para -0,07, enquanto outros ataques mostraram mudanças menos consistentes ou menos extremas.
• Atribuição SHAP: A análise pós-ataque revelou que os valores SHAP para os atributos protegidos foram efetivamente zero. Isso indica que os ataques obscureceram com sucesso a dependência do modelo em relação aos atributos protegidos para a ferramenta de explicação, um avanço significativo em relação ao trabalho anterior, onde valores de atribuição detectáveis frequentemente permaneciam.
• Furtividade e Controle: O estudo destacou o "controle de granularidade fina" oferecido pelos parâmetros ajustáveis ($p_{swap}$, $p_{shift}$, $k_{max}$ e iterações $T$). Ao ajustá-los, um adversário pode escalar a manipulação de mudanças quase imperceptíveis até alterações pronunciadas, permitindo um compromisso entre a magnitude do deslocamento de equidade e a furtividade do ataque.

5. Significância e Alegações

O artigo argumenta que a avaliação de equidade é inerentemente frágil. A capacidade de alterar a equidade percebida e os perfis de explicação de um modelo através de mudanças sutis e não intrusivas nos rankings de saída desafia a suposição de que a IA confiável pode ser alcançada apenas através de métodos de explicação post-hoc.

Os autores alegam que os ataques TIRA representam uma "ameaça de duas frentes" não alcançada anteriormente:

1. Eles podem enganar as auditorias do AIF360, empurrando as métricas para valores próximos ao ideal.
2. Eles podem enganar as auditorias de XAI ao reduzir a atribuição SHAP para efetivamente zero.

A significância deste trabalho reside em expor a insuficiência dos atuais frameworks de auditoria. A furtividade aprimorada dos ataques TIRA sugere que a ausência de um sinal de atribuição forte não equivale necessariamente à equidade ou à ausência de perturbação adversária. Consequentemente, o artigo conclui que há uma necessidade urgente de desenvolver metodologias de avaliação baseadas em integridade que possam detectar inconsistências entre as saídas de um modelo e suas explicações, em vez de depender apenas das métricas e valores de atribuição fornecidos pelas ferramentas atuais.