💻 computer science

Discovery and Spatial Characterisation of Multiple Shortcut Groups for Auditing Vision Model Bias

Este artigo introduz um método para agrupar mapas de atribuição por imagem em padrões recorrentes de atalhos espaciais usando técnicas de agrupamento, permitindo a identificação de subconjuntos específicos de imagens com altas taxas de erro e o desenvolvimento de intervenções direcionadas que reduzem as disparidades de desempenho em modelos de visão.

Autores originais: Akshit Achara, Vishnunarayan Manickam, Thomas Day, Esther Puyol Anton, Alexander Hammers, Andrew P. King

Publicado 2026-08-17

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Akshit Achara, Vishnunarayan Manickam, Thomas Day, Esther Puyol Anton, Alexander Hammers, Andrew P. King

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando uma criança a reconhecer diferentes tipos de animais. Você mostra a ela uma foto de uma vaca em um campo verde, e ela aprende que "vaca" significa "animal com manchas em um campo". Então, você mostra a ela uma vaca em um celeiro com neve, e ela fica confusa porque a parte do "campo" está faltando. Isso é exatamente o que acontece com alguns modelos de inteligência artificial (IA). Eles são incrivelmente inteligentes em detectar padrões, mas às vezes ficam preguiçosos. Em vez de aprenderem as características reais da coisa que devem identificar (como o formato de uma vaca), eles se agarram a pistas fáceis e acidentais (como a grama verde) que por acaso aparecem em suas fotos de treinamento. No mundo da ciência da computação, isso é chamado de "aprendizado de atalho" (shortcut learning). É como um aluno que memoriza o estilo da fonte da chave de respostas em vez de realmente estudar a matemática. O problema é que esses atalhos funcionam muito bem até que o teste mude — como quando a vaca aparece em um celeiro. Quando isso acontece, a IA falha e, se essas falhas acontecerem com mais frequência para certos grupos de pessoas (como pacientes de um hospital específico), a IA torna-se injusta ou tendenciosa.

Este artigo trata de uma nova maneira de detectar esses atalhos preguiçosos antes que eles causem problemas. Os pesquisadores construíram uma ferramenta que atua como um "detetive espacial" para a IA. Em vez de apenas olhar para a resposta final, eles espiam dentro do céreão do modelo para ver exatamente onde na imagem a IA está olhando. Eles descobriram que os modelos de IA costumam ter múltiplos "atalhos" distintos que utilizam para diferentes imagens. Algumas imagens podem disparar um atalho baseado no fundo, enquanto outras podem depender de um artefato estranho da câmera. Ao agrupar esses diferentes padrões de atalho, os pesquisadores conseguem identificar exatamente quais imagens têm maior probabilidade de falhar e até mesmo corrigir o modelo sobre a hora, dizendo a ele para ignorar os atalhos e focar nas pistas reais.

O Trabalho de Detetive: Encontrando os Atalhos

Os autores, uma equipe do King's College London, propuseram-se a resolver um mistério específico: os métodos existentes podiam dizer que uma IA estava usando atalhos, mas não conseguiam dizer como ou onde ela estava usando os atalhos de uma forma que ajudasse a corrigir grupos específicos de erros. Imagine tentar encontrar um ladrão em uma cidade olhando para um mapa borrado e médio de todos os crimes. Você saberia que o crime acontece, mas não saberia se o ladrão é um batedor de carteiras no parque ou um assaltante nos subúrbios. Os métodos antigos eram como esse mapa borrado; eles misturavam todas as imagens, escondendo o fato de que diferentes imagens tinham diferentes tipos de atalhos.

A equipe desenvolveu um método para decompor isso. Primeiro, eles observaram três "visões" diferentes da imagem para cada foto que a IA viu:

A Visão da Tarefa: O que a IA considera importante para o trabalho (ex: identificar um tumor).
A Visão do Atalho: O que a IA considera importante para um traço sensível (ex: o hospital de onde a foto veio, ou o gênero da pessoa).
A Visão Justa: Um modelo de referência treinado para ser justo, ignorando os traços sensíveis.

Ao comparar essas visões, eles criaram um "mapa de contribuição" para cada imagem individual. Este mapa destaca os pixels específicos que a IA usou para tomar sua decisão. Se a IA estivesse usando atalhos, o mapa brilharia no fundo ou em um artefato específico, em vez de no objeto real.

Agrupando os Padrões

É aqui que a mágica acontece. Os pesquisadores pegaram esses milhares de mapas individuais e usaram uma técnica de ordenação matemática (chamada K-means e Decomposição de Matriz Não Negativa) para agrupá-los em "Grupos de Atalhos". Pense nisso como separar uma pilha enorme de peças de quebra-cabeça misturadas em caixas distintas baseadas nos padrões das peças.

Eles descobriram que os atalhos não eram apenas um grande bloco de comportamento ruim. Em vez disso, havia várias "personalidades" distintas de atalhos. Por exemplo, em um conjunto de dados de fotos de pássaros, eles encontraram um grupo de atalhos onde a IA olhava para o fundo de água, e outro grupo onde ela olhava para o fundo de terra. Em um conjunto de dados de radiografias de tórax, eles encontraram atalhos que focavam na sombra da mama ou nas partes inferiores do pulmão, enquanto as áreas "boas" focadas na tarefa estavam bem no meio dos pulmões.

Esses grupos foram incrivelmente úteis. Os pesquisadores descobriram que, se olhassem apenas para os 20% superiores de imagens que pertenciam aos grupos de atalhos de "alto risco", poderiam encontrar uma parte massiva dos erros totais do modelo. Em alguns casos, como com o conjunto de dados de pássaros, esse pequeno grupo continha quase 74% de todos os erros que o modelo cometeu. Isso significa que os auditores não precisam verificar cada imagem; eles podem simplesmente verificar os "grupos de atalhos" específicos para encontrar os problemas rapidamente.

O Botão de "Recomeçar": Corrigindo o Modelo

A parte mais emocionante do artigo é que eles não apenas encontraram os problemas; eles tentaram corrigi-los em tempo real sem retreinar todo o modelo. Eles testaram dois tipos de "intervenções" nas imagens:

Mascaramento de Entrada: Eles literalmente cobriram as partes da imagem que a IA estava usando como um atalho.
Intervenção no Espaço de Características: Eles entraram no processamento interno do modelo e disseram para "baixar o volume" dos sinais de atalho e "aumentar o volume" dos sinais da tarefa real.

Os resultados foram fascinantes. Quando eles mascararam as áreas de "atalho", o desempenho do modelo muitas vezes permaneceu o mesmo ou até melhorou ligeiramente, provando que essas áreas não eram realmente necessárias para o trabalho. No entanto, quando eles mascararam as áreas da "tarefa" (as pistas reais), o modelo colapsou, confirmando que aquelas eram as partes importantes.

A verdadeira vitória veio de uma abordagem combinada: suprimir os atalhos enquanto amplia a tarefa real. Quando fizeram isso, a lacuna de desempenho entre diferentes grupos (como diferentes gêneros ou hospitais) diminuiu significativamente. Por exemplo, no conjunto de dados de rostos CelebA, este método reduziu a lacuna de desempenho em cerca de 7,8 pontos percentuais. No CheXpert (radiografias de tórax), o método reduziu a lacuna em impressionantes 20,3 pontos percentuais.

O Que Isso Significa

O artigo sugere que, ao agrupar esses atalhos espaciais, podemos criar uma imagem muito mais clara de onde os modelos de IA estão falhando. Não é apenas dizer "este modelo é tendencioso"; é dizer "este modelo está usando atalhos ao olhar para o fundo nestes 8 tipos específicos de padrões".

Os pesquisadores mostraram que esses grupos são estáveis e confiáveis. Mesmo que eles retreinassem os modelos auxiliares usados para detectar os atalhos, os grupos permaneciam consistentes. Eles também testaram o método em diferentes tipos de arquiteturas de IA (como ResNet e ViT) e em diferentes conjuntos de dados (desde lesões de pele até fotos de pássaros), e o método funcionou em todos os casos.

No entanto, os autores fazem questão de notar que isso não é uma varinha mágica que resolve tudo. Em alguns casos médicos complexos, como lâminas de histopatologia onde o "atalho" é uma diferença sutil de coloração de um laboratório específico, simplesmente suprimir a área espacial não foi suficiente para corrigir o viés. Mas para muitos outros casos, este método de encontrar, agrupar e suprimir atalhos espaciais oferece uma nova maneira poderosa de auditar e melhorar a IA, tornando-a mais justa e confiável sem precisar começar do zero. Ele transforma o mapa borrado do viés da IA em um guia detalhado e acionável para corrigir os erros.

Resumo Técnico: Descoberta e Caracterização Espacial de Múltiplos Grupos de Atalhos para Auditoria de Viés em Modelos de Visão

Declaração do Problema

Modelos de aprendizado profundo frequentemente alcançam alta acurácia média ao depender de características de "atalho" (shortcuts) — correlações espúrias presentes na distribuição de treinamento que não se generalizam no tempo de teste, particularmente dentro de subpopulações específicas. Embora testes fora da distribuição (out-of-distribution) possam revelar disparidades de desempenho, eles falham em localizar as regiões de imagem específicas associadas a esses atalhos. Métodos de auditoria baseados em atribuição existentes, como o OSCAR, tipicamente agregam mapas de atribuição por todo o conjunto de dados para produzir um único mapa de contribuição em nível de conjunto de dados. Essa agregação assume consistência espacial das características de atalho em todas as imagens, o que pode mascarar padrões espaciais recorrentes que ocorrem apenas em subconjuntos de imagens ou que interagem de forma diferente com evidências relevantes para a tarefa em diferentes subgrupos. Consequentemente, os auditores carecem de evidências espaciais acionáveis para identificar subconjuntos de imagens de alto risco ou compreender a natureza específica da dependência de atalhos em modelos treinados e fixos.

Metodologia

O framework proposto, Descoberta de Grupos de Atalhos Espaciais, aborda essas limitações computando mapas de contribuição ao nível da imagem e agrupando-os para revelar padrões espaciais recorrentes. O método procede em quatro etapas principais:

Atribuição e Classificação ao Nível da Imagem:
Três modelos são utilizados: o modelo de tarefa auditado ( $f_{TS}$ ), um modelo de linha de base com viés reduzido ( $f_{BA}$ ) treinado em um conjunto de dados com atributos balanceados, e um modelo de atributo sensível ( $f_{SA}$ ). Mapas de atribuição (ex: LRP, AttnLRP) são gerados para cada modelo, particionados em uma grade de $R$ regiões mutuamente exclusivas e convertidos em vetores espaciais de baixa resolução. Crucialmente, esses vetores são classificados dentro de cada imagem para preservar a variação de imagem para imagem.
Alinhamento Condicional e Mapas de Contribuição:
Usando correlação parcial, o método computa escores de alinhamento ao nível da imagem:
- Alinhamento de Atalho ( $\rho_{sc}$ ): Mede o alinhamento entre $f_{TS}$ e $f_{SA}$ após remover o efeito linear de $f_{BA}$ . Escores altos indicam que o modelo de tarefa utiliza regiões associadas ao atributo sensível.
- Alinhamento de Tarefa ( $\rho_{task}$ ): Mede o alinhamento entre $f_{TS}$ e $f_{BA}$ após remover o efeito de $f_{SA}$ .
  Mapas de contribuição de nível de região ( $m_{sc}$ e $m_{task}$ ) são derivados através da decomposição desses escores de alinhamento, retendo apenas as contribuições positivas que sustentam os respectivos alinhamentos.
Agrupamento de Padrões Espaciais:
Os mapas de contribuição de atalho e de tarefa conjuntos para cada imagem são concatenados e normalizados. Essas representações são então agrupadas em padrões espaciais recorrentes usando duas abordagens:
- K-means: Atribui cada imagem a um único "grupo de atalho".
- Fatoração de Matriz Não Negativa (NMF): Permite que as imagens expressem múltiplos padrões simultaneamente, fornecendo pesos de pertinência suaves (soft membership).
  O resultado é um conjunto de protótipos de grupos de atalho (médias ponderadas pela pertinência) e imagens de exemplo representativas para cada grupo.
Intervenções Espaciais em Tempo de Teste:
Para validar a utilidade desses mapas, o artigo emprega mascaramento de entrada e intervenções no espaço de características internas.
- Mascaramento de Entrada: Ocluir regiões com altas contribuições de atalho ou de tarefa para observar a degradação do desempenho.
- Intervenções no Espaço de Características: Propõe a supressão de atalho (remover componentes de tarefa dos mapas de atalho antes da supressão) e a amplificação de tarefa (remover componentes de atalho dos mapas de tarefa antes da amplificação). Uma abordagem combinada aplica ambos simultaneamente para reduzir as disparidades de subgrupo enquanto preserva a acurácia.

Principais Contribuições

Descoberta de Padrões de Atalho Espacial: O artigo introduz um método para computar mapas de contribuição de atalho e de tarefa ao nível da imagem e agrupá-los usando K-means e NMF. Isso revela que múltiplos padrões espaciais de atalho coerentes, com composições de subgrupos e taxas de erro distintas, podem coexistir dentro de um único conjunto de dados, uma nuance perdida na agregação em nível de conjunto de dados.
Auditoria de Falha Direcionada: O framework demonstra que a pertinência ao grupo de atalho pode ser usada para construir escores de risco que identificam subconjuntos de imagens contendo uma fração desproporcionalmente grande do total de erros de teste do modelo. Isso permite que os auditores foquem os esforços de inspeção em subconjuntos de alto risco em vez de amostragem aleatória.
Intervenções Acionáveis em Tempo de Teste: O estudo valida que os mapas espaciais identificados contêm evidências acionáveis. O mascaramento de regiões de contribuição de tarefa degrada o desempenho, enquanto uma intervenção combinada de supressão de atalho e amplificação de tarefa geralmente reduz as disparidades de desempenho entre subgrupos (medido pelo Maior Gap de Desempenho, LPG) em vários conjuntos de dados e arquiteturas.

Resultados Experimentais

O método foi avaliado em cinco conjuntos de dados (CelebA, CheXpert, Waterbirds, Camelyon17, ISIC2019) e duas arquiteturas (ResNet50, ViT-B/16).

Descoberta de Padrões: A inspeção visual dos protótipos de grupos de atalho revelou estruturas espaciais distintas. Por exemplo, no CelebA, alguns grupos mostraram dependência de atalho concentrada em regiões de cabelo (relevante para a tarefa), enquanto outros focaram em fundo/roupas. No CheXpert, os grupos de atalho destacaram regiões não pulmonares (ex: sombras mamárias), enquanto os grupos de tarefa focaram em regiões pulmonares.
Identificação de Risco: Escores de risco baseados em grupos de atalho identificaram com sucesso subconjuntos contendo significativamente mais erros do que as linhas de base aleatórias. Por exemplo, no modelo ViT do CelebA, os 20% superiores de imagens classificadas pelo escore de risco continham aproximadamente 63,5% dos erros totais retidos (comparado aos 20% esperados pelo acaso). O agrupamento baseado em NMF geralmente superou o K-means em captura de erro e estabilidade entre modelos treinados independentemente.
Eficácia da Intervenção:
- Mascaramento de Entrada: Mascarar regiões de alta contribuição de tarefa causou quedas severas de desempenho, confirmando que essas regiões são críticas para a predição. Mascarar regiões de atalho teve efeitos variáveis, muitas vezes preservando ou melhorando levemente a acurácia, sugerindo que essas pistas são não essenciais ou espúrias.
- Intervenções de Características: A intervenção combinada de supressão de atalho e amplificação de tarefa reduziu consistentemente o Maior Gap de Desempenho (LPG) na maioria dos conjuntos de dados. Por exemplo, no CheXpert com ViT, a intervenção combinada reduziu o LPG em 12,8 pontos percentuais enquanto mantinha ou melhorava levemente a acurácia.
- Intervenções Iterativas: A aplicação repetida das intervenções reduziu ainda mais os escores de alinhamento de atalho e as disparidades de subgrupo, demonstrando a utilidade dos mapas para auditoria iterativa.

Significância e Alegações

O artigo afirma que a descoberta de grupos de atalhos espaciais preenche a lacuna entre inspeção visual, auditoria direcionada e intervenção em tempo de teste. Ao ir além da agregação em nível de conjunto de dados, o framework fornece um resumo compacto e inspecionável de como a dependência de atalhos varia entre imagens e subgrupos.

Os autores enfatizam que sua abordagem não requer o retreinamento do modelo, tornando-a aplicável a sistemas de visão implantados e fixos. Os protótipos e escores de risco resultantes oferecem um fluxo de trabalho prático para auditores:

Visualizar padrões espaciais recorrentes de viés que, de outra forma, estariam ocultos.
Priorizar subconjuntos de dados para revisão manual baseada em altas taxas de erro.
Intervir em tempo de teste para mitigar disparidades, suprimindo pistas espúrias e amplificando evidências relevantes para a tarefa.

O trabalho permanece modesto quanto à generalização, observando que, embora o método lide efetivamente com um único atributo sensível, cenários do mundo real podem envolver múltiplos atributos interagentes. Além disso, a partição baseada em grade assume algum grau de alinhamento espacial, o que pode limitar a aplicabilidade em conjuntos de dados com alta variabilidade espacial sem adaptações adicionais. O trabalho estabelece uma base para o uso de padrões de contribuição espacial para guiar a interpretabilidade acionável em modelos de visão.