Bias Leaves a Gradient Trail: Label-Free Bias Identification via Gradient Probes on Concept Decompositions

Resumo Técnico: Viés Deixa um Rastro de Gradiente

Declaração do Problema
Os classificadores de visão modernos frequentemente alcançam alta precisão dentro da distribuição explorando correlações espúrias (atalhos) em vez de características causais. Embora esses modelos se saiam bem nos dados de treinamento, eles falham sob deslocamentos de distribuição onde essas correlações se quebram. Os métodos existentes de mitigação e análise de viés tipicamente exigem conjuntos de dados curados com atributos espúrios conhecidos ou rótulos de grupo, ou necessitam do re-treinamento do modelo. No entanto, em cenários reais de implantação, os praticantes frequentemente enfrentam um modelo "congelado" sem acesso ao pipeline de treinamento original, anotações de viés ou rótulos de grupo. O desafio é identificar esses conceitos espúrios ocultos e mitigá-los post-hoc sem re-treinamento ou supervisão adicional.

Metodologia
Os autores propõem um método livre de rótulos e post-hoc para identificar e mitigar conceitos espúrios em modelos de visão congelados, utilizando apenas rótulos de classe padrão de um conjunto de dados de auditoria retido. A abordagem consiste em três etapas principais:

1. Decomposição de Conceitos Não Negativos:

   • O modelo $f$ é decomposto em $h \circ g$, onde $g$ mapeia entradas para representações intermediárias $a$.
   • Para uma classe alvo $y$, os autores coletam patches das entradas previstas como $y$ e aplicam a Fatoração de Matriz Não Negativa (NMF) às ativações $A_y$.
   • Isso resulta em um banco de vetores de conceitos interpretáveis condicionados à classe ($W_y$) e coeficientes correspondentes ($U_y$), decompondo a representação em direções não negativas e semanticamente significativas.

2. Identificação de Viés Baseada em Gradiente:

   • A hipótese central é que atributos espúrios se manifestam como direções de conceito distintas que reagem de forma assimétrica às atualizações de gradiente em exemplos mal classificados.
   • Para exemplos mal classificados (Falsos Negativos e Falsos Positivos), os autores calculam o gradiente da perda em relação à representação ($\nabla_a L$) e aplicam um único passo de gradiente para criar uma representação perturbada $a'$.
   • Eles observam como os coeficientes de conceito mudam entre $a$ e $a'$.
   • Intuição: Para corrigir um Falso Negativo (perdendo a classe alvo), o modelo tende a adicionar a pista espúria; para corrigir um Falso Positivo (prevendo incorretamente a alvo), ele tende a remover a pista espúria. Conceitos intrínsecos (evidência verdadeira) não mostram esse padrão assimétrico forte.
   • Uma Pontuação de Viés ($S_{y,k}$) é calculada para cada conceito $k$ com base na consistência dessas adições e remoções através do conjunto de auditoria. Conceitos com pontuações altas são classificados como direções candidatas de viés.

3. Mitigação no Momento da Inferência:

   • Uma vez que os conceitos de viés são identificados, eles são suprimidos no momento da inferência sem atualizar os parâmetros do modelo.
   • O método funde bancos de conceitos condicionados à classe, agrupa conceitos semelhantes e projeta a representação de entrada no subespaço ortogonal aos conceitos de viés identificados.
   • A representação suprimida é reescalada para manter a norma de ativação original antes da classificação.

Principais Contribuições

• Descoberta Livre de Rótulos: Um método para identificar conceitos espúrios em modelos congelados sem exigir anotações de viés ou de grupo, confiando apenas em rótulos de classe padrão.
• Sondas de Gradiente: Um mecanismo de pontuação novel que usa a interação entre ativações de conceito e passos de gradiente para distinguir conceitos de viés de evidência intrínseca.
• Mitigação Acionável: Uma técnica prática de supressão no momento da inferência que melhora a precisão do pior grupo sem re-treinamento ou atualizações de parâmetros.
• Interpretabilidade: O método produz vetores de conceito com patches ativadores associados, fornecendo uma auditoria interpretável do que o modelo está utilizando.

Resultados Experimentais
O método foi avaliado em três benchmarks padrão: Colored MNIST (CMNIST), Waterbirds e CelebA.

• Alinhamento de Conceitos: Em Waterbirds e CMNIST, a decomposição NMF recuperou confiavelmente conceitos alinhados com atributos espúrios conhecidos (por exemplo, tipo de fundo para pássaros, cor para dígitos).
• Pontuação de Viés: A pontuação baseada em gradiente proposta classificou com sucesso conceitos alinhados ao viés acima dos intrínsecos. Um limiar de 0,55 foi encontrado para separar efetivamente os conceitos de viés.
• Desempenho de Mitigação:
  • Waterbirds: A supressão dos conceitos de maior classificação melhorou a precisão do pior grupo em 17,9 pontos percentuais (de 45,9% para 63,8%) e a precisão da pior classe em 8,5 pontos.
  • CelebA: Apesar dos conceitos identificados coincidirem apenas parcialmente com o atributo de gênero anotado (capturando formato/comprimento do cabelo em vez de apenas cor), a supressão melhorou a precisão do pior grupo em 10,4 pontos percentuais (de 43,4% para 53,8%).
  • CMNIST: Os resultados foram mistos; embora conceitos de viés tenham sido identificados, a supressão não melhorou consistentemente a precisão do pior grupo, provavelmente devido ao forte emaranhamento de cor e forma no rank de decomposição específico utilizado.
• Comparação: O método superou uma ablação de supressão aleatória, confirmando que as direções identificadas são especificamente alinhadas ao viés. Ele opera sem os rótulos de grupo ou o re-treinamento exigidos por baselines supervisionadas como Group DRO ou DFR, embora não alcance os níveis absolutos de desempenho desses modelos re-treinados.

Significado e Alegações
O artigo alega fornecer tanto uma ferramenta de auditoria interpretável quanto um controle de debiasing acionável para modelos de visão implantados. Seu significado principal reside em abordar o "problema de descoberta" onde o viés é desconhecido e o re-treinamento é inviável.

• Os autores enfatizam que o método identifica direções espúrias relevantes para a decisão que não precisam coincidir perfeitamente com atributos anotados (como visto em CelebA), capturando proxies sutis como comprimento do cabelo ou textura de fundo que impulsionam erros do modelo.
• A abordagem é apresentada como uma intervenção post-hoc de custo zero que pode ser aplicada antes de decidir se um re-treinamento mais invasivo é justificado.
• O artigo reconhece limitações, observando que a decomposição de patches em escala única pode ter dificuldade com vieses espacialmente distribuídos (como gênero em CelebA) e que o método requer um número suficiente de exemplos mal classificados no conjunto de auditoria para funcionar efetivamente.