Caption-Driven Explainability: Probing CNNs for Bias via CLIP

Este artigo propõe um método de IA explicativa baseado em legendas que integra modelos de visão computacional ao CLIP por meio de uma abordagem de cirurgia de rede para identificar conceitos dominantes, mitigando assim riscos de viés e melhorando a robustez dos modelos.

O essencial

Imagine que você tem um aluno muito inteligente, mas um pouco teimoso, chamado "Rede Neural". Ele foi treinado para reconhecer números escritos à mão (como 5 e 8). O problema é que, durante os estudos, o professor (o conjunto de dados) cometeu um erro: todos os números 5 eram escritos com tinta vermelha e todos os 8 com tinta verde.

O aluno aprendeu a lição, mas de um jeito errado. Ele não está olhando para a forma do número (se é um 5 ou um 8); ele está apenas olhando para a cor. Se você mostrar a ele um 5 verde, ele vai pensar: "Isso é um 8!". Ele é "viciado" em cor.

Agora, imagine que você quer colocar esse aluno para trabalhar no mundo real, onde as cores são aleatórias. Ele vai falhar miseravelmente. Como descobrir que ele está focando na cor e não na forma?

É aqui que entra o artigo que você pediu para explicar. Vamos descomplicar:

1. O Problema: "Mapas de Foco" Enganosos

Normalmente, quando queremos saber no que um computador está pensando, usamos ferramentas chamadas "Mapas de Saliência". É como se fosse uma lâmpada mágica que acende sobre a parte da imagem que o computador achou mais importante.

O problema é que, se o computador está focado na cor (vermelho) e a forma (o número 5) também está vermelha, a lâmpada acende em cima dos dois. Você não consegue saber se o computador está pensando "Isso é um 5" ou "Isso é vermelho". É como tentar adivinhar o sabor de um bolo olhando apenas para a cor da cobertura; pode ser chocolate, mas pode ser apenas corante vermelho.

2. A Solução Criativa: A "Cirurgia" e o "Tradutor"

Os autores do artigo criaram um método novo e inteligente chamado XAI Baseado em Legendas (Caption-Driven XAI). Eles usaram uma IA famosa chamada CLIP (que é como um tradutor que entende perfeitamente imagens e textos ao mesmo tempo).

A ideia principal é fazer uma "Cirurgia de Rede":

• Pegamos o cérebro do nosso aluno teimoso (a Rede Neural que queremos testar).
• Pegamos o cérebro do tradutor superinteligente (o CLIP).
• Fazemos uma troca de peças: retiramos algumas "peças" (camadas de processamento) do cérebro do aluno e as encaixamos no cérebro do tradutor.

A Analogia da Troca de Óculos:
Imagine que o CLIP é um detetive que usa óculos de realidade aumentada. Ele pode olhar para uma imagem e dizer: "Isso é um gato" ou "Isso é vermelho".
Nós pegamos os "olhos" (as camadas internas) do nosso aluno teimoso e os colocamos nos óculos do detetive. Agora, o detetive vê o mundo exatamente como o aluno teimoso vê.

3. O Teste: As Legendas (A Mágica)

Agora que o detetive (CLIP) está usando os olhos do aluno, nós mostramos a ele várias imagens e fazemos perguntas usando legendas (textos):

• "Isso é um número 5?"
• "Isso é um número 8?"
• "Isso é vermelho?"
• "Isso é verde?"

O sistema mede o quanto a imagem "conversa" com cada legenda.

• Se o sistema gritar "VERMELHO!" com muito mais força do que "NÚMERO 5", nós sabemos que o aluno está viciado na cor.
• Se ele falar "NÚMERO 5" com força, ele está aprendendo corretamente.

4. O Resultado: Descobrindo o Vício

No experimento do artigo, eles mostraram que:

1. Antes da correção: O sistema detectou que o aluno estava 100% focado na cor. A "lâmpada" da explicação mostrou que a cor era o conceito dominante, e não a forma do número.
2. Depois da correção: Eles pegaram o aluno, tiraram a cor das imagens (deixando tudo em preto e branco) e o treinaram de novo.
3. Novo Teste: Quando fizeram a mesma "cirurgia" e o teste de legendas novamente, o sistema agora gritava "NÚMERO 5" e "NÚMERO 8". O vício na cor tinha sumido!

Por que isso é importante?

Imagine um médico usando uma IA para diagnosticar doenças. Se a IA aprender que "todos os pacientes do hospital X têm uma doença porque estão de jaleco branco" (e não pelos sintomas reais), ela vai errar feio em outros hospitais.

Esse método é como um detector de mentiras para IAs. Antes de deixar a IA trabalhar no mundo real (onde as coisas são imprevisíveis), nós usamos essa "cirurgia" para garantir que ela está olhando para o que realmente importa (a forma, o sintoma, o objeto) e não para uma coincidência (a cor, o fundo, o jaleco).

Resumo da Ópera:
O artigo ensina uma maneira inteligente de "ler a mente" de uma IA, trocando partes do cérebro dela por um tradutor superinteligente. Isso nos permite perguntar: "Você está pensando na cor ou no objeto?". Se a resposta for a cor, nós sabemos que a IA está enganada e precisamos corrigi-la antes que ela cause problemas no mundo real.

Resumo técnico

1. O Problema

O artigo aborda a questão crítica da robustez e interpretabilidade em modelos de Aprendizado de Máquina (ML), especificamente em Visão Computacional.

• Desafio Principal: Modelos de ML muitas vezes aprendem correlações espúrias (falsas) em vez de conceitos reais. Por exemplo, um modelo treinado para classificar dígitos pode aprender a associar a cor do pixel ao número, em vez da forma geométrica.
• Limitação das Técnicas Atuais: Métodos de Inteligência Artificial Explicável (XAI) baseados em mapas de saliência (como Grad-CAM) destacam quais pixels ativam o modelo. No entanto, se características espúrias e relevantes estiverem sobrepostas no mesmo espaço de pixels, esses mapas podem ser enganosos, não revelando qual conceito (cor vs. forma) o modelo está realmente priorizando.
• Covariate Shift: O risco de um modelo funcionar bem no laboratório (dados de treino/validação) e falhar no mundo real devido a uma mudança na distribuição dos dados (covariate shift). O artigo usa um exemplo onde dígitos "5" são sempre vermelhos e "8" sempre verdes no treino, mas as cores são aleatórias no mundo real.

2. Metodologia Proposta

Os autores propõem um método de XAI baseado em legendas (Caption-Driven XAI) que integra um modelo independente (a ser explicado) ao modelo CLIP (Contrastive Language-Image Pre-training) através de uma técnica inovadora de Cirurgia de Rede (Network Surgery).

• Integração via CLIP: O CLIP é um modelo multimodal que alinha imagens e textos em um espaço de embeddings comum. O objetivo é usar a capacidade do CLIP de entender conceitos descritos em texto para "ler" o que o modelo independente está "pensando".
• Cirurgia de Rede (Network Surgery):
  • O processo envolve substituir seletivamente os mapas de ativação do codificador de imagens do modelo independente (ResNet-50) pelos mapas de ativação correspondentes no codificador de imagens do CLIP (ResNet-52 modificado).
  • Correspondência de Ativação (Activation Matching): Devido à diferença no número de mapas de ativação entre os dois modelos (22.720 no ResNet-50 vs. 3.840 no CLIP), os autores utilizam um processo de seleção baseado em estatísticas (média e desvio padrão) e correlação. Eles normalizam os mapas de ativação e calculam a correlação entre eles para encontrar os pares mais similares.
  • Troca Seletiva: Apenas as camadas convolucionais finais (estágios 2 a 5) do CLIP são substituídas, preservando a primeira camada (que captura conceitos de baixo nível similares em ambos) e mantendo o espaço de conceitos de alto nível do CLIP intacto.
• Procedimento de Inferência: Após a "cirurgia", o modelo híbrido (Caption-Driven XAI) recebe a imagem e várias legendas de texto (ex: "um dígito vermelho", "um dígito verde", "um dígito com forma de cinco").
• Detecção de Viés: Calcula-se a similaridade de cosseno entre a imagem processada e as legendas. Se a similaridade for alta para legendas de cor (ex: "vermelho") e baixa para forma, o modelo é identificado como enviesado pela cor. Se a similaridade for alta para forma, o modelo é robusto.

3. Contribuições Chave

• Método de XAI Multimodal: Introdução de uma nova abordagem que utiliza texto (legendas) para explicar decisões de modelos de visão, superando as limitações dos mapas de saliência tradicionais.
• Técnica de Cirurgia de Rede: Desenvolvimento de um método para injetar as propriedades de um modelo independente em um modelo pré-treinado (CLIP) de forma controlada, permitindo que o CLIP explique o comportamento do modelo original.
• Identificação de Conceitos Dominantes: Capacidade de identificar com precisão se um modelo está focando em características superficiais (como cor) ou conceituais (como forma), mesmo quando essas características estão sobrepostas no espaço de pixels.
• Mitigação de Covariate Shift: O método permite detectar vieses antes da implantação do modelo no mundo real, facilitando a correção do conjunto de dados ou o retreinamento do modelo.

4. Resultados

O método foi testado em um cenário controlado usando o dataset MNIST com um viés artificial:

• Cenário de Viés: O modelo ResNet-50 foi treinado para classificar os dígitos 5 e 8, onde todos os "5" eram vermelhos e todos os "8" eram verdes.
• Identificação do Viés: O modelo Caption-Driven XAI identificou corretamente que a cor era o conceito dominante para as previsões do modelo, e não a forma do dígito. Isso foi confirmado pela alta similaridade de embeddings com legendas de cores.
• Validação de Robustez:
  • Os autores removeram a cor (convertendo para escala de cinza) e retreinaram o modelo.
  • Ao aplicar a cirurgia de rede no novo modelo (agora robusto), o método mostrou uma mudança drástica: a similaridade com legendas de forma tornou-se dominante, enquanto a de cor caiu.
  • Isso demonstrou que o método consegue distinguir entre um modelo enviesado e um modelo robusto, algo que os mapas de saliência tradicionais teriam dificuldade em fazer devido à sobreposição de pixels.

5. Significado e Impacto

• Superação dos Mapas de Saliência: O trabalho demonstra que métodos baseados em texto são superiores aos mapas de saliência em cenários onde características espúrias e relevantes se sobrepõem, fornecendo uma explicação mais semântica e menos ambígua.
• Pré-requisito para Implantação: Os autores argumentam que este tipo de XAI não deve ser visto apenas como uma ferramenta de depuração, mas como um passo necessário antes de implantar qualquer modelo de visão computacional em ambientes de alto risco (como medicina), onde a confiança nas previsões é vital.
• Generalização: A técnica sugere que entender os conceitos internos (unidades de detecção de conceitos) de redes neurais é fundamental para melhorar a robustez e evitar que modelos sejam enganados por mudanças na distribuição de dados no mundo real.

Em resumo, o artigo apresenta uma ferramenta poderosa para "escutar" o que uma Rede Neural Convolucional (CNN) está realmente "pensando" ao traduzir suas ativações internas para conceitos linguísticos via CLIP, permitindo a detecção e correção de vieses críticos antes que o modelo seja usado na prática.