Resumo Técnico: Visual-TCAV

Declaração do Problema

As Redes Neurais Convolucionais (CNNs) alcançaram um desempenho notável na classificação de imagens, mas permanecem modelos de "caixa-preta", dificultando a confiança e a depuração em domínios críticos como saúde e direção autônoma. Os métodos existentes de IA Explicável (XAI) sofrem de limitações complementares:

• Métodos de Saliência (ex: Grad-CAM, Integrated Gradients): Fornecem explicações locais, ao nível de pixel, mostrando onde uma classe é identificada, mas falham em explicar quais conceitos semânticos de alto nível (ex: "listrado", "covinhas") impulsionaram a predição.
• Métodos Baseados em Conceitos (ex: TCAV): Explicam o quão sensível uma rede é a conceitos definidos por humanos globalmente, mas não conseguem atribuir a importância de um conceito a uma instância de predição específica, nem podem visualizar a localização espacial desses conceitos dentro da imagem de entrada.

Consequentemente, existe uma lacuna em métodos que possam simultaneamente fornecer aterramento espacial (localização de conceitos), atribuição por instância (quantificação da importância do conceito para uma predição específica) e agregabilidade (geração de insights globais).

Metodologia: Visual-TCAV

O Visual-TCAV é um framework projetado para preencher a lacuna entre os métodos de saliência e os baseados em conceitos. Ele opera em qualquer camada de CNN que produza mapas de características e gera duas saídas primárias: um mapa de conceito (localização espacial) e uma atribuição de conceito (importância numérica).

1. Geração de CAV e Pooling Espacial

Seguindo o paradigma TCAV, o método primeiro calcula um Vetor de Ativação de Conceito (CAV) usando a abordagem de Diferença de Médias. Isso envolve:

• Coletar mapas de características de exemplos de conceitos positivos definidos pelo usuário e exemplos negativos (aleatórios).
• Calcular a média aritmética (centróide) para ambos os conjuntos.
• Derivar o CAV como a diferença entre o centróide do conceito e o centróide aleatório.
• Aplicar o Global Average Pooling (GAP) ao CAV para criar um pooled-CAV. Este vetor representa a correlação entre o conceito e cada canal do mapa de características, independente da localização espacial.

2. Mapa de Conceito (Aterramento Espacial)

Para localizar onde um conceito $c$ é reconhecido em uma imagem de entrada, o Visual-TCAV gera um mapa de conceito $M^c$:

• Ele computa uma soma ponderada dos mapas de características da imagem de entrada ($F$), onde os pesos são os elementos do pooled-CAV ($p^c_i$).
• Uma função ReLU é aplicada para reter apenas as regiões positivamente correlacionadas com o conceito.
• Normalização: Para garantir a comparabilidade entre imagens, o mapa é normalizado usando uma escala min-máx customizada. Os limites ($\ell_c, u_c$) são derivados heuristicamente das médias contraharmônicas das medianas dos mapas de conceito gerados a partir dos conjuntos de exemplos positivos e negativos, respectivamente.
• O resultado é uma visualização independente de classe que destaca as regiões espaciais onde a rede reconhece o conceito.

3. Atribuição de Conceito (Importância por Instância)

Para estimar a magnitude da contribuição de um conceito para uma predição de classe específica, o método estende os Integrated Gradients (IG):

• IG de Mapa de Características: Em vez de integrar gradientes a partir de pixels de entrada, o IG é computado no espaço do mapa de características de uma camada escolhida. Isso mede a atribuição das ativações do mapa de características ao logit da classe alvo em relação a uma linha de base (tensor zero).
• Ponderação pela Alinhamento de Conceito: As atribuições de IG normalizadas são ponderadas pelo pooled-CAV normalizado ($\hat{p}^c$). Isso enfatiza mapas de características fortemente alinhados com o conceito e reduz o peso de outros.
• Mascaramento Espacial: As atribuições ponderadas são multiplicadas elemento a elemento pelo mapa de conceito normalizado ($\hat{M}^c$), atuando como uma máscara espacial para isolar regiões relevantes ao conceito.
• Agregação: A soma sobre todas as localizações espaciais resulta em um escalar de atribuição de conceito ($a_{c,k}$), quantificando a contribuição do conceito $c$ para a classe $k$ para uma entrada específica.

4. Explicações Globais

Insights globais são derivados pela média das atribuições de conceito por instância através de um conjunto de imagens de entrada para uma classe selecionada, quantificando a importância geral de um conceito para aquela classe.

Principais Contribuições

1. Framework Unificado: O Visual-TCAV integra os pontos fortes dos mapas de saliência e dos métodos baseados em conceitos, satisfazendo três desideratos: (D1) aterramento espacial, (D2) atribuição por instância e (D3) agregabilidade.
2. Atribuição Consciente de Magnitude: Ao contrário do TCAV, que depende apenas dos sinais das derivadas direcionais (sensibilidade), o Visual-TCAV utiliza a magnitude dos gradientes (via Integrated Gradients) para medir o impacto real de um conceito na pontuação da predição.
3. Validação Visual: A geração de mapas de conceito permite a validação qualitativa de se o CAV se alinha com o conceito pretendido pelo usuário sem exigir maximização de ativação.
4. Validação de Ground Truth: Os autores introduzem um experimento controlado usando datasets sintéticos (pepino, táxi, zebra com tags artificiais) onde o ground truth para a importância do conceito é conhecido, demonstrando que o Visual-TCAV se alinha melhor com o ground truth do que o TCAV padrão.

Resultados

O método foi avaliado no ResNet50V2, InceptionV3 e VGG16 (ImageNet) e em um ResNet50V2 treinado no CelebA.

• Explicações Locais: O Visual-TCAV visualizou com sucesso que conceitos de alto nível (ex: "carro") são reconhecidos em camadas mais profundas, enquanto conceitos de detalhe fino aparecem em camadas anteriores. Identificou que classificações incorretas (ex: um "boi" classificado incorretamente como um "dalmata") foram impulsionadas por conceitos específicos (ex: "manchado") contribuindo significamente para o logit da classe errada.
• Explicações Globais: As atribuições agregadas alinharam-se com expectativas intuitivas (ex: "listrado" é altamente atribuído a "zebra"). O método também destacou potenciais vieses do modelo, como a dependência excessiva de características específicas.
• Validação Quantitativa: No experimento controlado baseado em tags, as atribuições do Visual-TCAV espelharam corretamente o ground truth: conforme os modelos eram treinados em porcentagens crescentes de imagens tagueadas, a atribuição mudava da entidade (ex: "zebra") para a tag (ex: "Z").
• Comparação com TCAV: Enquanto os scores do TCAV permaneceram altos para ambos os elementos e tags mesmo quando os modelos falharam em distingui-los (devido à dependência de sinais de gradiente), o Visual-TCAV distinguiu corretamente a importância relativa ao medir magnitudes de gradiente, mostrando atribuição quase zero para conceitos irrelevantes em modelos com overfitting.

Significância e Alegações

O artigo afirma que o Visual-TCAV oferece uma explicação mais abrangente do que os métodos existentes ao quantificar o quanto um conceito influencia uma predição, não apenas se a rede é sensível a ele.

• Ele aborda a limitação do TCAV em avaliar predições incorretas e verificar o aterramento espacial.
• Fornece um mecanismo para detectar quando modelos dependem de atalhos (ex: tags em vez de objetos), o que é crítico para aplicações de segurança crítica.
• Os autores notam modestamente limitações: coletar exemplos de conceitos requer conhecimento de domínio, e o método não fornece uma garantia de completude (ou seja, não pode verificar se os conceitos testados são exaustivos do que o modelo aprendeu).
• Trabalho futuro é proposto para aplicar o método a Vision Transformers (ViTs) e tarefas de regressão, embora os autores reconheçam os desafios do aterramento espacial em arquiteturas baseadas em atenção.