Spatially Grounded Concept-Based Image Classification

Resumo Técnico: SEG-MIL-CBM

Definição do Problema
Redes neurais profundas frequentemente alcançam alta precisão ao confiar em correlações espúrias ou evidências que são difíceis de inspecionar, particularmente em cenários de alto risco. Embora os Modelos de Gargalo de Conceito (CBMs) ofereçam um raciocínio interpretável por humanos ao mapear imagens para conceitos definidos por humanos, a maioria dos CBMs existentes trata os conceitos como atributos globais. Essa abordagem global falha em identificar quais regiões específicas da imagem sustentam um conceito, deixando uma lacuna entre a predição e sua explicação. Além disso, CBMs espacialmente fundamentados (ex: SALF-CBM) localizam a evidência, mas não contabilizam explicitamente como a evidência ao nível de região é agregada no logit final da decisão, resultando frequentemente em explicações que são separadas da computação que produz a predição.

Metodologia: SEG-MIL-CBM
Os autores propõem o SEG-MIL-CBM (Classificação de Imagem Baseada em Conceitos Espacialmente Fundamentada), um modelo projetado para decompor imagens em regiões guiadas por conceitos e classificá-las via agregação baseada em atenção de evidências ao nível de segmento. A inovação central é que os mesmos termos de evidência de segmento usados para formar a predição são lidos diretamente para gerar a explicação, eliminando a necessidade de um módulo de atribuição post-hoc separado.

O pipeline consiste em quatro estágios:

1. Pré-processamento Offline: Utilizando modelos de fundação pré-treinados (CLIP, GroundingDINO e SAM), o sistema gera um "saco" (bag) de segmentos guiados por conceitos para cada imagem. O GroundingDINO localiza os conceitos e o SAM produz máscaras binárias. Esses segmentos são armazenados em cache junto com alvos de similaridade de conceito CLIP congelados.
2. Codificação de Segmento: Um modelo treinável codifica cada segmento usando um backbone compartilhado ($\phi$) para produzir características ($h_i$). Uma cabeça de conceito linear projeta essas características em um espaço de conceito para gerar ativações de conceito aprendidas ($z_i$).
3. Agregação Responsável (MIL): O modelo emprega uma estrutura de Aprendizado de Múltiplos Instâncias (MIL) baseada em atenção. Ele computa pesos de atenção condicionados à classe ($\alpha_{i,y}$) para cada segmento e agrega pontuações de segmento-classe ($g_{i,y}$) em um logit ao nível da imagem ($\ell_y = \sum \alpha_{i,y} g_{i,y}$).
4. Geração de Explicação: O logit final é uma soma de contribuições explícitas de segmento. A explicação é derivada pela leitura dos termos de evidência não-viés ($C^{sp}_{i,y}$) desta decomposição. Isso revela quais regiões contribuíram positivamente para a predição e quais conceitos específicos dentro dessas regiões forneceram esse suporte.

O objetivo de treinamento combina perda de entropia cruzada ao nível da imagem com uma perda de alinhamento de cosseno entre as ativações de conceito aprendidas e os alvos CLIP congelados, garantindo consistência semântica sem exigir rótulos explícitos de conceito ou grupo durante o treinamento.

Principais Contribuições

• Agregação Responsável: Os autores formulam a predição de conceito espacial de tal forma que cada pontuação de região exibida é lida diretamente do termo de evidência de segmento não-viés na decomposição do logit, criando uma predição e explicação unificadas.
• Validação de Fidelidade: Através de experimentos de deleção e inserção ao nível de segmento no dataset CUB, o artigo valida quantitativamente que o ranking de segmento aprendido é fiel à própria via de predição do modelo, superando controles baseados em saliência bruta do CLIP, área do segmento e ranking aleatório.
• Compromisso Interpretabilidade-Robustez: O modelo demonstra que um design focado primeiro na interpretabilidade pode preservar uma precisão de reconhecimento competitiva enquanto melhora a precisão do pior grupo (worst-group accuracy) sobre as bases de comparação da família CBM. Ele expõe explicitamente o compromisso de Pareto entre a interpretabilidade e a maior precisão de pior grupo possível alcançável por métodos de robustez de grupo não interpretáveis.

Resultados

• Robustez de Grupo: No dataset Waterbirds (um benchmark para correlações de fundo espúrias), o SEG-MIL-CBM melhora a precisão do pior grupo de 65,1% (SALF-CBM) para 72,0%. No dataset sintético Pawrious, ele atinge 87,4% de precisão do pior grupo, superando significativamente os baselines de CBM globais que falham em mitigar atalhos de fundo.
• Reconhecimento Padrão: O modelo permanece competitivo em tarefas de reconhecimento padrão, alcançando a melhor precisão de CBM no CIFAR-100 (85,3%) e melhorando sobre CBMs espaciais anteriores no Places365 e CUB.
• Fidelidade: No CUB, o modelo atinge o melhor DAUC/IAUC (0,444/0,670) entre os controles avaliados. Testes de inserção Top-1 mostram que manter apenas os segmentos de maior ranking preserva a predição original em 90,5% das imagens.
• Ablação: Experimentos confirmam que os ganhos de desempenho são impulsionados pela agregação explícita de evidência localizada, em vez de bypasses de características ocultas, e que a perda de alinhamento de conceito é crucial para manter a interface semântica usada nas explicações.

Significância e Alegações
O artigo alega que o SEG-MIL-CBM fornece uma forma mais forte de explicação ao servir como uma "trilha de auditoria" da própria predição. Diferente de métodos post-hoc que anexam mapas de calor a classificadores separados, o SEG-MIL-CBM garante que a evidência de região exibida é intrínseca à computação direta (forward computation).

Os autores posicionam o SEG-MIL-CBM não como um substituto para métodos de robustez de grupo não interpretáveis (que podem atingir uma precisão de pior grupo mais alta em datasets específicos como Waterbirds), mas como um ponto distinto na fronteira de Pareto. Ele oferece um compromisso onde os praticantes ganham uma contabilidade espacialmente fundamentada e ao nível de conceito de por que uma decisão foi tomada — especificamente identificando quais partes do objeto ou regiões de fundo apoiaram a predição — mantendo uma precisão competitiva e melhor robustez sobre outros baselines interpretáveis. O trabalho enfatiza que esta abordagem torna as falhas (ex: dependência de atalhos de fundo) mais inspecionáveis do que nos modelos de gargalo globais, mesmo que não garanta a remoção de todos os atalhos.