Spatially Grounded Concept Bottleneck Models via Part-Factorized Attention

Resumo Técnico: Modelos de Gargalo de Conceito Espacialmente Fundamentados via Atenção Fatorizada por Partes

Problema
Os Modelos de Gargalo de Conceito (CBMs) oferecem interpretabilidade ao prever atributos nomeados por humanos (conceitos) antes de realizar uma predição de classe final. No entanto, em tarefas de reconhecimento de grão fino (ex: distinguir espécies de aves), os CBMs padrão sofrem de um "hiato de fundamentação espacial". Embora a camada de conceito permaneça numericamente interpretável, a atenção espacial de cada cabeça de conceito permanece não restrita. Uma cabeça nomeada para uma parte específica do corpo (ex: "cor da garganta") pode satisfazer a perda de treinamento ao atender a uma região diferente (ex: uma mancha na asa) se essa região correlacionar-se fortemente com o atributo alvo. Consequentemente, as decisões do modelo não são fundamentadas na anatomia nomeada, tornando as intervenções em tempo de teste pouco confiáveis, pois elas atuam sobre qualquer patch ao qual a cabeça se fixou, em vez da região anatômica pretendida.

Metodologia: PF-CBM (Part-Factorized CBM)
O PF-CBM proposto impõe a fundamentação espacial como uma propriedade estrutural do grafo de propagação direta (forward graph), construído sobre um Vision Transformer DINOv3 ViT-B/16 congelado. A arquitetura consiste em três componentes primários:

1. Portão de Primeiro Plano Aprendível (Learned Foreground Gate): Um pequeno MLP opera sobre as características de patch do DINOv3 para produzir logits por patch. Estes são passados através de uma função sigmoide para gerar um portão $g \in [0, 1]$. Este portão é injetado aditivamente em logaritmo nos logits de atenção. Ele suprime patches de fundo sem exigir máscaras de segmentação por imagem, respondendo à questão binária de se um patch pertence ao objeto.
2. Cabeças de Atributo Roteadas por Partes (Part-Routed Attribute Heads): O modelo emprega um conjunto de $P=12$ consultas de partes (part queries) aprendíveis que realizam atenção cruzada (cross-attend) com as características dos patches. Um mapeamento "conceito-para-parte" fixo, definido em tempo de compilação, roteia cada um dos $C=312$ atributos para um token de parte específico. Por exemplo, o atributo "cor da garganta" lê exclusivamente do token da "garganta". Esta restrição estrutural impede que um conceito acesse características fora de sua região anatômica atribuída.
3. Prior Espacial Gaussiano Aprendível (Learnable Gaussian Spatial Prior): Para evitar que as consultas de partes colapsem para uma localização comum (ex: o centroide do objeto) devido à simetria de permutação, um prior Gaussiano 2D aprendível é adicionado aos logits de atenção. A média ($\mu_p$) e o desvio padrão ($\sigma_p$) deste prior são parâmetros treináveis. Crucialmente, $\mu_p$ é inicializado offline usando a localização de keypoints média do conjunto de dados para cada parte. Esta inicialização requer apenas uma pequena fração de keypoints anotados e nenhuma supervisão por imagem durante o treinamento ou inferência.

Objetivo de Treinamento
O modelo é treinado em duas etapas para equilibrar a fundamentação e a classificação:

• Etapa 1: O classificador é congelado ($w_{cls}=0$). O portão, a atenção de partes e as cabeças de atributos são treinados usando perda de conceito (entropia cruzada binária ponderada por certeza), perda de primeiro plano, perda de alinhamento (se keypoints estiverem disponíveis) e um termo de entropia para incentivar a concentração da atenção.
• Etapa 2: O classificador é descongelado ($w_{cls}=1$). O modelo treina conjuntamente, mas com uma taxa de aprendizado para os componentes de fundamentação (portão, atenção, cabeças) que é uma ordem de magnitude menor que a do classificador. Isso evita que a pressão de classificação sobrescreva o estado espacialmente fundamentado estabelecido na Etapa 1.

Resultos Principais
Experimentos no conjunto de dados CUB-200-2011 demonstram o seguinte:

• Desempenho vs. Fundamentação: O modelo com prior espacial atinge uma precisão de classificação comparável a uma linha de base totalmente supervisionada (88,85% vs. 88,95% de top-1) enquanto melhora significativamente a precisão de apontamento (pointing accuracy) (52,6% vs. 36,4%).
• Remoção de Supervisão por Imagem: Ao substituir a supervisão de caixa delimitadora (bounding-box) por um alvo de primeiro plano derivado de PCA e combinar isso com o prior Gaussiano, o modelo remove toda a supervisão por imagem. Esta configuração "livre de caixas" (box-free) atinge 88,85% de precisão top-1 e 59,7% de precisão de apontamento.
• Eficiência de Anotação: Uma varredura sobre frações de keypoints revela que inicializar o prior Gaussiano com apenas 0,5% do conjunto de treinamento (aproximadamente 27 imagens) é suficiente para atingir um desempenho indistinguível do uso de todo o conjunto de dados.
• Necessidade de Estrutura: Remover o prior espacial inteiramente faz com que a precisão de apontamento colapse para 2,9%, confirmando que o prior é essencial para quebrar a simetria de permutação e impor a especialização de partes.
• Comportamento de Intervenção: O treinamento sequencial (congelando o codificador de conceitos antes de treinar o classificador) produz um gargalo mais calibrado com menor informação mútua entre conceito e classe, embora com o custo da precisão top-1. Isso confirma que o treinamento conjunto permite que o modelo empacote sinais discriminativos em magnitudes de conceitos, enquanto o treinamento sequencial impõe uma dependência mais estrita dos conceitos nomeados.

Significância e Alegações
O artigo afirma que o PF-CBM consegue unir o hiato entre interpretabilidade e fundamentação espacial. Ao tornar a fundamentação uma garantia estrutural em vez de um resultado de otimização, o modelo garante que as predições de conceitos estejam ligadas a regiões anatômicas específicas. Isso permite intervenções de teste confiáveis onde a correção de um conceito (ex: "cor da garganta") influencia diretamente a predição através da evidência anatômica correta.

O trabalho distingue-se de abordagens de fundamentação suave (soft-grounding, como o DOT-CBM, que utiliza transporte ótimo) ao impor um mapa de roteamento estrutural rígido. Embora isso exija um vocabulário de partes predefinido e um mapeamento conceito-para-parte, fornece um mecanismo trivialmente auditável onde a correspondência entre conceitos e regiões da imagem é fixa por design. Os autores observam que o método é melhor aplicado a domínios com objetos únicos em poses canônicas (ex: aves, rostos) e que remover a identidade das partes inteiramente sem qualquer sinal espacial de nível de conjunto de dados permanece um desafio não resolvido.