Graph Concept Bottleneck Models

1. Formulação do Problema

Modelos de Gargalo de Conceito (CBMs) são um framework para aprendizado profundo interpretável que mapeia dados de entrada para conceitos intermediários compreensíveis por humanos antes de fazer uma previsão final. Embora os CBMs permitam transparência e intervenção direta (por exemplo, corrigir uma previsão ajustando uma pontuação de conceito), os CBMs existentes sofrem de uma limitação crítica:

• Suposição de Independência: CBMs padrão assumem que os conceitos são condicionalmente independentes dada a etiqueta.
• Realidade da Correlação: Na prática, os conceitos são altamente correlacionados (por exemplo, "pelagem" e "bigodes" frequentemente co-ocorrem com "cauda"). Ignorar essas dependências intrínsecas leva a representações simplistas, redução na precisão preditiva e menor interpretabilidade.
• Limitações de Intervenção: Quando os usuários intervêm em um único conceito, os CBMs padrão falham em propagar as consequências lógicas dessa mudança para conceitos relacionados, levando a correções subótimas.

2. Metodologia: CBMs em Grafo (G-CBMs)

Os autores propõem CBMs em Grafo, um framework inovador que modela explicitamente a estrutura relacional entre conceitos usando um grafo de conceitos latente. A arquitetura é projetada como um módulo leve, plug-and-play, compatível com variantes existentes de CBM (tanto livres de etiquetas quanto supervisionadas por conceito).

Componentes Principais

O modelo consiste em três módulos principais:

1. Módulo 1: Codificação e Parametrização

   • Entradas: Imagens são codificadas via um codificador de visão pré-treinado ($E_v$), e conceitos são codificados via um codificador de linguagem pré-treinado ($E_t$) (em configurações livres de etiquetas).
   • Estrutura de Grafo: Um grafo latente $G = (V, A)$ é definido onde os nós $V$ representam conceitos e a matriz de adjacência $A$ codifica a força relacional entre eles.
   • Inicialização: O grafo é inicializado (aleatoriamente ou via similaridade de embeddings) e compartilhado entre todas as instâncias de dados, mas a ativação dos nós é dependente da instância.

2. Módulo 2: Propagação de Mensagens GNN

   • Para capturar dependências, o modelo emprega uma Rede Neural em Grafo (GNN) com múltiplas camadas.
   • Propagação de Mensagens Dupla: Em cada camada $l$, a informação é agregada a partir de nós vizinhos para ambos:
     • Embeddings ($V_{emb}$): O significado semântico do conceito.
     • Ativações ($V_{act}$): A extensão em que um conceito é ativado para uma imagem específica.
   • A regra de atualização combina a matriz de adjacência com multiplicação elemento a elemento de ativações e embeddings, permitindo que o modelo propague contexto a partir de conceitos relacionados (por exemplo, se "asas" está ativo, o modelo aumenta a probabilidade de "penas").

3. Módulo 3: Regularização e Previsão

   • Aprendizado Contrastivo: Como as relações verdadeiras de conceitos muitas vezes não estão disponíveis, o modelo usa aprendizado contrastivo auto-supervisionado para aprender a estrutura do grafo.
     • Perda no Nível de Embedding ($L_{emb}$): Alinha o embedding da imagem com o embedding no nível do grafo (médias de embeddings de nós).
     • Perda no Nível de Ativação ($L_{act}$): Alinha o embedding da imagem projetado com o vetor de ativação de conceito atualizado.
   • Função de Perda: A perda total combina a entropia cruzada de classificação ($CE$), as perdas contrastivas ($L_{emb}, L_{act}$) e um termo de regularização de esparsidade $L_1$ na matriz de adjacência para evitar overfitting e garantir interpretabilidade.
   • Previsão: A etiqueta final é prevista passando as ativações de conceito refinadas através de uma camada linear ou MLP.

3. Contribuições Principais

1. Framework Inovador: Introdução dos CBMs em Grafo, a primeira variante de CBM a modelar explicitamente correlações de conceitos latentes via uma estrutura de grafo aprendível, aprimorando tanto o raciocínio quanto a interpretabilidade.
2. Aprendizado de Grafo Auto-Supervisionado: Desenvolvimento de um framework que constrói automaticamente grafos de conceitos latentes sem exigir anotações relacionais verdadeiras, utilizando aprendizado contrastivo multinível.
3. Integração Plug-and-Play: O método é ortogonal a designs existentes de CBM, integrando-se perfeitamente tanto em CBMs Livres de Etiquetas (por exemplo, LF-CBM, PCBM) quanto em CBMs Supervisionados por Conceito (por exemplo, CBM padrão, CEM).
4. Intervenção Robusta: Demonstrou que modelar relações de conceitos melhora significativamente a eficácia de intervenções post-hoc, permitindo que correções se propaguem logicamente através da rede de conceitos.

4. Resultados Experimentais

Os autores avaliaram os CBMs em Grafo em múltiplos conjuntos de dados do mundo real, incluindo CUB-200-2011 (aves), Flower102, HAM10000 (lesões de pele), CIFAR-10/100 e ChestXpert.

• Precisão Preditiva:
  • Os CBMs em Grafo superaram consistentemente as linhas de base em todos os conjuntos de dados.
  • Configuração Livre de Etiquetas: O Graph-PCBM melhorou a precisão em ~1,5% a 3% sobre o PCBM padrão (por exemplo, 77,95% vs. 74,69% no CUB).
  • Configuração Supervisionada por Conceito: Graph-CBM e Graph-CEM igualaram ou superaram métodos state-of-the-art (por exemplo, ProbCBM, HardAR, E-CBM) enquanto ofereciam melhor interpretabilidade.
• Desempenho de Intervenção:
  • Em experimentos de intervenção (modificando pontuações de conceito para corrigir erros), os CBMs em Grafo mostraram robustez significativamente maior.
  • Quando conceitos foram mascarados ou perturbados, os CBMs em Grafo recuperaram o desempenho melhor que as linhas de base, agregando sinais de vizinhos conectados.
  • Os CBMs em Grafo alcançaram alta precisão com intervenções de passo único, enquanto modelos baseados em energia (como E-CBM) exigiam cálculos iterativos de gradiente.
• Estudos de Ablação:
  • Remover a propagação de mensagens GNN causou queda de desempenho para níveis de linha de base, confirmando que o ganho vem da modelagem de interações, não apenas do aumento de parâmetros.
  • O uso de ambas $L_{emb}$ e $L_{act}$ foi crucial; usar apenas uma levou a grafos excessivamente densos ou excessivamente esparsos.
• Interpretabilidade do Grafo:
  • Os grafos aprendidos revelaram conexões semanticamente significativas (por exemplo, "voz alta e rouca" conectada a "chamado estridente") que alinharam com a intuição humana e até superaram heurísticas geradas por LLMs na captura de correlações não óbvias.

5. Significado e Impacto

• Ponte entre Lacunas: Os CBMs em Grafo fecham a lacuna entre a interpretabilidade dos CBMs e as capacidades de raciocínio relacional das Redes Neurais em Grafo.
• Confiabilidade: Ao modelar como os conceitos influenciam uns aos outros, o modelo fornece um processo de tomada de decisão mais realista e confiável, crucial para domínios críticos de segurança como saúde (por exemplo, entender como "pneumonia" se relaciona com "derrame pleural").
• Eficiência: A abordagem alcança desempenho state-of-the-art com sobrecarga computacional mínima (adicionando apenas $O(k^2)$ parâmetros para $k$ conceitos) e não exige re-treinamento do codificador de imagem principal.
• Generalização: O framework é versátil, funcionando efetivamente em ambos os cenários onde rótulos de conceito estão disponíveis e onde devem ser descobertos automaticamente (livre de etiquetas).

Em conclusão, os CBMs em Grafo representam um avanço significativo em IA interpretável, indo além da suposição de conceitos independentes para capturar a natureza rica e interconectada do raciocínio humano, melhorando assim tanto a precisão do modelo quanto a confiabilidade das intervenções humanas.