Resumo Técnico: Modelos de Fluxo de Conceitos (CFMs)

Declaração do Problema

Os Modelos de Gargalo de Conceito (CBMs) visam aumentar a interpretabilidade de redes neurais profundas ao projetar características aprendidas em um espaço de conceitos compreensível por humanos antes de realizar as predições finais. Embora os CBMs post-hoc recentes utilizem Modelos de Visão-Linguagem (VLMs) para eliminar a necessidade de anotação manual de conceitos, eles sofrem de uma limitação crítica conhecida como vazamento de informação (information leakage).

À medida que o número de embeddings de conceitos se aproxima da dimensionalidade do espaço de embedding de características, o modelo pode explorar correlações espúrias ou semanticamente irrelevantes para alcançar alta acurácia. Nesse cenário, o modelo pode depender de conceitos aleatórios ou irrelevantes para a tarefa (por exemplo, "pintura da carroceria do veículo" para classificar gatos) em vez do conteúdo semântico pretendido. Isso compromete a interpretabilidade do modelo, pois uma alta acurácia não garante mais que o raciocínio esteja fundamentado em conceitos significativos. As estratégias de mitigação existentes, como a imposição de esparsidade via regularização ou a seleção de conjuntos de conceitos compactos, frequentemente falham em escalar com a complexidade da tarefa ou não impedem estruturalmente o uso indevido de conceitos irrelevantes.

Metodologia: Modelos de Fluxo de Conceitos (CFMs)

Os autores propõem os Modelos de Fluxo de Conceitos (CFMs), uma arquitetura hierárquica que substitui a camada de gargalo plana dos CBMs tradicionais por uma árvore de decisão impulsionada por conceitos e hierárquica. Essa mudança estrutural impõe uma "esparsidade estrutural", garantindo que cada predição de classe dependa apenas de um subconjunto localizado de conceitos ao longo de um caminho de decisão específico.

O framework CFM opera através de três fases primárias:

1. Extração de Hierarquia de Árvore e Anotação Semântica:

   • O framework utiliza um VLM pré-treinado (especificamente o CLIP) para gerar embeddings de imagem ao nível da classe.
   • O agrupamento aglomerativo (agglomerative clustering - ligação de Ward) é aplicado a esses embeddings para construir uma hierarquia de árvore semântica.
   • Os nós internos são podados com base nas distâncias de fusão para evitar árvores excessivamente profundas com nós fracamente separados.
   • Modelos de Linguagem de Grande Escala (LLMs) são usados para gerar rótulos descritivos para os nós internos com base nas classes folha em seus subárvores, criando uma hierarquia semântica alinhada ao humano.

2. Seleção e Distribuição de Conceitos:

   • LLMs geram conceitos candidatos para cada classe folha, incorporando amostras de imagens e contexto hierárquico.
   • Os conceitos são agregados aos nós internos. Conceitos redundantes e aqueles que contêm nomes de classes são filtrados.
   • Uma regressão logística multiclasse com regularização Lasso é empregada para selecionar os conceitos mais discriminativos para cada nó interno. O número de conceitos alocados a um nó é determinado por uma estratégia híbrida que equilibra a contagem de filhos do nó e um orçamento global de conceitos.

3. Treinamento de Fluxo de Conceito Diferenciável:

   • O modelo é treinado de ponta a ponta. Cada nó interno $v$ é parametrizado por uma matriz de conceitos $C_v$ (embeddings pré-selecionados) e uma matriz de pesos treinável $W_v$.
   • Probabilidades de Transição: Para um embedding de imagem $\tilde{z}$, o modelo computa ativações de conceitos, projeta-os via $W_v$ e aplica um softmax escalonado por temperatura para determinar a probabilidade de transição para os nós filhos.
   • Agregação de Caminho: A probabilidade de alcançar um nó folha (classe final) é o produto das probabilidades de transição ao longo do caminho único da raiz até a folha, calibrado por um termo de viés (bias) aprendível.
   • Objetivo: O modelo minimiza a log-verossimilhança negativa do caminho da classe real (ground-truth).

Principais Contribuições

• Inovação Arquitetônica: A introdução dos CFMs, que decompõe a classificação em uma sequência de subproblemas localizados e impulsionados por conceitos através de um gargalo hierárquico. Este design isola estruturalmente conceitos não relacionados do caminho de decisão de qualquer classe específica.
• Análise Teórica: Os autores fornecem provas teóricas demonstrando que gargalos hierárquicos criam uma barreira maior ao vazamento de informação. Especificamente, alcançar separabilidade global com conceitos aleatórios em um CFM requer um orçamento total de conceitos proporcional a $O(md)$ (onde $m$ é o número de nós internos), enquanto um CBM plano requer apenas $O(d)$. Isso implica que os CFMs são significativamente mais resistentes a ganhos de acurácia provenientes de conceitos aleatórios e irrelevantes para a tarefa.
• Eficiência Semântica: O framework demonstra que os CFMs podem alcançar acurácia comparável aos CBMs planos enquanto utilizam um número substancialmente menor de Conceitos Efetivos (NEC) por predição. O número de conceitos usados por predição é reduzido de $O(R)$ em modelos planos para $O(\frac{R}{m} \log_b m)$ em CFMs.
• Pipeline de Ponta a Ponta: Um pipeline completo é desenvolvido que constrói hierarquias de decisão a partir de embeddings visuais, seleciona conceitos discriminativos sem anotação manual e treina o modelo com travessia de árvore probabilística.

Resultados Experimentais

Experimentos foram conduzidos em cinco benchmarks: CIFAR-10, CIFAR-100, UCF-101, CUB-200 e TinyImageNet.

• Resistência a Conceitos Aleatórios: Em cenários utilizando conceitos aleatórios (não semânticos), os CFMs mostraram acurácia significativamente menor comparada aos CBMs planos conforme o orçamento de conceitos aumentava. Por exemplo, no CIFAR-10, enquanto a acurácia do CBM se aproximou da linha de base de sonda linear (linear probe) com 64 conceitos aleatórios, a acurácia do CFM permaneceu substancialmente inferior (75% vs 90%), confirmando a barreira estrutural contra o vazamento de informação.
• Desempenho com Conceitos Semânticos: Ao utilizar conceitos semânticos curados, os CFMs igualaram ou superaram a acurácia dos CBMs planos de última geração (PCBM e Labo) enquanto utilizavam muito menos conceitos efetivos.
  • No CIFAR-10, o CFM alcançou 91,59% de acurácia com apenas 6,9 conceitos efetivos, comparado a aproximadamente 57 do PCBM e Labo.
  • No TinyImageNet, o CFM alcançou 70,79% de acurácia com 92 conceitos efetivos, superando o Labo (69,86%) e igualando o PCBM (71,07%), que utilizou mais de 360 conceitos.
• Razão de Melhoria Semântica (SIR): Os CFMs exibiram pontuações SIR significativamente mais altas, indicando uma dependência mais forte de conceitos semânticos significativos em vez de correlações espúrias. Por exemplo, no CIFAR-10, o SIR do CFM foi de 19,78%, comparado a 1,94% do Labo.
• Estudos de Ablação: O estudo confirmou que a hierarquia induzida pelo CLIP supera a hierarquia aleatória ou baseada em pesos. Também destacou que podar a árvore para controlar o número de nós internos é crucial para equilibrar interpretabilidade (caminhos mais esparsos) e acurácia (capacidade de conceito suficiente por nó).

Significância e Alegações

O artigo afirma que os CFMs oferecem uma direção promissora para aumentar a interpretabilidade sem sacrificar o desempenho preditivo. Ao ancorar decisões em estruturas hierárquicas alinhadas ao humano, os CFMs fornecem caminhos de raciocínio rastreáveis e passo a passo que são auditáveis e transparentes.

Os autores enfatizam que sua abordagem aborda o trade-off fundamental nos modelos baseados em conceitos: o risco de que uma alta acurácia seja alcançada através do vazamento de informação em vez do fundamento semântico. Ao limitar estruturalmente o espaço de conceitos disponível para cada etapa de decisão, os CFMs forçam o modelo a depender de conceitos relevantes e localizados. Esse isolamento estrutural complementa as técnicas de regularização existentes e oferece um mecanismo robusto para reduzir o vazamento de informação, particularmente em tarefas de classificação complexas e de grão fino. O trabalho sugere que gargalos hierárquicos podem espelhar padrões cognitivos humanos, tornando as decisões do modelo mais alinhadas com as expectativas humanas em aplicações críticas de segurança.

Limitações Reconhecidas:
Os autores observam que a interpretabilidade permanece dependente da qualidade do alinhamento visão-linguagem do VLM e da geração de conceitos pelo LLM. Problemas como conceitos que não estão fielmente fundamentados em regiões específicas da imagem (alucinações) persistem, particularmente em domínios especializados. Além disso, a dependência de uma hierarquia de árvore fixa assume que as relações entre classes são inerentemente hierárquicas, o que pode não se aplicar a todas as tarefas. Sugere-se que trabalhos futuros explorem estruturas adaptativas e melhor fundamentação visual.