Learning Concept Bottleneck Models from Mechanistic Explanations

O artigo apresenta o M-CBM, uma nova abordagem para Modelos de Gargalo de Conceitos que extrai e nomeia conceitos diretamente de modelos de caixa-preta usando Autoencoders Esparsos e LLMs multimodais, superando os métodos anteriores em precisão e interpretabilidade ao garantir controle rigoroso sobre o vazamento de informações.

O essencial

Imagine que você tem um gênio da lâmpada (uma Inteligência Artificial muito avançada) que consegue adivinhar o que é uma foto com incrível precisão. Se você perguntar "O que é isso?", ele responde: "É um pardal!" ou "É um melanoma!". Mas, se você perguntar "Por que você acha isso?", ele fica mudo. Ele é uma "caixa preta": funciona perfeitamente, mas ninguém sabe como ele pensa.

Os cientistas querem que esse gênio explique seu raciocínio. Para isso, eles criaram um modelo chamado CBM (Modelo de Gargalo de Conceitos). A ideia é simples: em vez de ir direto para a resposta, o modelo primeiro identifica "conceitos" visíveis na imagem (como "bico amarelo", "asas listradas" ou "mancha escura") e, só depois, usa esses conceitos para dar a resposta final.

O Problema:
Até agora, para criar esses conceitos, os cientistas tinham que pedir ajuda a humanos ou usar listas prontas de palavras. O problema é que essas listas muitas vezes não servem para a tarefa específica. É como tentar consertar um relógio suíço usando peças de um carro velho. O modelo acaba sendo menos preciso do que o "gênio" original, ou pior, ele "trapaça" (vazamento de informação), memorizando a resposta sem realmente entender os conceitos.

A Solução Criativa: O M-CBM
Os autores deste artigo criaram uma nova abordagem chamada M-CBM (Modelo de Gargalo de Conceitos Mecanístico). A ideia genial é a seguinte:

1. Não invente as regras, pergunte ao especialista: Em vez de tentar adivinhar quais conceitos são importantes, o M-CBM olha para dentro da própria "mente" do modelo original (o gênio da caixa preta) e descobre quais ideias ele já está usando para pensar.
2. O Detetive de Neuronas (SAE): Eles usam uma ferramenta chamada Sparse Autoencoder (SAE) como um detetive. Esse detetive entra na mente do modelo e diz: "Ei, notei que quando você vê um pássaro, um certo neurônio acende. O que esse neurônio está vendo?". O detetive isola essas ideias puras.
3. O Tradutor (IA Multimodal): Depois de achar essas ideias abstratas, eles usam uma IA conversadora (como o GPT-4) para dar um nome a elas. É como se o detetive mostrasse 10 fotos onde o neurônio acende e 10 onde não acende, e perguntasse à IA: "O que essas fotos têm em comum?". A IA responde: "Ah, é um 'bico amarelo com máscara preta'!".
4. O Treinamento: Agora, eles treinam um novo modelo que só pode usar esses conceitos descobertos e nomeados para tomar decisões.

A Analogia da Receita de Bolo
Pense no modelo original como um chef de cozinha que faz um bolo perfeito, mas não sabe explicar a receita.

• Métodos Antigos: Alguém tenta adivinhar a receita anotando ingredientes genéricos ("farinha", "ovo"). O bolo fica ruim porque faltam detalhes importantes.
• Método M-CBM: Eles observam o chef trabalhando, veem que ele sempre usa "manteiga gelada" e "raspas de limão" em momentos específicos. Eles anotam esses ingredientes exatos que o chef realmente usa, dão nomes a eles e ensinam um novo aprendiz a fazer o bolo usando apenas essa lista precisa. O resultado? O aprendiz faz um bolo quase tão bom quanto o mestre, mas consegue explicar exatamente por que o bolo ficou bom.

O "Contador de Ideias" (NCC)
Um dos grandes desafios é garantir que o modelo não use todas as ideias possíveis para decidir, o que tornaria a explicação confusa. Os autores criaram uma métrica chamada NCC (Número de Conceitos Contribuintes).
Imagine que você precisa explicar por que escolheu um filme.

• Se você disser: "Gostei da atuação, do roteiro, da trilha sonora, da fotografia, da direção, do elenco, do cenário...", você está usando muitas ideias (pouca clareza).
• O NCC força o modelo a dizer: "Gostei porque a atuação foi incrível e o roteiro era emocionante".
  O M-CBM consegue ser muito preciso usando apenas 5 ou 6 conceitos principais para explicar uma decisão complexa, tornando a explicação curta e direta.

Os Resultados
O experimento mostrou que o M-CBM é muito melhor do que os métodos anteriores.

• Ele é mais preciso (faz menos erros).
• Ele aprende os conceitos muito melhor (entende o que está vendo).
• Ele consegue explicar suas decisões de forma clara, sem precisar de "truques" ou vazamentos de informação.

Em resumo:
O M-CBM é como dar um microfone ao cérebro da máquina. Em vez de nós tentarmos adivinhar o que ela pensa, nós ouvimos o que ela já está pensando, traduzimos para uma linguagem humana e usamos isso para criar um modelo transparente, preciso e confiável. É um passo gigante para fazer a Inteligência Artificial ser não apenas inteligente, mas também compreensível.

Resumo técnico

Título: Aprendendo Modelos de Gargalo de Conceitos a partir de Explicações Mecanísticas

Autores: Antonio De Santis, Schrasing Tong, Marco Brambilla, Lalana Kagal (Politecnico di Milano e MIT CSAIL)

---

1. O Problema

Os Modelos de Gargalo de Conceitos (CBMs - Concept Bottleneck Models) são uma abordagem promissora para IA explicável (ante-hoc), onde o modelo primeiro prevê um conjunto de conceitos interpretáveis e, em seguida, usa esses conceitos para prever a classe final. No entanto, os métodos atuais enfrentam desafios significativos:

• Definição A Priori Limitada: Os conceitos são tipicamente definidos antes do treinamento por especialistas humanos, bases de conhecimento (como ConceptNet), ou prompts de Grandes Modelos de Linguagem (LLMs).
• Falta de Poder Preditivo e Aprendibilidade: Conceitos definidos a priori podem não ter poder preditivo suficiente para a tarefa específica ou podem ser impossíveis de aprender a partir dos dados disponíveis.
• Vazamento de Informação (Information Leakage): Para compensar a falta de poder dos conceitos, os CBMs frequentemente "vazam" informações das classes diretamente para a camada de decisão, tornando-se efetivamente caixas-pretas e comprometendo a interpretabilidade.
• Desempenho Inferior: Quando controlado para vazamento de informação, os CBMs de última geração frequentemente têm desempenho significativamente pior do que seus equivalentes de "caixa-preta".

O artigo questiona se é possível construir CBMs utilizando os próprios conceitos aprendidos pelo modelo de caixa-preta, que já possuem poder preditivo intrínseco, em vez de tentar adivinhar conceitos externos.

---

2. Metodologia: M-CBM (Mechanistic CBM)

Os autores propõem um novo pipeline chamado M-CBM, que extrai conceitos diretamente da representação interna de um modelo de caixa-preta treinado, utilizando técnicas de Interpretabilidade Mecanística. O pipeline consiste em quatro etapas principais (ilustradas na Figura 1 do artigo):

Etapa 1: Extração de Conceitos (Sparse Autoencoders - SAEs)

• Dado um backbone de caixa-preta treinado ($\phi$), extraem-se as ativações das camadas intermediárias.
• Um Autoencoder Esparso (SAE) é treinado para reconstruir essas ativações, impondo uma penalidade de esparsidade na camada oculta.
• O objetivo é "desemaranhar" as características do modelo em um dicionário sobrecompleto de neurônios monossêmicos (cada neurônio representa um conceito distinto).
• Filtragem: Neurônios "mortos" (que nunca ativam) ou quase mortos são removidos para garantir eficiência computacional, mantendo apenas aqueles que contribuem significativamente para a recuperação da perda de entropia cruzada do modelo original.

Etapa 2: Nomeação de Conceitos (LLM Multimodal)

• Para cada neurônio SAE restante, selecionam-se exemplos de imagens que ativam fortemente o neurônio e exemplos que não ativam.
• Um LLM Multimodal (MLLM), especificamente o GPT-4.1 nos experimentos, é solicitado a gerar uma descrição natural e concisa do conceito que o neurônio representa, com base nessas imagens (incluindo mapas de saliência para destacar regiões relevantes).
• Mergulho e Fusão: Os nomes gerados são embutidos vetorialmente. Conceitos com similaridade cosinosa muito alta (>0.98) são fundidos para evitar redundâncias semânticas.

Etapa 3: Anotação do Conjunto de Dados

• Como os nomes são apenas hipóteses, é necessário criar um conjunto de dados parcialmente anotado para treinar a camada de gargalo.
• O MLLM anota um subconjunto de imagens (até 1000 por conceito), indicando a presença (1) ou ausência (0) do conceito.
• A anotação é feita em lotes (grades de 25 imagens) para reduzir custos, utilizando exemplos de alta ativação como referência visual para o modelo.
• O resultado é um vetor ternário de rótulos para cada imagem: presente, ausente ou não anotado.

Etapa 4: Treinamento do Modelo de Gargalo

• Treina-se uma camada de Gargalo de Conceitos (CBL) para mapear as características do backbone congelado para os conceitos anotados.
• Em seguida, treina-se um classificador linear esparsos (usando o solver GLM-SAGA com penalidade Elastic Net) para prever as classes finais a partir dos conceitos.
• A esparsidade é controlada para garantir que o modelo use apenas um número limitado de conceitos para tomar decisões.

---

3. Contribuições Chave

1. Pipeline M-CBM: A primeira abordagem que constrói CBMs diretamente a partir de conceitos aprendidos mecanicamente por modelos de caixa-preta via SAEs, superando a dependência de definições a priori.
2. Métrica NCC (Number of Contributing Concepts): Os autores introduzem uma nova métrica de esparsidade no nível da decisão.
   • Diferente da métrica anterior NEC (que conta pesos não nulos), o NCC mede quantos conceitos são necessários para explicar uma fração $\tau$ (ex: 95%) da contribuição total para uma previsão.
   • Isso permite comparações justas entre modelos com diferentes tamanhos de vocabulário de conceitos, controlando o vazamento de informação e a concisão da explicação.
3. Validação de Vazamento: Demonstram que métodos anteriores (como VLG-CBM) sofrem de vazamento de informação quando as anotações são condicionadas à classe, permitindo que conceitos aleatórios atinjam alta precisão. O M-CBM evita isso ao usar anotações agnósticas à classe.

---

4. Resultados Experimentais

Os experimentos foram realizados em três conjuntos de dados diversos: CUB (aves), ISIC2018 (lesões de pele) e ImageNet.

• Precisão vs. Esparsidade: O M-CBM superou consistentemente os CBMs de última linha (LF-CBM, VLG-CBM, DN-CBM) em todos os conjuntos de dados, especialmente em níveis de alta esparsidade (NCC baixo, ex: NCC=5).
  • No CUB, o M-CBM atingiu 73.70% de precisão (NCC=5), comparado a 58.08% do LF-CBM.
  • No ImageNet, o M-CBM atingiu 72.18% (NCC=5), superando significativamente os outros métodos.
• Previsão de Conceitos: O M-CBM demonstrou uma capacidade superior de aprender e prever seus próprios conceitos (medido por ROC-AUC), atingindo 90.04% no CUB, enquanto métodos baseados em LLMs (VLG-CBM) tiveram desempenho muito inferior (62.03%). Isso indica que os conceitos extraídos mecanicamente são mais alinhados com a realidade dos dados do que os conceitos gerados por LLMs.
• Explicações: As explicações geradas pelo M-CBM são mais concisas e semanticamente coerentes. Exemplos mostram que o modelo identifica características visuais corretas (ex: "máscara preta ao redor dos olhos" para um pássaro específico) e pode ser usado para depurar erros (ex: zerar um conceito errado inverte a classificação incorreta).
• Robustez: O uso de conceitos aleatórios no M-CBM resultou em baixa precisão, confirmando que o modelo não sofre de vazamento de informação significativo, ao contrário de outras abordagens onde conceitos aleatórios ainda atingem alta precisão devido ao vazamento.

---

5. Significado e Conclusão

O trabalho demonstra que a interpretabilidade mecânica (via SAEs) pode ser integrada ao paradigma de Modelos de Gargalo de Conceitos para criar modelos que são simultaneamente de alto desempenho e intrinsecamente interpretáveis.

• Superação da Limitação Humana: Em vez de depender de conhecimento humano prévio (que pode ser incompleto ou inadequado para dados complexos), o M-CBM "aprende" com a máquina, extraindo conceitos que o modelo de caixa-preta já descobriu ser preditivo.
• Controle de Vazamento: A introdução do NCC e a metodologia de anotação agnóstica à classe fornecem ferramentas robustas para garantir que a interpretabilidade não seja sacrificada em prol da precisão.
• Limitações: O método ainda depende de anotação supervisionada (via MLLM) e tem custos computacionais associados ao uso de LLMs. Além disso, a validação final dos conceitos ainda depende da consistência interna do modelo, já que não há "ground truth" absoluto para conceitos aprendidos mecanicamente.

Em suma, o M-CBM representa um avanço significativo na direção de sistemas de IA que não apenas tomam decisões precisas, mas o fazem através de raciocínios transparentes e baseados em conceitos reais aprendidos dos dados.