🤖 machine learning

Towards Faithful Multimodal Concept Bottleneck Models

Este trabalho apresenta o f-CBM, um novo modelo de gargalo conceitual multimodal que utiliza uma perda de vazamento diferenciável e uma rede Kolmogorov-Arnold para mitigar simultaneamente o vazamento de informações e melhorar a detecção de conceitos, alcançando o melhor equilíbrio entre precisão, fidelidade explicativa e versatilidade em diferentes modalidades.

Autores originais: Pierre Moreau, Emeline Pineau Ferrand, Yann Choho, Benjamin Wong, Annabelle Blangero, Milan Bhan

Publicado 2026-03-16

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Pierre Moreau, Emeline Pineau Ferrand, Yann Choho, Benjamin Wong, Annabelle Blangero, Milan Bhan

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um super-herói da Inteligência Artificial chamado "Modelo de Caixa Preta". Ele é incrível: vê uma foto de um cachorro e diz "Isso é um Golden Retriever" com 99% de certeza. O problema? Ninguém sabe como ele chegou a essa conclusão. Ele apenas "adivinha" magicamente.

Para consertar isso, os cientistas criaram os Modelos de Gargalo de Conceitos (CBMs). A ideia é simples: em vez de pular direto para a resposta, o modelo primeiro precisa explicar o que está vendo, usando "conceitos" que nós, humanos, entendemos.

A Analogia do Detetive:
Pense no modelo como um detetive.

O Modelo Antigo (CBM Padrão): O detetive olha para a cena, pensa rápido e diz: "É um Golden Retriever!". Mas, se você perguntar "por que?", ele pode inventar uma desculpa ou usar pistas que ele não deveria ter usado (como o tipo de coleira, em vez da raça do cachorro). Isso é chamado de "Vazamento" (Leakage). O detetive está "trapaceando" usando informações secretas para acertar, mas mentindo sobre o raciocínio.
O Problema: Quando o modelo é multimodal (vê fotos e lê textos), esse problema de "trapacear" fica ainda pior. Ele pode ler o texto e usar uma palavra do texto para adivinhar a foto, em vez de realmente entender a imagem.

A Solução: O f-CBM (O Detetive Honesto)

Os autores deste artigo criaram o f-CBM (Modelo de Gargalo de Conceitos Multimodal Fiel). Eles queriam um modelo que fosse não apenas inteligente, mas honesto em seu raciocínio.

Para fazer isso, eles usaram duas estratégias criativas:

1. O "Detector de Mentiras" (Perda de Vazamento)

Imagine que você está treinando o detetive. Você diz: "Se você usar uma dica que não faz parte da definição do conceito, você perde pontos".

Como funciona: Eles criaram uma regra matemática (uma "perda de vazamento") que pune o modelo se ele tentar esconder informações extras nos conceitos. É como se o modelo tivesse que passar por um detector de mentiras a cada passo. Se ele tentar "contrabandear" informações para acertar a resposta final sem usar o conceito correto, o detector pega e corrige.

2. O "Tradutor Flexível" (Rede KAN)

Antes, o modelo usava uma linha reta e rígida para conectar os conceitos à resposta final (como uma régua). Se a realidade fosse complexa, a régua não servia.

A Inovação: Eles trocaram a régua por uma Rede KAN (uma Rede Neural baseada no Teorema de Kolmogorov-Arnold).
A Analogia: Pense na régua como um tradutor que só sabe dizer "Sim" ou "Não". A Rede KAN é como um tradutor que entende nuances, ironia e contextos complexos. Ela permite que o modelo entenda que "ter asas" ajuda a ser um "pássaro", mas que "ter penas" é ainda mais importante, e que a relação não é sempre linear. Isso dá ao modelo mais liberdade para entender os conceitos sem precisar "forçar" informações extras para acertar a resposta.

O Resultado: O Equilíbrio Perfeito

O artigo mostra que o f-CBM conseguiu o "Santo Graal":

Precisão: Ele acerta quase tanto quanto os modelos "caixa preta" (os mais inteligentes, mas sem explicação).
Honestidade: Ele comete muito menos "vazamentos". Ele não usa atalhos secretos.
Correção Humana: Esta é a parte mais legal. Se um humano disser: "Ei, você errou, isso não é um cachorro, é um gato", o f-CBM aceita a correção e melhora a resposta. Os outros modelos, que estavam "trapaceando" com vazamentos, ficam confusos e pioram quando você tenta corrigi-los, porque eles não estavam realmente usando a lógica que diziam estar usando.

Resumo em uma Frase

O f-CBM é como treinar um assistente de IA para ser um especialista honesto: ele usa ferramentas modernas (como a Rede KAN) para entender melhor o mundo e um "detector de mentiras" para garantir que ele nunca use atalhos secretos, tornando suas explicações confiáveis e úteis para humanos reais.

1. Problema e Contexto

Os Modelos de Gargalo de Conceito (CBMs) são uma classe de modelos de IA explicável (XAI) que tornam o processo de decisão interpretável ao mapear entradas para um conjunto de conceitos humanos compreensíveis antes de gerar a previsão final. Embora bem estudados em visão computacional e, mais recentemente, em Processamento de Linguagem Natural (NLP), os CBMs em cenários multimodais (que combinam imagem e texto) permanecem pouco explorados.

O principal desafio abordado neste trabalho é a fidelidade das explicações. Para que um CBM seja fiel, ele deve satisfazer duas condições críticas:

Detecção Precisa de Conceitos: O modelo deve identificar corretamente a presença dos conceitos na entrada.
Ausência de Vazamento (Leakage): As representações dos conceitos não devem conter informações preditivas indesejadas além de seus significados semânticos intencionais.

O vazamento ocorre de duas formas:

Vazamento de Tarefa (Task Leakage): A representação do conceito "contrabandeia" sinais relevantes para a tarefa final que não deveriam estar ali.
Vazamento Inter-conceito (Inter-concept Leakage): Um conceito codifica informações sobre outros conceitos além de suas correlações naturais.

A literatura atual tende a tratar a detecção de conceitos e a mitigação de vazamento como problemas separados, muitas vezes melhorando um à custa da precisão preditiva ou da interpretabilidade.

2. Metodologia: f-CBM

Os autores propõem o f-CBM (faithful Multimodal Concept Bottleneck Model), uma nova arquitetura baseada em backbones de visão-linguagem (CLIP) que aborda simultaneamente a detecção de conceitos e a redução de vazamento através de duas estratégias complementares:

A. Arquitetura Multimodal Unificada

Utiliza o CLIP (Contrastive Language-Image Pre-training) como base, concatenando os embeddings de imagem e texto para criar uma representação multimodal unificada.
Esta representação é mapeada para um vetor de ativações de conceitos através de uma Camada de Gargalo de Conceito (CBL).

B. Estratégia 1: Função de Perda de Vazamento Diferenciável

Para mitigar o vazamento, os autores introduzem uma função de perda explícita que penaliza o vazamento de tarefa.
Eles utilizam um estimador diferenciável baseado em Estimação de Densidade de Kernel (KDE) para calcular a Informação Mútua entre as previsões dos conceitos e os rótulos da tarefa.
A perda de vazamento ( $L_{leak}$ ) é calculada como a diferença quadrática entre a informação mútua dos conceitos previstos e a dos conceitos verdadeiros, normalizada pela entropia do rótulo. Isso força o modelo a preservar apenas a informação semântica do conceito, removendo sinais de tarefa indesejados.

C. Estratégia 2: Cabeça de Previsão baseada em Redes KAN

Em vez de uma camada linear padrão para mapear conceitos para classes finais, o f-CBM utiliza uma Rede de Kolmogorov-Arnold (KAN).
As KANs oferecem maior expressividade não linear (substituindo funções de ativação fixas por funções aprendíveis nas arestas) sem sacrificar a interpretabilidade.
Motivação: Uma cabeça de previsão linear limitada pode forçar a camada de conceitos a codificar informações extras (vazamento) para compensar a falta de capacidade de classificação. A KAN alivia essa pressão, permitindo uma detecção de conceitos mais precisa e reduzindo a necessidade de vazamento.

D. Treinamento

O modelo é treinado de forma conjunta (joint training) otimizando três objetivos simultaneamente:

Perda de classificação ( $L_{cls}$ ).
Perda de detecção de conceitos ( $L_C$ , MSE).
Perda de vazamento ( $L_{leak}$ ).
Um fator de agendamento (cosine annealing) é usado para ativar progressivamente a perda de vazamento, evitando interferir no aprendizado inicial dos conceitos.

3. Contribuições Principais

Arquitetura Multimodal: Introdução de um CBM baseado em CLIP capaz de processar entradas de imagem e texto simultaneamente.
Análise Preliminar: Demonstração de que a precisão na detecção de conceitos, o vazamento de tarefa e o vazamento inter-conceito estão interligados; melhorar a detecção e reduzir o vazamento de tarefa tende a mitigar o vazamento inter-conceito.
Medida de Vazamento Diferenciável: Proposta de uma métrica de vazamento de tarefa totalmente diferenciável que pode ser integrada diretamente à função de perda de treinamento.
Uso de KAN: Aplicação de Redes Kolmogorov-Arnold na camada final para aumentar a expressividade e melhorar a fidelidade sem perder a interpretabilidade.

4. Resultados Experimentais

Os experimentos foram conduzidos em quatro conjuntos de dados (dois multimodais: N24News e CUB-200-200; dois apenas de texto: AGNews e DBpedia) utilizando backbones CLIP-base e CLIP-large.

Equilíbrio Ótimo (Trade-off): O f-CBM alcançou o melhor equilíbrio entre precisão da tarefa, detecção de conceitos e redução de vazamento, posicionando-se na fronteira de Pareto em relação aos concorrentes.
Redução de Vazamento: O f-CBM superou significativamente todos os métodos concorrentes (incluindo Independent-CBM, Label-free e CT-CBM) na redução de vazamento de tarefa (CTL) e inter-conceito (ICL), muitas vezes reduzindo o vazamento para níveis próximos de zero.
Precisão de Tarefa: O modelo manteve uma precisão de classificação comparável aos modelos "caixa preta" (fine-tuned CLIP) e aos melhores concorrentes, superando o Independent-CBM (que sacrifica precisão por fidelidade).
Intervenção de Conceitos: Em testes de intervenção (onde as ativações previstas são substituídas por valores verdadeiros), o f-CBM foi o único método que consistentemente melhorou sua precisão ao corrigir conceitos. Isso prova que o modelo realmente depende da semântica dos conceitos e não de informações vazadas.
Ablação: A substituição da camada linear por KAN melhorou a detecção de conceitos em ~50% e reduziu o vazamento, enquanto a adição da perda de vazamento reduziu o vazamento de tarefa em ~73% com custo mínimo de precisão.

5. Significado e Conclusão

O trabalho demonstra que é possível construir modelos multimodais explicáveis que são simultaneamente precisos e fiéis. O f-CBM resolve o dilema tradicional de que "explicabilidade custa desempenho" ao usar estratégias de arquitetura (KAN) e otimização (perda de vazamento diferenciável) para alinhar o comportamento do modelo com sua estrutura explicável.

A capacidade do f-CBM de beneficiar-se de intervenções humanas confirma que a fidelidade não é apenas uma propriedade teórica, mas um pré-requisito prático para a confiança e o uso de CBMs em domínios críticos. Além disso, as curvas de resposta não lineares aprendidas pela camada KAN oferecem uma visão detalhada e interpretável de como os conceitos influenciam as previsões finais, revelando relações de saturação e não linearidade que modelos lineares tradicionais não capturam.