Prototype-Grounded Concept Models for Verifiable Concept Alignment

Título: Modelos de Conceito Fundamentados em Protótipos para Alinhamento de Conceitos Verificável

1. O Problema: A Falta de Verificabilidade nos Modelos de Gargalo de Conceito (CBMs)

Os Modelos de Gargalo de Conceito (CBMs - Concept Bottleneck Models) são uma abordagem popular em IA Explicável (XAI) que visa melhorar a interpretabilidade de redes neurais profundas. Eles estruturam as previsões através de conceitos intermediários compreensíveis por humanos (ex: "tem listras", "é metálico").

• Limitação Fundamental: Embora os CBMs permitam que humanos intervenham nos conceitos, eles não oferecem nenhuma maneira de verificar se os conceitos aprendidos pelo modelo realmente correspondem ao significado intencionado pelo humano.
• O Risco: Um conceito rotulado como "tem listras" pode, na realidade, basear-se em texturas espúrias, fundos correlacionados ou artefatos, sem que o usuário tenha como detectar isso. A interpretabilidade dos CBMs depende de uma suposição forte e muitas vezes injustificada de que os conceitos aprendidos estão alinhados semanticamente com seus rótulos.

2. Metodologia: Modelos de Conceito Fundamentados em Protótipos (PGCMs)

Os autores propõem os PGCMs, uma arquitetura híbrida que fundamenta os conceitos abstratos em protótipos visuais aprendidos. A ideia central é que cada conceito não seja apenas uma previsão escalar abstrata, mas esteja associado a um conjunto de padrões visuais localizados (protótipos) que servem como evidência explícita.

Arquitetura e Funcionamento:
O modelo opera em três etapas principais:

1. Extração de Partes da Imagem: Um modelo de segmentação divide a imagem de entrada ($x$) em $n$ partes ($x_i$).
2. Seleção de Protótipos (Inferência Discriminativa): Para cada parte da imagem, um seletor de protótipos ($q(S_i|X_i)$) calcula a similaridade com um conjunto de $m$ protótipos aprendidos. O protótipo mais similar é selecionado.
3. Geração de Conceitos e Tarefa:
   • Decodificador de Imagem: Mapeia o índice do protótipo selecionado para uma representação visual concreta (uma "imagem" do protótipo).
   • Decodificador de Conceito: Mapeia o mesmo índice do protótipo para uma distribuição sobre os conceitos de alto nível.
   • Previsão da Tarefa: Os conceitos previstos de todas as partes são agregados para prever o rótulo final da tarefa ($y$).

Componentes Chave:

• Tabela de Alinhamento de Conceitos: Uma estrutura explícita que mapeia cada protótipo para sua representação visual e sua representação de conceito. Isso define formalmente a semântica: um conceito é verdadeiro se e somente se a imagem se assemelhar a pelo menos um dos protótipos associados a esse conceito.
• Otimizações de Treinamento:
  • Uso de uma perda de reconstrução para garantir que os protótipos aprendidos sejam visualmente representativos dos dados.
  • Troca de Protótipos: Durante o treinamento, protótipos são substituídos por partes reais de imagens do conjunto de treinamento para garantir realismo visual.
  • Restrição de Informação: As embeddings dos protótipos são forçadas a conter apenas informações presentes na representação visual do protótipo, evitando "vazamento" de informação oculta.

3. Principais Contribuições

1. Fundamentação Visual Verificável: Os PGCMs substituem a suposição de alinhamento de conceitos por um mecanismo verificável. Os usuários podem inspecionar diretamente as imagens dos protótipos para confirmar se o significado do conceito está correto.
2. Intervenção em Múltiplos Níveis:
   • Edição de Modelos: Humanos podem corrigir conceitos errados editando a tabela de alinhamento, removendo protótipos espúrios ou adicionando novos protótipos visuais.
   • Intervenção Propagada: Diferente dos CBMs padrão onde conceitos são independentes, nos PGCMs, intervir em um protótipo pode corrigir múltiplos conceitos simultaneamente, pois eles compartilham a mesma base visual.
3. Semântica Formal Explícita: O modelo define a semântica de um conceito como a disjunção das representações visuais de todos os protótipos ativados para aquele conceito, tornando o raciocínio do modelo auditável.

4. Resultados Experimentais

Os autores avaliaram os PGCMs em três conjuntos de dados: CelebA (atributos faciais), ColorMNIST+ (soma de dígitos coloridos) e CLEVR-Hans (objetos 3D).

• Desempenho Preditivo: Os PGCMs alcançaram precisão de conceitos e de tarefa comparável aos CBMs de última geração (como CBM, CRM e CMR), apesar das restrições estruturais adicionais. Houve uma pequena queda na precisão da tarefa no CelebA, atribuída à redução de capacidade do modelo, mas a precisão geral permaneceu competitiva.
• Verificabilidade e Alinhamento: A análise das tabelas de alinhamento mostrou que os humanos podem identificar e corrigir facilmente conceitos mal alinhados (ex: protótipos que capturam ruído em vez do conceito real).
• Correção de Ruído (Model Editing): Em experimentos com rótulos de conceito ruidosos, a remoção ou edição de protótipos errados após o treinamento aumentou significativamente a precisão no conjunto de teste limpo (de ~92% para ~97-98%), algo impossível em CBMs padrão.
• Intervenção: Os PGCMs demonstraram ser mais responsivos a intervenções de conceitos do que os CBMs padrão em cenários onde as dependências entre conceitos são exploradas (intervenção em um protótipo corrige vários conceitos).
• Compromisso Capacidade-Interpretabilidade: A precisão aumenta com o número de protótipos, mas a interpretabilidade diminui devido à carga cognitiva, estabelecendo um trade-off fundamental.

5. Significado e Impacto

Este trabalho representa um avanço significativo na área de IA Explicável ao resolver a "caixa preta" dentro dos próprios conceitos explicáveis.

• Mudança de Paradigma: Transita de uma interpretabilidade baseada em "confiança cega" nos rótulos dos conceitos para uma interpretabilidade baseada em evidência visual verificável.
• Aplicabilidade Prática: Permite que especialistas humanos não apenas confiem no modelo, mas o auditem e corrijam ativamente no nível da evidência visual, tornando os sistemas de IA mais robustos contra viéses e falhas de generalização.
• Ponte entre Teoria e Prática: Conecta a lógica formal (semântica de Tarski) com a aprendizagem profunda, oferecendo um framework onde o significado dos símbolos é explicitamente ancorado em instâncias visuais concretas.

Em resumo, os PGCMs oferecem o melhor dos dois mundos: a estrutura de alto nível e a capacidade de intervenção dos CBMs, combinados com a transparência visual e a verificabilidade dos métodos baseados em protótipos.