Debugging Concept Bottleneck Models through Removal and Retraining

Título: Debugging Concept Bottleneck Models Through Removal and Retraining

Autores: Eric Enouen e Sainyam Galhotra (Cornell University)

1. O Problema

Os Modelos de Gargalo de Conceito (CBMs - Concept Bottleneck Models) são arquiteturas projetadas para serem interpretáveis, dividindo a previsão em duas etapas: primeiro, extraem conceitos humanos compreensíveis (ex: "bico curvo", "fundo de praia") e, em seguida, usam esses conceitos para prever o rótulo final. Embora isso permita que especialistas validem o raciocínio do modelo e interajam com ele no momento do teste (correção de conceitos), existem limitações críticas:

• Falha na Intervenção de Teste: Corrigir conceitos individualmente durante o teste não resolve desalinhamentos sistêmicos. Se o modelo aprendeu "atalhos" (correlações espúrias) devido a dados enviesados (ex: associar "fundo de praia" a "pássaro aquático"), ele continuará cometendo erros em novos dados, mesmo com correções pontuais.
• Fragilidade do Alinhamento: Modelos não supervisionados ou supervisionados podem aprender conceitos que não correspondem ao conhecimento do especialista (ex: aprender "grama" em vez de "penas" para classificar pássaros).
• Limitações das Abordagens Atuais: Métodos existentes de depuração ou mitigação de viés muitas vezes exigem rótulos por amostra (custosos), dependem de descoberta de grupos não supervisionada (incerta) ou falham em reorientar o modelo para aprender conceitos robustos após a remoção de conceitos indesejados.

2. Metodologia: O Framework de Depuração (Remoção e Retreinamento)

Os autores propõem um framework geral de depuração interpretável que segue um processo de dois passos: Remoção e Retreinamento.

Passo 1: Remoção (Removal)

• Ação: Um especialista do domínio inspeciona as explicações dos conceitos aprendidos pelo modelo e identifica um subconjunto de conceitos indesejados ou espúrios ($C_{spur}$).
• Mecanismo: O especialista marca esses conceitos para remoção (feedback binário). O modelo é então editado para ignorar esses conceitos.
• Limitação: A remoção simples é insuficiente. Conceitos remanescentes podem ainda carregar sinais dos conceitos removidos, e o modelo pode ter perdido a capacidade de prever corretamente se dependia excessivamente dos conceitos espúrios.

Passo 2: Retreinamento (CBDebug)

Para superar as limitações da remoção simples, os autores introduzem o CBDebug, um método de retreinamento que transforma o feedback de nível de conceito em um sinal de aprendizado supervisionado para mitigação de viés. O processo envolve três etapas principais:

1. Rótulo (Label):

   • O feedback do especialista (lista de conceitos espúrios) é usado para gerar rótulos auxiliares de nível de amostra.
   • O extractor de conceitos do CBM é executado em todo o conjunto de treinamento para obter as pontuações de ativação ($\hat{V}$) apenas para os conceitos marcados como espúrios ($C_{spur}$). Essas pontuações servem como proxies para a presença do viés em cada amostra.

2. Ponderação (Reweight):

   • Utiliza-se a técnica de Ponderação por Permutação (Permutation Weighting).
   • O objetivo é estimar a distribuição "não confundida" (onde o conceito espúrio não afeta o rótulo).
   • Um classificador binário é treinado para distinguir entre a distribuição original (confundida) e uma distribuição onde os rótulos das classes foram permutados (não confundida).
   • Com base nisso, são calculados pesos ($U$) para cada amostra. Amostras onde a correlação espúria é forte recebem pesos diferentes para forçar o modelo a focar em características não espúrias.

3. Aumento de Dados (Augment):

   • Para lidar com desequilíbrios graves onde a reponderação pode ser instável, o método gera novas amostras sintéticas.
   • Amostras com baixa ponderação (altamente enviesadas) são selecionadas para aumento.
   • Estratégia de Aumento:
     • Para ProtoPNets (baseados em patches): Usa-se CutMix para substituir patches espúrios por patches de conceitos relevantes.
     • Para VLM-CBMs (baseados em texto): Usa-se Mixup com imagens geradas a partir de um banco de conceitos textuais (text-to-image) para substituir o contexto espúrio.
   • O modelo é então retreinado no conjunto de dados aumentado ($X_{aug}$) e ponderado ($U$), aprendendo a prever o rótulo correto sem depender dos conceitos removidos.

3. Principais Contribuições

1. Framework Geral de Depuração: Estende a depuração interpretável para arquiteturas de CBM mais gerais, permitindo que especialistas editem globalmente o raciocínio do modelo.
2. CBDebug: Um novo método de retreinamento que atua como uma "ponte" entre o feedback humano de alto nível (conceitos) e o aprendizado supervisionado de baixo nível (rótulos de amostra), utilizando ponderação e aumento de dados para mitigar viés.
3. Validação Empírica Robusta: Demonstração de que o método funciona tanto com feedback de especialistas humanos quanto automatizado (via LLMs), superando métodos anteriores em múltiplas arquiteturas e benchmarks.

4. Resultados Experimentais

Os autores avaliaram o framework em dois modelos principais (PIP-Net e Post-hoc CBM) e quatro conjuntos de dados com correlações espúrias conhecidas (Waterbirds, MetaShift, CelebA, ISIC).

• Desempenho em Grupos Piores (Worst-Group Accuracy - WGA):
  • O CBDebug superou consistentemente as linhas de base (remoção simples, retreinamento padrão, ProtoPDebug).
  • No conjunto de dados Waterbirds com o modelo Post-hoc CBM, o CBDebug melhorou a precisão do grupo mais difícil em 26,1% em comparação ao modelo original.
  • Em MetaShift, houve melhorias de até 4,9% (PIP-Net) e 4,8% (Post-hoc CBM) na WGA.
• Feedback Automatizado: O método funcionou eficazmente quando o feedback de remoção de conceitos foi gerado por um LLM (GPT-3.5-turbo), demonstrando escalabilidade e redução de custos humanos.
• Análise Qualitativa: Visualizações dos conceitos mostram que, enquanto o retreinamento padrão frequentemente aprende novas correlações espúrias para substituir as removidas, o CBDebug efetivamente elimina a dependência de conceitos de fundo (ex: "praia", "bamboo") e substitui-os por características do objeto (ex: "bico", "penas").

5. Significância e Impacto

Este trabalho é significativo porque aborda a lacuna entre a interpretabilidade e a robustez em modelos de IA.

• Alinhamento com Especialistas: Garante que o modelo não apenas seja preciso, mas que tome decisões pelas "razões certas" (right for the right reasons), alinhando-se ao conhecimento do domínio.
• Mitigação de Viés Guiada por Humanos: Diferente de métodos puramente estatísticos que tentam inferir viés automaticamente, o CBDebug dá ao especialista o controle fino sobre o que deve ser removido, permitindo decisões estratégicas (ex: manter um conceito "espúrio" se ele for útil na prática, ou remover um conceito "central" para forçar a descoberta de alternativas).
• Aplicabilidade em Alta Risco: É particularmente relevante para áreas como saúde e análise científica, onde erros de raciocínio são inaceitáveis e a validação humana é crucial.

Em resumo, o CBDebug transforma a depuração de modelos de gargalo de conceito de um processo passivo de correção em um ciclo ativo de aprendizado que reestrutura a representação interna do modelo para eliminar vieses sistêmicos.