Resumo Técnico: Geração de Conceitos Explicáveis através de Aprendizado de Preferência Visão-Linguagem

Declaração do Problema

Compreender as representações internas de redes neurais profundas (DNNs) é crítico para o aprimoramento e a avaliação regulatória de modelos. Embora métodos de explicação baseados em conceitos, como o Testing with Concept Activation Vectors (TCAV), ofereçam insights interpretáveis por humanos ao vincular conceitos visuais de alto nível (ex: "listras") a decisões do modelo, eles sofrem de um gargalo significativo: a curadoria manual de conceitos.

Abordagens existentes exigem que profissionais adivinhem e coletem manualmente conjuntos de imagens de conceitos candidatos. Esse processo é trabalhoso, propenso a negligenciar conceitos críticos e limitado pelos vieses cognitivos humanos. Além disso, métodos alternativos de "recuperação" que extraem conceitos diretamente de imagens de teste (ex: via segmentação) frequentemente falham em capturar abstrações de alto nível, tendendo a produzir fragmentos da classe alvo (ex: um pedaço de uma zebra) em vez das características subjacentes (ex: listras) que impulsionam a classificação. Há uma carência de métodos automatizados capazes de gerar conceitos diversos e de alto nível que realmente importam para o processo de decisão de uma DNN específica sem intervenção humana.

Metodologia: Otimização de Preferência baseada em Aprendizado por Reforço (RLPO)

Os autores propõem o RLPO, um framework que redefine a criação de conjuntos de conceitos como um problema de geração de imagens. Em vez de recuperar ou curar manualmente imagens, o RLPO utiliza um modelo generativo guiado por aprendizado por reforço profundo para sintetizar imagens de conceitos que maximizam os escores TCAV.

Componentes Principais

1. Modelo Generativo (Stable Diffusion): O sistema utiliza um modelo pré-treinado de texto-para-imagem (Stable Diffusion v1-5) para gerar imagens de conceitos baseadas em prompts de texto.
2. Aprendizado por Reforço Profundo (DQN): Um Deep Q-Network (DQN) controla o processo de geração.
   • Ação ($a_t$): Seleção de um prompt semente de uma lista predefinida (extraída via um modelo de Vision-Question Answering).
   • Estado ($s_t$): As imagens de conceitos preferidas geradas a partir do prompt anterior.
   • Recompensa ($r_t$): Calculada com base nos escores TCAV das imagens geradas.
3. Otimização de Preferência (RLPO): Diferente da otimização de preferência padrão que depende de ranking humano, o RLPO utiliza os escores TCAV como o sinal de preferência. O sistema compara dois grupos de imagens geradas ($G_1$ e $G_2$); o grupo com o maior escore TCAV é o preferido.
4. Ajuste Fino via LoRA: Para guiar o modelo generativo na produção de conceitos mais relevantes, o sistema emprega Low-Rank Adaptation (LoRA). Os pesos do modelo Stable Diffusion são atualizados ($w_{t+1} \leftarrow w_t + \lambda ab$) com base no feedback de preferência, refinando iterativamente o modelo para gerar imagens que desencadeiem ativações neurais específicas.
5. Escalonamento Dinâmico de Recompensa: Um fator de escala $\xi_t$ é introduzido para ajustar as recompensas ao longo do tempo, garantindo que o agente receba o feedback apropriado conforme progride de "estados de proxy" (baixo TCAV) para "estados explicáveis" (alto TCAV).

Contribuições Principais

1. Geração Automatizada de Conceitos: O artigo introduz o RLPO, um método para "gerar" automaticamente conceitos que são relevantes para o processo de decisão de uma rede neural, contornando a necessidade de adivinhação ou recuperação manual.
2. Descoberta de Conceitos Não Intuitivos: O método identifica com sucesso conceitos diversos que são desafiadores para humanos ou métodos baseados em recuperação (ex: elementos de fundo como "lama" ou árvores "correndo" para um classificador de zebra, não apenas "listras").
3. Validação Abrangente: Os autores fornecem evidências qualitativas e quantitativas (métricas computacionais e pesquisas humanas) demonstrando que o RLPO revela efetivamente as representações internas da rede.
4. Modularidade e Generalização: O framework é projetado para ser modular, permitindo que componentes como o modelo generativo sejam substituídos. Os autores demonstram sua aplicabilidade além da visão computacional, estendendo-o para tarefas de análise de sentimento em NLP.

Resultados Experimentais

O método foi avaliado em múltiplos classificadores (GoogleNet, InceptionV3, ViT, Swin) treinados no ImageNet, bem como um ResNet-18 no dataset CelebA e um TextCNN no IMDB.

• Estratégia de Busca: O RLPO superou estratégias de busca $\epsilon$-greedy, exibindo maior entropia e melhor exploração do espaço de ação (Tabela 1).
• Mecanismo de Pontuação: O uso de TCAV para feedback de preferência (RLPO-XAIF) provou ser superior ao feedback humano (RLPO-HF) e ao feedback de IA (RLPO-AIF) em termos de tempo de execução e custo computacional, enquanto fornecia explicações específicas do modelo (Tabela 2).
• Diversidade e Novidade de Conceitos:
  • Gap de Exploração (EG): Pesquisas humanas revelaram um gap significativo entre os conceitos que humanos conseguem identificar e aqueles gerados pelo RLPO. Para leigos, o EG foi de 91,54% para o RLPO versus 6,54% para métodos de recuperação, indicando que o RLPO encontra conceitos que os humanos não costumam considerar (Tabela 3).
  • Diversidade: Os conceitos gerados mostraram menor similaridade de cosseno e maior distância euclidiana em comparação com métodos baseados em recuperação, confirmando que representam características abstratas em vez de patches de imagem (Tabela 4).
• Validação:
  • C-Deletion: A remoção de conceitos gerados (ex: "listras") das imagens de entrada causou uma queda significativa na precisão do modelo, validando sua importância (Fig. 6).
  • Utilidade para Engenheiros: Em um estudo com 19 engenheiros de ML, 94,7% concordaram que as explicações do RLPO ajudaram a entender melhor o modelo, e 84,2% encontraram novos insights. Engenheiros frequentemente perderam conceitos (como "correndo" ou "lama") que o RLPO identificou como importantes.
• Detecção de Viés: Aplicado a um classificador "Loira" vs. "Não Loira", o RLPO revelou que o modelo dependia fortemente de conceitos de "rosto feminino", destacando o viés de gênero nos dados de treinamento.
• Generalização para NLP: O framework foi adaptado com sucesso para gerar sinônimos de palavras para análise de sentimento, demonstrando aplicabilidade cross-domain.

Significância e Alegações

O artigo afirma que o RLPO aborda a limitação fundamental dos atuais métodos de XAI baseados em conceitos: a dependência da intuição humana para a seleção de conceitos. Ao enquadrar a criação de conceitos como um problema de geração otim-imizado via aprendizado por reforço, os autores demonstram que é possível articular automaticamente conceitos diversos e de alto nível que impulsionam as decisões de redes neurais.

Os autores posicionam este trabalho como uma ferramenta para:

1. Melhorar Modelos: Engenheiros podem usar conceitos gerados (ex: identificar que um modelo foca em texturas de fundo "embaçadas" para tigres) para realizar o ajuste fino de modelos e reduzir a dependência de correlações espúrias.
2. Compreender o Viés: O método pode revelar vieses indesejáveis aprendidos durante o treinamento que não são óbvios para observadores humanos.
3. Generalização: A abordagem não se limita à visão; pode ser adaptada para outras modalidades como NLP.

Os autores reconhecem limitações, observando que a qualidade dos conceitos gerados depende dos prompts sementes iniciais e dos dados de pré-treinamento do modelo generativo, o que pode introduzir seus próprios vieses. Eles sugerem que trabalhos futuros poderiam envolver a integração de preferências de especialistas de domínio para alinhar ainda mais as explicações geradas com necessidades específicas de aplicação.