Extraction and Analysis of Multimodal Concepts in Vision Language Models through Sparse Autoencoders

Resumo Técnico: Extração e Análise de Conceitos Multimodais em VLMs através de Autoencoders Esparsos

Definição do Problema
Os Modelos de Linguagem-Visão (VLMs) alcançaram um desempenho significativo em tarefas conjuntas de imagem-texto, como o Questionamento Visual-Linguístico (VQA) e a legenda de imagens. No entanto, compreender seus mecanismos computacionais internos continua sendo um desafio crítico. Embora os Autoencoders Esparsos (SAEs) tenham emergido como uma ferramenta promissora para a Interpretabilidade Mecanística (MI) para extrair conceitos compreensíveis por humanos das ativações do modelo, as abordagens existentes sofem de duas limitações primárias quando aplicadas a VLMs:

1. Isolamento de Modalidade: A maioria dos trabalhos baseados em SAE foca exclusivamente em conceitos textuais ou visuais de forma isolada, ignorando conceitos multimodais (conceitos conjuntamente fundamentados tanto na imagem quanto no texto). Isso leva à potencial classificação incorreta de neurônios que codificam informações integradas.
2. Baixa Qualidade de Descrições Visuais: Métodos anteriores de extração de conceitos visuais frequentemente produzem descrições vagas ou incompletas. Além disso, técnicas que dependem do mascaramento de patches de imagem para isolar ativações de neurônios removem excessivamente as informações de contexto, degradando a precisão dos conceitos extraídos.

Metodologia
Os autores propõem um framework unificado baseado em SAEs para extrair e analisar conceitos visuais, textuais e multimodais. A metodologia procede da seguinte forma:

1. Integração de SAE e Registro de Ativação:

   • Um SAE pré-treinado é integrado a um VLM (especificamente o LLaVA-NeXT-8B).
   • O SAE projeta embeddings de alta dimensão em um espaço latente esparso ($\omega$) usando uma função de ativação Top-K para impor esparsidade e incentivar neurônios monossemânticos.
   • Para cada amostra de VQA (par imagem + pergunta-resposta), o sistema registra tensores de ativação separados para patches visuais ($V$) e tokens textuais ($T$).

2. Extração de Hipótese de Conceito Multimodal:

   • Para um neurônio alvo do SAE, o sistema seleciona as 5 melhores amostras que maximizam a ativação média para aquele neurônio em ambas as modalidades, visual e textual.
   • Extração Visual: Um VLM externo (LLaVA-72B) atua como um "explicador". Ele recebe os patches de imagem de maior ativação (com os patches não-ativadores borrados, em vez de mascarados com preto, para preservar o contexto) juntamente com a pergunta e resposta correspondentes do VQA. Este input visual aumentado por texto melhora a compreensão do explicador.
   • Extração Textual: O explicador recebe os tokens textuais específicos que dispararam o neurônio (destacados entre colchetes) juntamente com a imagem original não modificada. Isso espelha o processo visual, fornecendo fundamentação multimodal para o texto.
   • O explicador gera uma hipótese de conceito candidata interpretável por humanos para cada modalidade.

3. Avaliação e Classificação:

   • Alinhamento Hipótese-Dados: Para validar as hipóteses, o framework utiliza os modelos CLIP (ViT-B/32) e ALIGN para calcular a similaridade de cosseno entre as descrições de conceitos geradas e as amostras de dados que os dispararam. Uma hipótese é considerada validada se classificar alto (top-$n$) contra seus dados geradores.
   • Atribuição de Neurônio Multimodal: Para neurônios com ambas as hipóteses visuais ($h_{vis}$) e textuais ($h_{text}$), o framework calcula a similaridade semântica entre as duas hipóteses usando encoders de texto. Se a similaridade exceder um limiar $\tau$ (definido como 0.8), o neurônio é classificado como multimodal. Caso contrário, é atribuído à modalidade com a pontuação de alinhamento hipótese-dados mais alta.
   • Avaliação Baseada em Categorias: As hipóteses visuais também são mapeadas para categorias visuais específicas (ex: cena, objeto, parte) para comparar com baselines.

Principais Contribuições
O artigo apresenta duas contribuições primárias:

1. Extração de Conceito Multimodal Integrada: O framework estende a análise de SAE para um cenário unificado, extraindo e distinguindo com sucesso conceitos visuais, textuais e multimodais. Ele aborda a lacuna em estudos sistemáticos de conceitos multimodais em VLMs.
2. Melhoria na Qualidade do Conceito Visual: Ao introduzir uma nova técnica de extração que inclui texto complementar (pares Q&A) durante a geração da hipótese visual e ao substituir o mascaramento preto pelo desfoque (blurring), o método produz conceitos visuais mais precisos e semanticamente fundamentados.

Resultados Experimentais
Experimentos foram conduzidos no dataset LLaVA-NeXT (usando os primeiros 5.000 neurônios do SAE) e comparados contra um método de baseline (Zhang et al. [21]).

• Qualidade do Conceito Visual: O framework proposto superou significativamente o baseline. Ele alcançou uma melhoria média de 41% nos scores de CLIP e 45% nos scores de ALIGN para o alinhamento de conceitos visuais através de vários limiares.
• Identificação Multimodal: O framework identificou com sucesso 132 conceitos multimodais de 249 neurônios analisados (em $\tau=0.8$), enquanto o baseline não identificou conceitos multimodais de forma sistemática.
• Qualidade Textual: A qualidade dos conceitos textuais permaneceu alta, com scores de interpretabilidade (detecção e fuzzing) comparáveis a outros trabalhos de análise de SAE apenas textuais (ex: usando Llama-3.1-8b).
• Intervenção Qualitativa: Experimentos de intervenção demonstraram que forçar ativações de neurônios específicos (visuais, textuais ou multimodais) influenciou a geração de texto. Notavelmente, os conceitos multimodais pareceram ter um impacto mais pronunciado na produção do output do que os conceitos unimodais, especialmente quando uma imagem estava presente no prompt.

Significância e Alegações
Os autores afirmam que este trabalho fornece novos insights sobre o espaço conceitual dos VLMs ao demonstrar que os SAEs codificam conceitos textuais e visuais condensados em um espaço latente compartilhado. O framework oferece uma abordagem estruturada para distinguir entre conceitos unimodais e multimodais, o que é essencial para entender como os VLMs alinham e processam inputs entre modalidades.

O artigo conclui que sua abordagem permite uma compreensão mais abrangente do raciocínio de VLMs ao melhorar a qualidade dos conceitos visuais extraídos e identificar sistematicamente neurônios multimodais. Os autores observam que, embora seus achados revelem uma correlação entre a alteração do conceito e o output de texto, eles não estabelecem uma relação causal. Eles posicionam este trabalho como um passo em direção à integração escalável de SAE e controle guiado por conceitos em sistemas de raciocínio multimodal, sem alegar implementação imediata em sistemas de produção ou aplicações mais amplas além do escopo da pesquisa de interpretabilidade.