Structural Graph Probing of Vision-Language Models

Título: Structural Graph Probing of Vision–Language Models

Autores: Haoyu He, Yue Zhuo, Yu Zheng, Qi R. Wang (Northeastern University e MIT)

1. O Problema

Os Modelos Visão-Linguagem (VLMs) alcançaram desempenho excepcional em tarefas multimodais, mas a organização interna de como a computação é distribuída entre populações de neurônios permanece pouco compreendida.

• Limitação das Abordagens Atuais: A maioria das análises de interpretabilidade foca em sinais explicativos locais, como padrões de atenção, mapas de saliência ou atribuição de tokens individuais.
• A Lacuna: Essas abordagens são insuficientes para caracterizar a organização em larga escala necessária para realizar comportamentos multimodais complexos. Em VLMs baseados em transformers, a computação é distribuída entre grandes populações de unidades interagentes, e não concentrada em caminhos isolados.
• Questão Central: Como a evidência visual e o contexto linguístico são coordenados através das camadas? Quais estruturas internas governam o comportamento do modelo?

2. Metodologia: Topologia Neural

Os autores propõem analisar os VLMs através da lente da topologia neural, representando cada camada como um grafo de correlação intra-camada derivado de co-ativações neurônio-neurônio.

Construção do Grafo

1. Aquisição de Ativações: Para um par imagem-texto, as ativações ocultas ($H^{(\ell)}$) são registradas em cada camada $\ell$ do modelo congelado.
2. Definição do Grafo: Cada camada é modelada como um grafo ponderado $G^{(\ell)} = (V, E, W^{(\ell)})$, onde:
   • Os nós ($V$) correspondem aos neurônios (dimensão oculta $d$).
   • As arestas ($E$) representam todos os pares de neurônios.
   • Os pesos das arestas ($W^{(\ell)}_{ij}$) são a correlação de Pearson entre os perfis de ativação dos neurônios $i$ e $j$ através de todos os tokens multimodais.
3. Representação: Para analisar esses grafos sem expor magnitudes de ativação brutas ou semântica de tokens, os neurônios são representados por embeddings de identidade (one-hot) projetados em um espaço de baixa dimensão. Uma Rede Neural Convolucional em Grafos (GCN) processa a estrutura do grafo para gerar representações dependentes da topologia.

Variações de Topologia

Os autores constroem três tipos de grafos para comparar estruturas:

• Multimodal: Baseado em todas as ativações (imagem + texto).
• Visão ($G_{vis}$): Baseado apenas em tokens visuais.
• Texto ($G_{text}$): Baseado apenas em tokens textuais.

3. Contribuições Principais e Resultados

O estudo é dividido em três pilares empíricos:

A. Previsibilidade Comportamental (Probing)

• Objetivo: Verificar se a topologia neural codifica informações comportamentais significativas.
• Experimentos: Treinamento de sondas (linear e GCN) nos grafos de cada camada para prever resultados em tarefas de raciocínio quantitativo (CLEVR), reconhecimento semântico (TDIUC) e classificação de alucinação (MHaluBench).
• Resultados:
  • Sondas baseadas em grafos (GCN) superaram consistentemente as linhas de base lineares em quase todos os pares modelo-conjunto de dados.
  • Em tarefas de contagem (CLEVR), a melhoria foi de até 7,7% em precisão.
  • A topologia permite prever não apenas rótulos discretos, mas também valores numéricos (regressão) com alta precisão ($R^2 > 0.99$).
  • A informação preditiva é robusta mesmo em grafos esparsos (apenas os 1-20% das correlações mais fortes são necessários).

B. Estrutura Multimodal e Alinhamento

• Dinâmica de Correlação: A correlação entre tokens de visão e texto aumenta progressivamente com a profundidade da rede, enquanto a correlação visão-visão permanece plana. Isso sugere uma integração multimodal crescente nas camadas finais.
• Estabilidade de Hubs Estruturais:
  • Neurônios definidos como "hubs" (alta centralidade no grafo) são muito mais estáveis entre diferentes amostras do que hubs definidos apenas por magnitude de ativação.
  • A estabilidade dos hubs é máxima nas camadas intermediárias, sugerindo que o processamento multimodal é organizado em torno de um conjunto compacto de neurônios centrais persistentes.
• Alinhamento de Grafos: Grafos multimodais de diferentes modelos mostram correspondência estrutural parcial, mas o fine-tuning multimodal altera significativamente a topologia herdada do backbone de texto (ex: LLaMA vs. LLaVA).

C. Análise de Intervenção Causal

• Objetivo: Testar se perturbar a topologia altera o comportamento do modelo.
• Ablação de Neurônios: Remover os 1% dos neurônios com maior grau no grafo (hubs estruturais) causou uma queda de desempenho muito maior do que remover neurônios com maior magnitude de ativação ou aleatoriamente.
• Intervenção em Arestas: Substituir a ativação de um neurônio pela ativação negativa de seu parceiro de aresta (interferência de sinal) causou degradação severa, indicando que a topologia captura não apenas nós importantes, mas também a direção e alinhamento das relações.
• Perturbação de Hubs: Pequenas escalas (amplificação ou supressão) em hubs definidos pela topologia resultaram em degradação simétrica e significativa no desempenho, confirmando sua influência causal.

4. Significado e Conclusão

Este trabalho estabelece a topologia neural como uma escala intermediária significativa para a interpretabilidade de VLMs:

1. Rico o suficiente: Mais informativo que a atribuição local (tokens/neurônios isolados), capturando a organização populacional e as relações estruturais.
2. Tratável o suficiente: Mais gerenciável que a recuperação completa de circuitos complexos.
3. Causalmente Relevante: Identifica componentes (hubs estruturais) cuja perturbação altera materialmente o comportamento do modelo.

Conclusão Final: O raciocínio multimodal não deve ser entendido apenas como a soma de componentes interpretáveis isolados, mas como uma propriedade emergente de populações neurais organizadas. A topologia de co-ativação dentro das camadas oferece uma janela para entender como a computação multimodal é estruturada, estabilizada e coordenada, sugerindo uma mudança de paradigma na interpretação de modelos de IA, focando na dinâmica populacional em vez de apenas na atividade individual.

O código do projeto está disponível publicamente no repositório GitHub mencionado no artigo.