From Weights to Concepts: Data-Free Interpretability of CLIP via Singular Vector Decomposition

Título: De Pesos a Conceitos: Interpretabilidade Livre de Dados do CLIP via Decomposição de Vetores Singulares

1. O Problema

Com a implantação em escala de Modelos Visão-Linguagem (VLMs) como o CLIP, torna-se crítico entender seus mecanismos internos. As abordagens de interpretabilidade existentes enfrentam limitações significativas:

• Dependência de Dados: A maioria dos métodos baseia-se em ativações do modelo em grandes conjuntos de dados (ex: ImageNet), o que introduz viéses inerentes aos dados e limita a generalização.
• Granularidade Grossa: Métodos anteriores (como o TextSpan) fornecem explicações no nível de "cabeças de atenção" inteiras (ex: "esta cabeça foca em cores"), sem revelar quais subcomponentes internos codificam conceitos específicos.
• Instabilidade: Técnicas baseadas em autoencoders esparsos (SAEs) podem ser instáveis e difíceis de treinar.

O objetivo é criar um framework que interprete os mecanismos do CLIP de forma livre de dados, livre de treinamento e com granularidade fina (nível de vetores singulares), permitindo intervenções precisas no espaço de pesos.

2. Metodologia: O Framework SITH

Os autores propõem o SITH (Semantic Inspection of Transformer Heads), um framework que analisa diretamente os pesos das cabeças de atenção do encoder de visão do CLIP, sem necessidade de inferência em imagens.

O processo divide-se em três etapas principais:

A. Isolamento e Decomposição (SVD)

• O SITH foca na matriz de Valor-Saída (VO) de cada cabeça de atenção no Transformer de Visão (ViT). Esta matriz determina quais informações são movidas para o fluxo residual.
• Aplica-se a Decomposição em Valores Singulares (SVD) na matriz $W_{VO}$:
  $$W_{VO} = U \Sigma V^T$$
• Isso decompõe a cabeça em vetores singulares direcionais ($v_i$) que representam as direções dominantes de "escrita" no fluxo residual. Cada vetor singular captura um subspace semântico específico.

B. Interpretação Semântica via COMP

• Para traduzir esses vetores matemáticos em conceitos humanos, os autores propõem o COMP (Coherent Orthogonal Matching Pursuit).
• O COMP resolve um problema de minimização $L_0$ para representar cada vetor singular como uma combinação esparsa e não negativa de embeddings de texto de um pool de conceitos (ex: ConceptNet 5.5).
• Inovação do COMP: Diferente do Orthogonal Matching Pursuit (OMP) padrão, o COMP adiciona um termo de regularização de coerência. Ao selecionar conceitos, ele maximiza não apenas a similaridade com o resíduo do vetor, mas também a similaridade semântica com os conceitos já selecionados. Isso garante que a explicação final seja semanticamente coesa (ex: "vermelho", "carro vermelho", "sinal vermelho" em vez de conceitos aleatórios).

C. Análise e Edição

• Os vetores reconstruídos são projetados de volta para o espaço do fluxo residual para validação.
• O framework permite a edição direta dos valores singulares ($\sigma_i$) para amplificar ou suprimir conceitos específicos sem re-treinamento.

3. Contribuições Principais

1. Framework Livre de Dados e Treinamento: O SITH é o primeiro método a interpretar cabeças de atenção de VLMs puramente a partir dos pesos, eliminando a necessidade de datasets de ativação e evitando viéses de dados.
2. Granularidade Fina (Intra-cabeça): Ao decompor em vetores singulares, o SITH revela que uma única cabeça de atenção pode conter múltiplos conceitos distintos e ortogonais (ex: uma cabeça pode ter um vetor para "verde" e outro para "localização"), superando a visão de "cabeça única = um conceito".
3. Algoritmo COMP: Introduz uma técnica de codificação esparsa que equilibra fidelidade de reconstrução e coerência semântica, superando métodos baseados apenas em similaridade top-k ou OMP padrão.
4. Intervenção e Adaptação: Demonstra que é possível editar o modelo para suprimir correlações espúrias ou conceitos indesejados (NSFW) e melhorar o desempenho em tarefas downstream sem gradientes.

4. Resultados Experimentais

• Fidelidade e Interpretabilidade:

  • O COMP alcança um equilíbrio superior entre a fidelidade da reconstrução do vetor original e a coerência semântica da explicação, superando baselines como Top-k e NNOMP.
  • A substituição dos vetores singulares originais por suas reconstruções baseadas em SITH resulta em degradação negligenciável na precisão de classificação zero-shot em vários benchmarks (ImageNet, Flowers 102, Oxford Pets).

• Validação Visual:

  • Experimentos de correspondência de imagens (no dataset CC12M) mostram que as imagens recuperadas por vetores singulares específicos alinham-se fortemente com as explicações textuais geradas pelo COMP (ex: vetores interpretados como "textura de mosaico" recuperam imagens de mosaicos).

• Aplicações de Edição:

  • Supressão de Correlações Espúrias: No dataset Waterbirds (onde o fundo correlaciona-se erroneamente com a classe), a supressão de vetores relacionados a "fundo" ou "localização" aumentou a precisão do grupo mais difícil (worst-group) de 47.9% para 70.6%, superando métodos anteriores.
  • Segurança (NSFW): O SITH conseguiu identificar e suprimir vetores associados a conteúdo não seguro (NSFW), melhorando a recuperação segura em queries inseguras, superando o modelo Safe-CLIP treinado especificamente para isso em alguns cenários.
  • Melhoria de Classificação: A amplificação de vetores relevantes para tarefas específicas (ex: flores) melhorou a precisão em datasets de classificação fina sem dados de treinamento.

• Análise de Adaptação (Fine-tuning):

  • Ao analisar o fine-tuning, o SITH revela que a adaptação não cria novos recursos do zero, mas realiza um deslocamento sutil no subespaço semântico existente. Os vetores singulares permanecem estáveis, e as mudanças ocorrem principalmente no re-pesamento das direções existentes para alinhar com o domínio alvo.

5. Significância e Conclusão

O trabalho SITH representa um avanço fundamental na interpretabilidade mecânica de modelos multimodais. Ao demonstrar que a estrutura semântica do CLIP está codificada de forma estável e interpretável diretamente nos pesos, o método oferece:

• Transparência: Uma ferramenta para auditar o que o modelo "sabe" sem depender de dados de entrada.
• Controle: Um mecanismo eficiente e leve para editar comportamentos do modelo (segurança, viés, desempenho) através de manipulação de valores singulares.
• Generalidade: A descoberta de que diferentes arquiteturas e escalas de modelos convergem para os mesmos componentes funcionais especializados (ex: cabeças dedicadas a cores, materiais, letras), validando a hipótese de universalidade em VLMs.

Em suma, o SITH transforma a "caixa preta" dos pesos do Transformer em um conjunto de conceitos humanos legíveis e editáveis, abrindo caminho para modelos mais seguros, justos e compreensíveis.