Capability $\neq$ Interpretability: Human Interpretability of Vision Foundation Models

Resumo Técnico: Capacidade ≠ Interpretabilidade: Interpretabilidade Humana de Modelos Fundamentais de Visão

Declaração do Problema

À medida que os modelos fundamentais de visão (por exemplo, CLIP, DINOv2, SigLIP) transitam de benchmarks de pesquisa para implantações de alto risco (suporte a decisões clínicas, condução autônoma), compreender suas representações internas torna-se crítico. No entanto, os protocolos de avaliação existentes falham em medir e comparar de forma confiável a interpretabilidade humana de características entre diferentes modelos. Métodos anteriores sofrem com duas limitações principais:

1. Polissemantia: Frequentemente dependem de neurônios individuais, que codificam múltiplos conceitos (superposição), complicando o isolamento de características únicas.
2. Artefatos Metodológicos: Protocolos de psicofísica anteriores (por exemplo, tarefas de escolha forçada) permitem que participantes resolvam tarefas identificando o que uma característica não é (processo de eliminação) em vez de entender o que ela é. Isso leva a baselines ao nível do acaso específicas do modelo, tornando as pontuações brutas de acurácia incomparáveis entre arquiteturas.

Consequentemente, permanece uma questão em aberto se a capacidade superior dos modelos fundamentais se correlaciona com suas características sendo mais interpretáveis para humanos.

Metodologia

Os autores introduzem um framework para medir a interpretabilidade humana usando dois protocolos de psicofísica complementares, aplicados a seis transformers de visão (dois ViTs supervisionados e quatro modelos fundamentais: DINOv2, DINOv3, CLIP, SigLIP).

1. Extração e Seleção de Características:

• Base Monosssemântica: Em vez de analisar neurônios brutos, os autores utilizam Autoencoders Esparsos (SAEs) treinados em ativações do ImageNet para recuperar um dicionário de direções monosssemânticas. Isso garante que cada unidade testada corresponda a um único conceito.
• Filtragem de Relevância: Características são selecionadas com base em sua contribuição para uma sonda linear treinada no ImageNet (usando Gradiente × Entrada). Características densas (ativando na maioria das entradas) são excluídas.
• Ancoragem Padronizada: Para garantir comparação justa, a seleção de características é ancorada a um conjunto compartilhado de imagens de entrada em vez de amostragem aleatória, e as pontuações são calibradas contra um nível de acaso comum.

2. Protocolos de Psicofísica:
Participantes (377 sujeitos válidos, 13.400 respostas) foram apresentados a explicações visuais de uma característica (visualização sintética, imagens naturais altamente ativadoras e mapas de calor RISE) e solicitados a realizar uma de duas tarefas:

• Localizabilidade (Onde): Participantes clicam em uma imagem nova onde acreditam que a característica se ativa. As pontuações são mapeadas para uma escala ancorada ao acaso ($s=0.5$) baseada na distribuição cumulativa empírica do mapa de calor, normalizando para ativações esparsas versus difusas.
• Nomeabilidade (O Que): Participantes fornecem uma descrição em texto livre da característica. As descrições são pontuadas calculando a média da similaridade cosseno entre o embedding do texto e os embeddings de imagem do CLIP de recortes centrados no pico de ativação da característica.

3. Análise:
O estudo analisa a relação entre pontuações de interpretabilidade e:

• Desempenho em tarefas a jusante (classificação ImageNet, segmentação semântica, agrupamento perceptual).
• Propriedades representacionais: Localidade (esparsidade de Hoyer das ativações) e Alinhamento Humano (estratégias visuais, julgamentos de similaridade semântica de granularidade grosseira versus fina).

Principais Resultados

1. Modelos Fundamentais são Menos Interpretáveis:
Contrariando a suposição de que modelos maiores e mais capazes são mais transparentes, cada modelo fundamental testado produziu características que foram menos interpretáveis do que seus pares supervisionados (ViT-S e ViT-B). Essa lacuna vale tanto para modelos auto-supervisionados apenas de visão (DINOv2, DINOv3) quanto para modelos visão-linguagem (CLIP, SigLIP).

• Nota: O DINOv2 elicita a maior confiança dos participantes, mas classifica-se entre os menos interpretáveis, destacando que "sentir-se" interpretável não equivale a ser interpretável.

2. Interpretabilidade é Ortogonal à Capacidade:
Não há correlação significativa entre o desempenho do modelo em tarefas a jusante (classificação, segmentação, agrupamento) e suas pontuações de interpretabilidade humana (localizabilidade ou nomeabilidade). Alta capacidade não garante alta interpretabilidade, nem necessariamente implica em um trade-off contra ela; elas parecem ser dimensões independentes da qualidade representacional.

3. Preditores de Interpretabilidade:
Duas propriedades representacionais predizem fortemente a interpretabilidade:

• Localidade: Características com ativações focais e espacialmente confinadas (alta esparsidade de Hoyer) são significativamente mais interpretáveis do que características difusas. O DINOv3, que promove explicitamente características locais em seu objetivo de treinamento, serve como contraexemplo, mostrando maior interpretabilidade entre modelos fundamentais.
• Alinhamento Semântico de Granularidade Grosseira: O alinhamento com julgamentos de similaridade humana de granularidade grosseira (estrutura categórica ampla) correlaciona-se com a interpretabilidade. Em contraste, o alinhamento perceptual de granularidade fina (distinções dentro da categoria) e o alinhamento com estratégias visuais humanas (mapas de atenção) não predizem a interpretabilidade.

Significância e Alegações

O artigo estabelece que a capacidade por si só não pode fechar a lacuna de interpretabilidade entre modelos fundamentais e bases supervisionadas. Os autores alegam:

• A interpretabilidade é uma dimensão distinta e mensurável: Não é um subproduto da escala ou do desempenho em tarefas a jusante.
• A "Lacuna do Modelo Fundamental" é real: Apesar de superar modelos supervisionados em benchmarks, modelos fundamentais aprendem representações que são menos legíveis para humanos.
• Implicações de Design: Para construir modelos mais interpretáveis, objetivos de treinamento devem promover explicitamente ativações de características locais e alinhar representações com estruturas semânticas humanas de granularidade grosseira, em vez de depender da escala ou do alinhamento perceptual de granularidade fina.

O estudo conclui que, embora modelos fundamentais ofereçam generalização superior, suas características internas são frequentemente "super-humanas" de uma maneira que obscurece a compreensão humana, necessitando escolhas de design explícitas para recuperar a interpretabilidade em aplicações de alto risco.