Capability $\neq$ Interpretability: Human Interpretability of Vision Foundation Models

Resumen Técnico: Capacidad ≠ Interpretabilidad: Interpretabilidad Humana de Modelos Fundacionales de Visión

Declaración del Problema

A medida que los modelos fundacionales de visión (por ejemplo, CLIP, DINOv2, SigLIP) pasan de los puntos de referencia de investigación a despliegues de alto riesgo (apoyo a la toma de decisiones clínicas, conducción autónoma), comprender sus representaciones internas se vuelve crítico. Sin embargo, los protocolos de evaluación existentes no logran medir y comparar de manera fiable la interpretabilidad humana de las características entre diferentes modelos. Los métodos anteriores adolecen de dos limitaciones principales:

1. Polisemicidad: A menudo dependen de neuronas individuales, que codifican múltiples conceptos (superposición), lo que complica el aislamiento de características únicas.
2. Artefactos Metodológicos: Los protocolos de psicofísica anteriores (por ejemplo, tareas de opción forzada) permiten a los participantes resolver tareas identificando lo que una característica no es (proceso de eliminación) en lugar de comprender lo que es. Esto conduce a líneas base de nivel de azar específicas del modelo que hacen que las puntuaciones de precisión bruta sean incomparables entre arquitecturas.

En consecuencia, sigue siendo una pregunta abierta si la capacidad superior de los modelos fundacionales se correlaciona con que sus características sean más interpretables para los humanos.

Metodología

Los autores introducen un marco para medir la interpretabilidad humana utilizando dos protocolos de psicofísica complementarios, aplicados a seis transformadores de visión (dos ViTs supervisados y cuatro modelos fundacionales: DINOv2, DINOv3, CLIP, SigLIP).

1. Extracción y Selección de Características:

• Base Monosémica: En lugar de analizar neuronas crudas, los autores utilizan Autoencoders Escasos (SAE) entrenados en activaciones de ImageNet para recuperar un diccionario de direcciones monosémicas. Esto asegura que cada unidad probada corresponda a un solo concepto.
• Filtrado de Relevancia: Las características se seleccionan en función de su contribución a una sonda lineal entrenada en ImageNet (usando Gradiente × Entrada). Se excluyen las características densas (que se activan en la mayoría de las entradas).
• Anclaje Estandarizado: Para garantizar una comparación justa, la selección de características se ancla a un conjunto compartido de imágenes de entrada en lugar de un muestreo aleatorio, y las puntuaciones se calibran contra un nivel de azar común.

2. Protocolos de Psicofísica:
A los participantes (377 sujetos válidos, 13.400 respuestas) se les presentaron explicaciones visuales de una característica (visualización sintética, imágenes naturales de alta activación y mapas de calor RISE) y se les pidió que realizaran una de dos tareas:

• Localizabilidad (Dónde): Los participantes hacen clic en una imagen nueva donde creen que se activa la característica. Las puntuaciones se mapean a una escala anclada al azar ($s=0.5$) basada en la distribución acumulativa empírica del mapa de calor, normalizando las activaciones escasas frente a las difusas.
• Nombrabilidad (Qué): Los participantes proporcionan una descripción en texto libre de la característica. Las descripciones se puntúan calculando la media de la similitud del coseno entre la incrustación del texto y las incrustaciones de imagen de CLIP de los recortes centrados en el pico de activación de la característica.

3. Análisis:
El estudio analiza la relación entre las puntuaciones de interpretabilidad y:

• El rendimiento en tareas posteriores (clasificación de ImageNet, segmentación semántica, agrupación perceptual).
• Propiedades representacionales: Localidad (esparcidad de Hoyer de las activaciones) y Alineación Humana (estrategias visuales, juicios de similitud semántica de grano grueso frente a grano fino).

Resultados Clave

1. Los Modelos Fundacionales son Menos Interpretables:
Contrario a la suposición de que los modelos más grandes y capaces son más transparentes, cada modelo fundacional probado produjo características que fueron menos interpretables que sus contrapartes supervisadas (ViT-S y ViT-B). Esta brecha se mantiene tanto para modelos auto-supervisados solo de visión (DINOv2, DINOv3) como para modelos visión-idioma (CLIP, SigLIP).

• Nota: DINOv2 elicita la mayor confianza de los participantes, pero se clasifica entre los menos interpretables, destacando que "sentirse" interpretable no equivale a ser interpretable.

2. La Interpretabilidad es Ortogonal a la Capacidad:
No hay correlación significativa entre el rendimiento de un modelo en tareas posteriores (clasificación, segmentación, agrupación) y sus puntuaciones de interpretabilidad humana (localizabilidad o nombrabilidad). Una alta capacidad no garantiza una alta interpretabilidad, ni necesariamente se compensa con ella; parecen ser dimensiones independientes de la calidad de la representación.

3. Predictores de la Interpretabilidad:
Dos propiedades representacionales predicen fuertemente la interpretabilidad:

• Localidad: Las características con activaciones focales y espacialmente confinadas (alta esparcidad de Hoyer) son significativamente más interpretables que las características difusas. DINOv3, que promueve explícitamente características locales en su objetivo de entrenamiento, sirve como contraejemplo, mostrando una mayor interpretabilidad entre los modelos fundacionales.
• Alineación Semántica de Grano Grueso: La alineación con juicios de similitud humana de grano grueso (estructura categórica amplia) se correlaciona con la interpretabilidad. Por el contrario, la alineación perceptual de grano fino (distinciones dentro de la categoría) y la alineación con estrategias visuales humanas (mapas de atención) no predicen la interpretabilidad.

Significado y Afirmaciones

El documento establece que la capacidad por sí sola no puede cerrar la brecha de interpretabilidad entre los modelos fundacionales y las líneas base supervisadas. Los autores afirman:

• La interpretabilidad es una dimensión distinta y medible: No es un subproducto de la escala o del rendimiento en tareas posteriores.
• La "Brecha del Modelo Fundacional" es real: A pesar de superar a los modelos supervisados en los puntos de referencia, los modelos fundacionales aprenden representaciones que son menos legibles para los humanos.
• Implicaciones de Diseño: Para construir modelos más interpretables, los objetivos de entrenamiento deben promover explícitamente activaciones de características locales y alinear las representaciones con estructuras semánticas humanas de grano grueso, en lugar de depender de la escala o de la alineación perceptual de grano fino.

El estudio concluye que, aunque los modelos fundacionales ofrecen una generalización superior, sus características internas a menudo son "superhumanas" de una manera que oscurece la comprensión humana, lo que hace necesarias decisiones de diseño explícitas para recuperar la interpretabilidad en aplicaciones de alto riesgo.