💻 computer science

From Weights to Concepts: Data-Free Interpretability of CLIP via Singular Vector Decomposition

El artículo presenta SITH, un marco de interpretabilidad libre de datos y entrenamiento que descompone los pesos de CLIP en conceptos semánticos coherentes mediante descomposición de valores singulares, permitiendo ediciones precisas del modelo y revelando que la adaptación se basa en reponderar una base semántica estable.

Autores originales: Francesco Gentile, Nicola Dall'Asen, Francesco Tonini, Massimiliano Mancini, Lorenzo Vaquero, Elisa Ricci

Publicado 2026-03-27

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Francesco Gentile, Nicola Dall'Asen, Francesco Tonini, Massimiliano Mancini, Lorenzo Vaquero, Elisa Ricci

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que CLIP es un genio que ha leído millones de libros y visto millones de fotos. Puede entender que una foto de un "gato" y la palabra "gato" significan lo mismo. Pero, ¿cómo funciona su cerebro? ¿Dónde guarda exactamente el concepto de "gato" o de "rojo"?

Hasta ahora, los científicos intentaban entender a este genio mirando lo que pensaba mientras veía una foto (sus "activaciones"). Era como intentar adivinar qué está pensando alguien mirando sus expresiones faciales mientras ve una película. El problema es que si la película cambia, sus expresiones cambian, y es difícil saber qué es lo que realmente sabe de forma permanente. Además, si la película tiene prejuicios (por ejemplo, solo muestra gatos negros), el científico podría pensar erróneamente que el genio solo sabe de gatos negros.

SITH (el nuevo método de este paper) cambia las reglas del juego. En lugar de mirar al genio pensando, SITH le pide que abra su libro de recetas (sus pesos o "weights") y lo analice en frío, sin necesidad de mostrarle ninguna foto.

Aquí te explico cómo funciona SITH con una analogía sencilla:

1. El Libro de Recetas (Los Pesos)

Imagina que cada "cabeza" de atención del modelo (una pequeña parte de su cerebro) es como un chef en una cocina gigante. Este chef tiene una lista de ingredientes (pesos) que usa para mezclar sabores.

El problema anterior: Los científicos miraban qué platos salían del chef cuando le daban ingredientes específicos (fotos).
La solución SITH: SITH mira directamente la lista de ingredientes del chef, sin cocinar nada.

2. El Desmontaje (Decomposición SVD)

SITH toma la lista de ingredientes del chef y la descompone en sus sabores puros.
Imagina que el chef mezcla "tomate", "albahaca" y "queso" para hacer una salsa. SITH no solo dice "hace salsa", sino que separa matemáticamente el sabor del tomate, el de la albahaca y el del queso.

En el lenguaje técnico, esto se llama Descomposición en Valores Singulares (SVD). SITH separa la "mezcla" en direcciones puras de información.

3. El Traductor (COMP)

Ahora tenemos esos "sabores puros" (vectores), pero son solo números fríos y sin sentido para un humano. ¿Qué significa el "sabor número 42"?
Aquí entra COMP (el algoritmo inteligente). COMP actúa como un traductor o un detective.

Toma ese "sabor número 42" y lo compara con un diccionario gigante de conceptos humanos (como "rojo", "playa", "gato", "metal").
En lugar de decir "es una mezcla de cosas", COMP dice: "¡Ah! Este sabor es una combinación de 'verde menta', 'pasto' y 'hojas'".
Además, COMP es muy estricto: solo elige conceptos que tienen sentido juntos. No te dirá que un vector es "gato" y "tostadora" a la vez, a menos que tenga una razón muy fuerte. Busca coherencia.

¿Por qué es tan genial esto? (Las Ventajas)

1. No necesita ver fotos (Data-Free):
Como SITH solo lee la "lista de ingredientes" (los pesos), no necesita mostrarle miles de fotos al modelo. Esto significa que no se deja engañar por los prejuicios de los datos. Si el modelo fue entrenado con fotos de gatos negros, SITH sigue viendo el concepto de "gato" en su estructura interna, no solo "gato negro".

2. Cirugía de precisión (Edición del modelo):
Esta es la parte más mágica. Como SITH sabe exactamente qué "sabor" (vector) corresponde a qué concepto, podemos editar el modelo sin volver a entrenarlo.

Ejemplo de seguridad: Si el modelo es muy sensible a contenido violento, SITH puede identificar el "sabor" que representa la violencia y simplemente bajarle el volumen a ese ingrediente. El modelo se vuelve más seguro instantáneamente, sin necesidad de volver a cocinar todo el plato (reentrenar).
Ejemplo de mejora: Si queremos que el modelo sea mejor reconociendo flores, podemos subirle el volumen a los ingredientes que ya sabe sobre "pétalos" y "tallos", haciendo que el modelo sea más experto en flores sin aprender nada nuevo.

3. Entender cómo aprende (Adaptación):
El paper también usó SITH para ver qué pasa cuando el modelo se entrena en una tarea nueva (como reconocer perros). Descubrieron que el modelo no cambia su cerebro por completo. No aprende "perros" desde cero. En cambio, simplemente reajusta el volumen de los sabores que ya tenía. Es como si un chef que sabe hacer paella aprendiera a hacer sushi simplemente cambiando un poco la cantidad de arroz y pescado, pero usando las mismas técnicas básicas.

En resumen

SITH es como tener una radiografía del cerebro de la IA. En lugar de adivinar qué piensa mirando sus reacciones, SITH abre su caja de herramientas, identifica cada herramienta (concepto) por su nombre, y nos permite usar esas herramientas para arreglar, mejorar o limpiar a la IA de forma precisa, rápida y sin necesidad de volver a entrenarla desde cero.

Es pasar de adivinar qué hay en la olla a leer la receta exacta y saber cómo cambiar un ingrediente para mejorar el sabor.

Resumen Técnico: SITH (Semantic Inspection of Transformer Heads)

1. El Problema

A medida que los Modelos de Lenguaje y Visión (VLM), como CLIP, se despliegan a gran escala, es crucial comprender sus mecanismos internos. Sin embargo, los métodos existentes de interpretabilidad presentan limitaciones significativas:

Dependencia de datos: La mayoría de los métodos se basan en las activaciones de las redes neuronales, lo que requiere grandes conjuntos de datos (como ImageNet) para generar explicaciones. Esto introduce sesgos inherentes al conjunto de datos utilizado.
Granularidad gruesa: Las explicaciones suelen limitarse al nivel de la "cabeza de atención" (attention head) completa, sin descomponer qué sub-componentes específicos dentro de esa cabeza codifican qué conceptos.
Falta de generalización: Los métodos basados en activaciones pueden ser inestables y no capturan la estructura semántica fundamental de los pesos del modelo.

2. Metodología: SITH y COMP

Los autores proponen SITH (Semantic Inspection of Transformer Heads), un marco completamente libre de datos y libre de entrenamiento que analiza directamente los pesos del transformador de visión de CLIP.

A. Descomposición en el Espacio de Pesos (SVD)
En lugar de analizar activaciones, SITH aísla la matriz de Valor-Salida (VO) de cada cabeza de atención en el Vision Transformer (ViT) de CLIP.

Se aplica Descomposición en Valores Singulares (SVD) a la matriz $W_{VO}$ de cada cabeza.
Esto revela las direcciones computacionales dominantes (vectores singulares) que la cabeza utiliza para leer información de la corriente residual y escribir nueva información.
Los vectores singulares representan direcciones semánticas puras dentro del modelo, independientes de cualquier entrada de imagen específica.

B. Interpretación Semántica mediante COMP
Para traducir estos vectores singulares (que son vectores numéricos abstractos) a conceptos humanos comprensibles, los autores introducen COMP (Coherent Orthogonal Matching Pursuit):

Objetivo: Expresar cada vector singular como una combinación lineal dispersa (sparse) y no negativa de conceptos textuales extraídos de un diccionario (ConceptNet 5.5).
Innovación: A diferencia de algoritmos estándar como OMP (Orthogonal Matching Pursuit) que solo minimizan el error de reconstrucción, COMP introduce un término de coherencia semántica.
Funcionamiento: En cada paso iterativo, COMP selecciona el concepto que no solo se alinea mejor con el residuo del vector, sino que también es semánticamente coherente con los conceptos ya seleccionados. Esto evita explicaciones incoherentes (ej. mezclar "tostadora" con "senderismo") y genera grupos temáticos unificados.

3. Contribuciones Clave

Marco SITH: Un enfoque novedoso de interpretabilidad mecánica que opera exclusivamente en el espacio de pesos, eliminando la necesidad de datos de entrada y evitando sesgos de conjuntos de datos.
Granularidad Intra-Cabeza: Logra explicaciones a nivel de vector singular, permitiendo disecar el conocimiento dentro de una sola cabeza de atención (ej. una cabeza puede tener un vector para "rojo" y otro para "verde").
Algoritmo COMP: Una técnica de codificación dispersa regularizada por coherencia que genera explicaciones semánticamente ricas y humanas.
Edición de Modelos sin Entrenamiento: Demuestra que es posible editar el comportamiento del modelo (amplificar o suprimir conceptos) manipulando directamente los valores singulares, sin necesidad de reentrenar ni usar datos.

4. Resultados y Validación

Los autores validan SITH mediante varios experimentos:

Fidelidad vs. Interpretabilidad: COMP logra un equilibrio óptimo entre reconstruir fielmente el vector original y proporcionar una explicación coherente, superando a métodos basados en top-k (que tienen alta coherencia pero baja fidelidad) y NNOMP (alta fidelidad pero baja coherencia).
Alineación Visual: Las imágenes recuperadas que más se parecen a un vector singular específico coinciden consistentemente con la explicación textual generada por COMP (ej. vectores etiquetados como "verde" recuperan imágenes de vegetación).
Edición de Modelos (Intervenciones):
- Supresión de Correlaciones Espurias: En el dataset Waterbirds (aves en fondos no naturales), SITH identificó y suprimió vectores relacionados con el fondo, mejorando significativamente la precisión en el grupo más difícil (worst-group) sin reentrenamiento.
- Seguridad (NSFW): Se logró eliminar conceptos inseguros (NSFW) suprimiendo vectores específicos, mejorando la seguridad en tareas de recuperación de imágenes sin degradar el rendimiento en consultas seguras.
- Mejora de Clasificación: Amplificar vectores relevantes para una tarea específica (ej. flores) mejoró la precisión de clasificación zero-shot en varios datasets.
Análisis de Adaptación: Al estudiar el fine-tuning, SITH reveló que la adaptación no crea nuevas características desde cero, sino que reorienta sutilmente la base semántica existente hacia el dominio objetivo, manteniendo la estructura general de los pesos.

5. Significado e Impacto

Este trabajo representa un avance fundamental en la interpretabilidad mecánica de modelos multimodales:

Independencia de Datos: Al no depender de activaciones, SITH ofrece una visión más "pura" de lo que el modelo ha aprendido, libre de los sesgos de los conjuntos de datos de prueba.
Control Preciso: Permite intervenciones quirúrgicas en el modelo (edición de valores singulares) para mejorar la robustez, la seguridad y el rendimiento, actuando como una alternativa eficiente al fine-tuning tradicional.
Universalidad: Los hallazgos sugieren que diferentes modelos de visión y lenguaje convergen en circuitos funcionales similares (universalidad de cabezas especializadas en colores, ubicaciones, materiales, etc.), independientemente de su arquitectura o escala.

En conclusión, SITH transforma la comprensión de los VLMs de una caja negra dependiente de datos a una estructura transparente y editable basada en sus pesos, permitiendo una intervención directa y significativa en el comportamiento del modelo.