Zero-Ablation Overstates Register Content Dependence in DINO Vision Transformers

Resumen Técnico: Zero-Ablation Overstates Register Content Dependence in DINO Vision Transformers

1. El Problema: La Trampa de la Ablación Cero

En el análisis de modelos de visión por transformadores (ViT), como la familia DINOv2 y DINOv3, se utilizan comúnmente estudios de "ablación" (lesión) para entender la función de los componentes internos. Específicamente, los tokens de registro (tokens adicionales aprendibles sin significado espacial) se han identificado como cruciales para mitigar artefactos de atención y mejorar características densas.

El problema central abordado en este trabajo es que la técnica estándar de ablación cero (reemplazar las activaciones de los tokens de registro por vectores cero) produce caídas drásticas en el rendimiento (hasta -36.6 puntos porcentuales en clasificación y -30.9 en segmentación). Esto ha llevado a la conclusión errónea de que los registros son funcionalmente indispensables y que el modelo depende críticamente de su contenido específico (los valores exactos aprendidos para cada imagen).

Los autores argumentan que este resultado es un artefacto metodológico: los vectores cero son fuera de distribución (OOD) en comparación con las activaciones nativas de los registros. Al inyectar vectores cero, se provoca un desplazamiento de distribución que se propaga en cascada a través de todas las capas subsiguientes, exagerando la dependencia del modelo sobre el contenido exacto de los registros.

2. Metodología: Controles de Reemplazo In-Distribution

Para probar si la dependencia es real o un artefacto de la distribución, los autores proponen un marco experimental que compara la ablación cero con tres controles de reemplazo que mantienen las activaciones dentro de la distribución natural del modelo:

1. Sustitución por la media (Mean-substitution): Reemplaza las activaciones de los registros con la media calculada por capa sobre un conjunto de datos (5,000 imágenes de ImageNet).
2. Sustitución por ruido (Noise-substitution): Reemplaza las activaciones con ruido gaussiano que coincide en media y varianza con las activaciones reales por capa.
3. Mezcla cruzada de imágenes (Cross-image register shuffling): Permuta las activaciones de los registros entre diferentes imágenes dentro del mismo lote (batch), preservando la estructura de activación real pero rompiendo la dependencia específica de la imagen.

Configuración Experimental:

• Modelos: Se evaluaron DINOv2 (sin registros), DINOv2+registros y DINOv3.
• Escalas: ViT-S (21M parámetros) y ViT-B (86M parámetros).
• Tareas: Clasificación (ImageNet), Recuperación (kNN), Correspondencia (SPair-71k) y Segmentación (Pascal VOC).
• Intervención: Se aplicaron ganchos (hooks) en PyTorch para modificar las salidas de los tokens en cada bloque del transformador, evaluando tanto el impacto en la capa final como en la trayectoria completa.

3. Contribuciones Clave

El artículo aporta cuatro hallazgos fundamentales:

1. La ablación cero introduce un sesgo de distribución: Demuestran que los vectores cero generan una divergencia de Jensen-Shannon (JS) decenas o cientos de veces mayor que los controles de reemplazo plausibles, causando una perturbación en cascada que no refleja la dependencia funcional real.
2. La dependencia es estructural, no de contenido: En evaluaciones de características congeladas (frozen-feature), los modelos dependen de la presencia de activaciones plausibles similares a los registros, no de sus valores específicos condicionados por la imagen. Los tres controles de reemplazo preservan el rendimiento dentro de ~1 punto porcentual del modelo original.
3. Los registros actúan como canales de contexto estructurales: Los registros amortiguan las características densas (parches) de la dependencia del token [CLS] y comprimen la geometría de los parches (reduciendo la efective rank), funcionando como canales estructurales esperados cuyo contenido exacto no es único para cada imagen en estas tareas.
4. Validación a escala: Estos hallazgos, incluidos los resultados de los controles de reemplazo, se replican consistentemente en la escala ViT-B, confirmando que no es un fenómeno limitado a modelos pequeños.

4. Resultados Principales

• Rendimiento en Tareas:

  • Ablación Cero: Causa colapsos masivos (ej. DINOv3 pierde 36.6 pp en clasificación y 30.9 pp en segmentación al ceros los registros).
  • Controles de Reemplazo: La sustitución por media, ruido o mezcla cruzada mantiene el rendimiento casi idéntico al modelo completo (ej. Clasificación DINOv3: 62.0% (Full) vs. 62.1% (Media) vs. 25.4% (Cero)).
  • Conclusión: El modelo no necesita el contenido específico de los registros para estas tareas; necesita que existan activaciones plausibles en esas posiciones.

• Análisis de Perturbación:

  • La similitud coseno entre las características de los parches bajo los controles de reemplazo y el modelo completo es alta (0.95–0.999), indicando que las representaciones internas cambian genuinamente pero de manera controlada.
  • En contraste, la ablación cero reduce la similitud coseno drásticamente (0.58–0.60), confirmando que la degradación del rendimiento se debe a la naturaleza destructiva del vector cero, no a la falta de información específica.

• Geometría y Compresión:

  • Los registros reducen la dimensión efectiva (effective rank) de la geometría de los parches. En DINOv3, la dimensión efectiva cae de 13.5 (DINOv2) a 4.0.
  • Esto indica una compresión de la información espacial que mejora las tareas densas, independientemente del contenido exacto de los registros.

• Asimetría [CLS] vs. Registros:

  • Ceros el token [CLS] en modelos con registros tiene un impacto mínimo en tareas densas (segmentación), mientras que ceros los registros destruye el rendimiento. Esto confirma que los registros protegen a los parches de la influencia global del [CLS].

5. Significado e Implicaciones

• Reevaluación de la Interpretación Mecanística: El trabajo advierte que la ablación cero en redes neuronales puede llevar a conclusiones erróneas sobre la localización funcional, similar a los problemas en estudios de lesiones en neurociencia. Si un componente se abla con un valor fuera de distribución, la degradación del rendimiento puede reflejar la ruptura de la dinámica de la red y no la pérdida de información específica.
• Mejores Prácticas para la Interpretación: Se recomienda encarecidamente el uso de controles de reemplazo (como la sustitución por media o el resample ablation) junto con la ablación cero para distinguir entre dependencia de contenido y dependencia estructural.
• Naturaleza de los Registros: Se redefinen los tokens de registro no como portadores de información semántica específica por imagen, sino como canales de contexto estructurales que estabilizan la geometría de las características y previenen la contaminación de las representaciones locales por información global.

En resumen, el paper demuestra que la aparente "indispensabilidad" de los registros en DINOv3 es, en gran medida, un artefacto de la metodología de ablación cero, y que el modelo es robusto ante cambios en el contenido de los registros siempre que se mantenga la coherencia de la distribución de activaciones.