Dimensional Coactivation for Representational Consistency in Frozen Vision Foundation Models

Resumen Técnico: Coactivación Dimensional para la Consistencia Representacional en Modelos Fundacionales de Visión Congelados

1. Definición del Problema: Consistencia Representacional (CR)

El artículo aborda una brecha en la evaluación de los modelos fundacionales de visión congelados. Si bien se sabe que estos modelos extraen características, los autores postulan que también imponen un sistema de coordenadas aprendido para organizar la estructura visual. El problema central es la Consistencia Representacional (CR): determinar si un único modelo congelado representa una única entrada como internamente coherente a través de sus subregiones semánticas.

A diferencia de las medidas de similitud estándar (por ejemplo, CKA, RSA) que comparan representaciones entre diferentes modelos, capas o distribuciones, la CR es una medición intra-muestra, intra-modelo, inter-región. Pregunta si las regiones semánticas de la misma identidad física (por ejemplo, ojos, nariz y boca de un rostro) permanecen coordinadas dentro del espacio de características del modelo. Los autores argumentan que las imágenes sintéticas (deepfakes) pueden reproducir regiones localmente plausibles pero fallan en mantener la estructura representacional que las vincula, creando una inconsistencia interna detectable por un modelo congelado entrenado con imágenes del mundo real.

2. Metodología: Coactivación Dimensional (CD)

Para medir la CR, los autores introducen la Coactivación Dimensional (CD), un operador por dimensión diseñado para preservar las propiedades específicas de un sistema de coordenadas congelado.

Mecanismo Central:
Dadas dos regiones semánticas $r_1$ y $r_2$ con matrices de tokens de parche muestreadas $F_{r_1}, F_{r_2} \in \mathbb{R}^{K \times D}$, la CD calcula la coactivación de las mismas dimensiones de características a través de estas regiones:
$$\text{CD}(F_{r_1}, F_{r_2})[d] = \frac{1}{K} \sum_{k=1}^{K} F_{r_1}[k, d] \cdot F_{r_2}[k, d]$$
Esto resulta en un vector de tamaño $D$ (la dimensión de la característica), representando la diagonal del producto de tokens de parche entre regiones. Para un rostro, el método concatena los vectores CD para los pares ojos-boca, ojos-nariz y boca-nariz para formar una huella digital de 3.072 dimensiones (usando $D=1024$).

Liberación de Restricciones:
Un aspecto crítico de la metodología es la evitación deliberada de los pasos estándar de preprocesamiento de similitud, denominados "liberación de restricciones". Los autores argumentan que las operaciones útiles para la comparación entre modelos no coinciden con la medición intra-muestra:

• Sin Centrado: Se preserva la activación media porque puede codificar la coherencia de la identidad en lugar del sesgo.
• Sin Normalización L2: Se preserva la magnitud porque las dimensiones más fuertes pueden cargar identidades más pesadas.
• Sin Acoplamiento Completo de Gram: Las interacciones cruzadas entre dimensiones fuera de la diagonal se descartan para evitar el ruido y preservar la estructura diagonal donde el sistema de coordenadas congelado es legible.

Pipeline:

1. Extracción de Características: Un esqueleto congelado DINOv3 ViT-L/16 extrae tokens de parche del bloque intermedio 18 (evitando los tokens normalizados finales).
2. Asignación de Región: Un parser congelado FaRL asigna tokens a regiones semánticas (ojos, boca, nariz).
3. Generación de Huella Digital: Se calculan los vectores CD para la tripleta "ojos-boca-nariz" (OBN).
4. Validación: Se entrena una sonda lineal ligera (regresión logística) solo en el conjunto de datos de origen (FF++ c23) para evaluar la capacidad de la huella digital de detectar incoherencia en conjuntos de datos objetivo (CelebDF-v2, DFD) de forma zero-shot.

3. Contribuciones Clave

1. Definición de CR: El artículo define la Consistencia Representacional como un eje de medición distinto para modelos fundacionales congelados, centrándose en la coherencia intra-muestra en lugar de la similitud inter-modelo.
2. Operador CD: Propone la CD como un instrumento por dimensión que mide la coherencia inter-región sin colapsar el espacio de características en resúmenes escalares ni aplicar restricciones de normalización estándar.
3. Liberación de Restricciones: Demuestra que eliminar el centrado, la normalización L2 y el acoplamiento entre dimensiones no es meramente una simplificación, sino una necesidad para preservar la señal de coherencia en un sistema de coordenadas fijo.
4. Dependencia del Esqueleto: Valida que el éxito de la medición de CR depende de la estabilidad del sistema de coordenadas por dimensión del esqueleto (por ejemplo, DINOv3) en lugar de solo del pipeline de extracción de regiones.

4. Resultados Experimentales

El método se validó utilizando la detección de deepfakes entre conjuntos de datos, donde los modelos entrenados en FF++ c23 se evaluaron zero-shot en CelebDF-v2 y DFD.

• Rendimiento: La huella digital CD OBN logró un AUC de 0.9106 en CelebDF-v2 y un AUC de 0.9289 en DFD.
• Ablación de Restricciones: La reintroducción de restricciones estándar degradó severamente el rendimiento:
  • Añadir centrado redujo el AUC de CelebDF-v2 a 0.459.
  • Añadir normalización L2 lo redujo a 0.862.
  • Añadir acoplamiento completo de Gram (entre dimensiones) lo redujo a 0.478.
• Sensibilidad del Esqueleto: Reemplazar DINOv3 con FaRL (un modelo de parsing supervisado) colapsó el AUC de CelebDF-v2 a 0.582, indicando que FaRL carece del sistema de coordenadas por dimensión estable requerido para la CR.
• Selección de Región: Se encontró que la tripleta "ojos-boca-nariz" era óptima. Incluir cabello (variable espacialmente) o piel (diluyendo la señal) redujo el rendimiento.
• Escalar vs. Vector: Reducir la huella digital CD a resúmenes escalares (por ejemplo, CD media, similitud coseno) resultó en AUCs entre 0.47 y 0.66, demostrando que la señal discriminativa está distribuida a través de las dimensiones de las características y se pierde en la agregación.

5. Significado y Afirmaciones

El artículo posiciona la CD no como un detector universal de deepfakes superior a todos los métodos existentes, sino como un principio de medición que revela un tipo específico de señal: coherencia relacional, por dimensión de características y dependiente del esqueleto.

• Medición sobre Detección: La contribución principal es la demostración de que los modelos fundacionales congelados contienen "residuales de coherencia" medibles que exponen deepfakes sin ajuste fino. La señal es relacional (cómo interactúan las regiones) en lugar de regional (cómo se ve una sola región).
• Estabilidad del Sistema de Coordenadas: Los resultados sugieren que modelos como DINOv3, entrenados con autodistilación, desarrollan un sistema de coordenadas estable donde los mismos factores semánticos activan las mismas dimensiones a través de posiciones espaciales. Esta propiedad es esencial para la medición de CR y está ausente en modelos optimizados para límites categóricos (como FaRL).
• Limitaciones: Los autores notan modestamente que el método es actualmente específico para rostros, depende de una profundidad de bloque específica (bloque 18) que fue seleccionada empíricamente, y no ha sido validado contra manipulaciones modernas basadas en difusión ni robustez demográfica. El artículo enmarca el trabajo como una herramienta de medición fundamental en lugar de un modelo forense desplegable.