Resumen Técnico: KODA – Comparación y Alineación de Representaciones Contrastivas para Modelos Fundacionales de Visión-Lenguaje

1. Planteamiento del Problema

Los modelos fundacionales de visión-lenguaje (por ejemplo, CLIP, SigLIP, BLIP) son centrales en los sistemas multimodales modernos, sin embargo, sus representaciones se comparan típicamente solo mediante el rendimiento en tareas de uso posterior (por ejemplo, precisión de recuperación, clasificación zero-shot). Tales métricas agregadas no logran explicar cómo diferentes modelos organizan estructuralmente los datos o inducen diferentes agrupamientos de pares imagen-texto.

Los métodos existentes para la comparación interpretable de embeddings, como el marco SPEC, analizan matrices de diferencia de núcleos (kernels), pero no imponen explícitamente un objetivo asimétrico. En consecuencia, pueden identificar estructuras comunes a ambos embeddings o efectos agregados en lugar de aislar subconjuntos específicos de muestras que están débilmente agrupadas bajo una representación pero fuertemente agrupadas bajo otra. Este artículo aborda la tarea de Agrupamiento de Embeddings Contrastivos: identificar subconjuntos de muestras (o direcciones) que exhiben una estructura coherente en un espacio de embedding mientras aparecen difusos o sin estructura en un espacio de embedding de referencia.

2. Metodología: Marco KODA

Los autores proponen KODA (Optimización de Núcleos para el Análisis de Discrepancia), un marco basado en núcleos formulado como un problema de optimización con restricciones.

2.1. Formulación de la Optimización Central

Dado dos embeddings $A$ y $B$ que inducen matrices de similitud de núcleo normalizadas $K_A$ y $K_B$ sobre un conjunto de datos de referencia $\{x_i\}_{i=1}^n$, KODA busca una dirección $x \in \mathbb{R}^n$ que maximice el agrupamiento bajo $K_A$ mientras está restringida a estar débilmente agrupada bajo $K_B$. El problema se define como:

$$\begin{aligned} \max_{x \in \mathbb{R}^n} \quad & x^\top K_A x \\ \text{sujeto a} \quad & x^\top K_B x \leq \epsilon \\ & \|x\|_2^2 = 1 \\ \end{aligned}$$

donde $\epsilon > 0$ es un umbral que controla el grado de agrupamiento débil permitido bajo el embedding de referencia $B$.

2.2. Solución Eficiente vía Caracterización Espectral

Aunque el problema no es convexo, los autores demuestran mediante las condiciones KKT que cualquier optimizador $x^*$ satisface una ecuación de autovalores generalizada:
$$(K_A - \lambda^* K_B) x^* = \nu^* x^*$$
donde $\lambda^* \geq 0$ es un multiplicador de Lagrange. Esto permite que KODA resuelva el problema mediante una búsqueda unidimensional sobre $\lambda$: para cada $\lambda$, se computa el autovector principal de $K_A - \lambda K_B$ y se verifica si satisface la restricción $x^\top K_B x \leq \epsilon$.

Para extraer múltiples modos de discrepancia, KODA resuelve este problema iterativamente, imponiendo ortogonalidad a las direcciones previamente encontradas utilizando una matriz de proyección $P = I - UU^\top$.

2.3. Escalabilidad mediante Bloques de Covarianza y Características Aleatorias

La descomposición de autovalores directa de matrices de núcleo $n \times n$ es computacionalmente prohibitiva para grandes conjuntos de datos ($n \gtrsim 20,000$). KODA aborda esto aprovechando representaciones de características explícitas (por ejemplo, Características de Fourier Aleatorias para kernels invariantes al desplazamiento).
Si $K_A = \Phi_A \Phi_A^\top$ y $K_B = \Phi_B \Phi_B^\top$ con dimensiones de características $d_1, d_2 \ll n$, el cómputo del autovector para $K_A - \lambda K_B$ se reduce a un problema de autovalores de tamaño $(d_1 + d_2) \times (d_1 + d_2)$ que involucra bloques de covarianza:
$$M_\lambda = \begin{bmatrix} \Phi_A^\top \Phi_A & \Phi_A^\top \Phi_B \\ -\lambda \Phi_B^\top \Phi_A & -\lambda \Phi_B^\top \Phi_B \end{bmatrix}$$
Esto reduce la complejidad de $O(n^2)$ a $O(n(d_1+d_2))$, permitiendo la aplicación a conjuntos de datos a gran escala.

2.4. Extensión a Embeddings Multimodales

Para datos emparejados (por ejemplo, imagen-texto), KODA construye un núcleo multimodal unificado utilizando la formulación de producto de núcleos (product-kernel):
$$k((u, v), (u', v')) = k_x(u, u') \cdot k_t(v, v')$$
donde $k_x$ y $k_t$ son kernels específicos de cada modalidad. La matriz de kernel resultante es el producto de Hadamard de las matrices de kernel unimodales ($K = K_x \odot K_t$). Para manejar el espacio de características de producto de tensor (que escala como $d_x d_t$), KODA emplea Características de Fourier Aleatorias (RFF) Conjuntas. Esto aproxima el kernel de producto con un mapa de características de dimensión $2r$, proporcionando garantías teóricas sobre la estabilidad de los espacios propios principales respecto al verdadero kernel de producto.

3. Contribuciones Clave

1. Tarea de Agrupamiento de Embeddings Contrastivos: El artículo formaliza la identificación de subconjuntos de muestras que están fuertemente agrupadas en un embedding pero débilmente en otro como un problema de optimización con restricciones, distinto del análisis de diferencia global.
2. Algoritmo KODA: Un marco de optimización basado en núcleos que resuelve esta tarea mediante un programa cuadrático con restricciones, admitiendo una solución eficiente a través de computaciones espectrales estructuradas.
3. Implementación Escalable: El desarrollo de reducciones por bloques de covarianza y aproximaciones de características de Fourier aleatorias conjuntas permite que KODA escale a grandes conjuntos de datos de visión-lenguaje sin la construcción explícita de matrices de kernel masivas.
4. Direcciones de Discrepancia Interpretables: El método produce direcciones interpretables asociadas con subconjuntos de muestras específicos e interacciones de modalidades, facilitando la curación de datos dirigida y el alineamiento de modelos.

4. Resultados Experimentales

Los autores evaluaron KODA en conjuntos de datos unimodales (ImageNet, FFHQ, AFHQ) y multimodales (MS-COCO) utilizando modelos que incluyen CLIP, DINOv2, BLIP, OpenCLIP, SigLIP y SigLIP2.

• Descubrimiento de Discrepancias: KODA identificó con éxito estructuras de discrepancia consistentes e interpretables. Por ejemplo, en FFHQ, encontró direcciones donde DINOv2 agrupaba muestras de manera coherente (por ejemplo, atributos faciales específicos) mientras que CLIP no lo hacía. En MS-COCO, identificó pares imagen-texto donde BLIP formaba estructuras conjuntas más claras que CLIP (por ejemplo, acciones deportivas específicas como el béisbol o el surf).
• Comparación con Baselines: En entornos unimodales, KODA superó al baseline SPEC en la búsqueda de múltiples modos de discrepancia. Las métricas cuantitativas (Cociente de Rayleigh Generalizado) mostraron que las direcciones de KODA tenían puntuaciones de asimetría significativamente más altas (por ejemplo, ~20 veces más fuertes en cuantiles bajos de restricción) en comparación con SPEC.
• Alineamiento de Representaciones: El artículo demuestra que los subconjuntos de muestras identificados por KODA pueden usarse para el alineamiento de embeddings contrastivos. El ajuste fino (fine-tuning) de CLIP en las porciones seleccionadas por KODA (donde CLIP era débil y DINOv2/BLIP eran fuertes) mejoró significativamente las métricas de alineamiento (AMI, NMI, ARI) en esas porciones específicas, acercando la geometría del modelo alineado a la del modelo objetivo.
• Análisis de Recuperación: En MS-COCO, el subconjunto seleccionado por KODA amplificó la brecha de rendimiento entre modelos (por ejemplo, CLIP vs. SigLIP), revelando que SigLIP mantenía un mejor rendimiento de recuperación en las porciones de discrepancia específicas donde CLIP tenía dificultades.

5. Significación y Limitaciones

Significación:
El artículo afirma que KODA proporciona un método no supervisado y principiado para comparar modelos fundacionales más allá de las métricas agregadas de uso posterior. Al localizar las discrepancias en subconjuntos de muestras específicos, soporta:

• Interpretabilidad: Comprender dónde y por qué los modelos difieren estructuralmente.
• Selección de Modelos y Depuración: Identificar subconjuntos de datos específicos donde un modelo rinde por debajo de un referente.
• Alineamiento Dirigido: Utilizar las porciones de discrepancia descubiertas como datos accionables para el ajuste fino con el fin de alinear representaciones.

Limitaciones:
Los autores señalan que KODA:

• Requiere un conjunto de datos de referencia compartido muestreado de una distribución subyacente.
• Se enfoca en el descubrimiento de discrepancias no supervisado basado en la geometría inducida por el kernel, sin aprovechar tareas de uso posterior etiquetadas.
• Las direcciones de trabajo futuro incluyen la extensión del marco a conjuntos de datos no emparejados, nociones de discrepancia supervisadas y garantías estadísticas más fuertes para la interpretación de agrupamientos.

El código está disponible públicamente en https://github.com/yokiwuuu/KODA.