GSVD for Geometry-Grounded Dataset Comparison: An Alignment Angle Is All You Need

Este artículo propone el uso de la descomposición en valores singulares generalizada (GSVD) para comparar conjuntos de datos basándose en su geometría subyacente, derivando una "puntuación angular" interpretable que diagnostica si una muestra se explica mejor por uno u otro conjunto de datos o por ambos.

Lo esencial

¡Claro que sí! Imagina que tienes dos grandes cajas de juguetes. Una caja contiene solo coches de juguete (el conjunto de datos A) y la otra solo muñecas (el conjunto de datos B).

El problema es que ambos tipos de juguetes están mezclados en la misma habitación y a veces se parecen: un coche con ruedas redondas y una muñeca con una cabeza redonda podrían confundirse si solo miramos "redondez".

Los autores de este paper quieren una forma inteligente de decir: "¿Este juguete nuevo que acabo de encontrar es más parecido a los coches o a las muñecas?", pero sin usar un cerebro de IA complejo, sino usando geometría (formas y espacios).

Aquí tienes la explicación de su método, el GSVD, usando analogías sencillas:

1. El Problema: ¿De qué caja viene esto?

Normalmente, para comparar dos grupos de datos, los científicos entrenan a un robot para que memorice cómo se ven los coches y las muñecas. Pero eso es como enseñar a un perro a ladrar solo cuando ve un coche; no entiende por qué son diferentes.

Estos autores dicen: "No necesitamos memorizar. Solo necesitamos entender la forma geométrica de cada caja".

• Imagina que los coches forman una nube de puntos en el espacio que se estira más hacia el "norte".
• Las muñecas forman otra nube que se estira más hacia el "este".

2. La Herramienta Mágica: El "Espejo Compartido" (GSVD)

Para comparar estas nubes, usan una herramienta matemática antigua pero poco usada llamada GSVD (Descomposición en Valores Singulares Generalizada).

Imagina que el GSVD es como un espejo mágico que colocamos en medio de las dos cajas.

• Este espejo no solo refleja los coches y las muñecas, sino que crea un lenguaje común para describirlos.
• En este lenguaje, el espejo nos dice: "Mira, hay una dirección donde los coches brillan mucho y las muñecas casi nada (es pura geometría de coche). Hay otra dirección donde las muñecas brillan y los coches no (pura geometría de muñeca). Y hay una dirección en el medio donde ambos brillan igual (es algo que comparten, como tener ruedas o brazos)".

3. La Medida: El "Ángulo de Alineación" (θ)

Aquí viene la parte genial. Para cada nuevo juguete (un dato nuevo), el método calcula un ángulo (llamado $\theta$). Piensa en este ángulo como la posición de una aguja de brújula:

• Si la aguja apunta a 0° (Cero grados): El juguete está totalmente alineado con los coches. La geometría del coche explica este objeto perfectamente.
• Si la aguja apunta a 90° (Noventa grados): El juguete está totalmente alineado con las muñecas.
• Si la aguja apunta a 45° (Cuarenta y cinco grados): ¡Está en el medio! El juguete tiene características de ambos. Es un "híbrido" o un caso confuso donde ambas cajas explican el objeto por igual.

La analogía de la "Costumbre":
Imagina que para describir un objeto, los coches cobran una "tarifa" (costo) y las muñecas cobran otra.

• Si la tarifa de los coches es muy barata (el objeto encaja bien en su forma) y la de las muñecas es cara, el ángulo será pequeño (cerca de 0°).
• Si la tarifa de las muñecas es barata y la de los coches cara, el ángulo será grande (cerca de 90°).
• El ángulo nos dice: "¿Quién explica mejor este objeto con menos esfuerzo?".

4. ¿Para qué sirve esto? (La Prueba en MNIST)

Los autores probaron esto con números escritos a mano (el famoso conjunto de datos MNIST).

• Compararon el número 1 con el 5.
  • Resultado: Los ángulos de los 1s apuntaban casi todos a 0° y los de los 5s a 90°. ¡Estaban muy separados! Geométricamente, son muy distintos.
• Compararon el número 4 con el 9.
  • Resultado: ¡Muchos ángulos estaban cerca de 45°! Esto significa que geométricamente, un 4 y un 9 se parecen mucho en su estructura (ambos tienen líneas verticales y curvas), y es difícil decir cuál es cuál solo mirando la forma pura.

5. El Hallazgo Visual: "Los Juguetes Extremos"

Además de clasificar, el método puede "dibujar" lo que es un coche o una muñeca en su forma más pura.

• Pueden encontrar la imagen matemática de un "coche perfecto" (lo más parecido a 0°) y una "muñeca perfecta" (lo más parecido a 90°).
• Si miras estas imágenes generadas por el algoritmo, verás que el "4 perfecto" se ve como un 4 muy claro, y el "9 perfecto" como un 9 muy claro. Esto ayuda a los humanos a entender qué está viendo la máquina.

En Resumen

Este paper nos dice que no siempre necesitamos redes neuronales profundas y complejas para entender datos. A veces, solo necesitamos medir el ángulo entre dos formas geométricas.

• Ángulo pequeño: "Esto es más de la caja A".
• Ángulo grande: "Esto es más de la caja B".
• Ángulo medio: "Esto es una mezcla o una zona gris".

Es una forma elegante, transparente y matemática de decir: "Mira, este dato pertenece a este grupo porque su forma geométrica encaja mejor aquí que allá". ¡Y todo se resume en un solo número: el ángulo!

Resumen técnico

Resumen Técnico: Comparación de Conjuntos de Datos Basada en Geometría mediante GSVD

1. Planteamiento del Problema

La comparación de conjuntos de datos es fundamental en el aprendizaje automático (por ejemplo, para detectar cambios de distribución o comparar representaciones). Sin embargo, los métodos actuales suelen comparar datos de forma indirecta (a través de modelos entrenados o distancias de incrustación), lo que a menudo oculta las razones geométricas subyacentes de por qué dos conjuntos son similares o diferentes.

El problema central es: ¿Cómo comparar dos conjuntos de datos ($A$ y $B$) respetando su estructura geométrica intrínseca sin requerir correspondencias punto a punto entre las muestras? La hipótesis de los autores es que muchos datos reales se concentran cerca de estructuras de baja dimensión y comparten factores latentes parciales, pero también poseen direcciones específicas de cada dominio.

2. Metodología Propuesta

Los autores proponen un enfoque basado en la geometría del espacio de características común, utilizando una primitiva lineal y una descomposición matricial avanzada.

A. La Primitiva: Relación de Co-Espacio (Co-span)
En lugar de buscar una transformación directa entre muestras, se define la similitud a través de la relación lineal:
$$Ax = By = z$$
Donde:

• $A \in \mathbb{R}^{d \times p}$ y $B \in \mathbb{R}^{d \times q}$ son las matrices de los dos conjuntos de datos.
• $z \in \mathbb{R}^d$ es un vector en el espacio ambiente compartido.
• $x$ e $y$ son coeficientes.
  Esta relación encodifica la compatibilidad en el espacio ambiente sin exigir que cada muestra de $A$ tenga un par exacto en $B$.

B. El Motor Matemático: Descomposición de Valores Singulares Generalizada (GSVD)
Para operacionalizar esta comparación, se utiliza la GSVD como un sistema de coordenadas conjunto para los subespacios de $A$ y $B$. La descomposición se expresa como:
$$A = HCU, \quad B = HSV, \quad C^\top C + S^\top S = I$$

• $H$: Define un marco de referencia ambiental compartido (invertible o con inversa izquierda).
• $C$ y $S$: Matrices diagonales (o bloques diagonales) que cuantifican la fuerza con la que cada dirección compartida contribuye a $A$ versus $B$.
• Estructura de bloques: Los elementos diagonales de $C$ disminuyen mientras que los de $S$ aumentan. Esto separa explícitamente:
  • Direcciones explicadas principalmente por $A$ (donde $C$ domina).
  • Direcciones explicadas principalmente por $B$ (donde $S$ domina).
  • Estructura compartida (donde $C$ y $S$ tienen magnitudes comparables).

C. La Métrica Clave: Ángulo de Alineación $\theta(z)$
Se deriva una puntuación interpretable por muestra, el ángulo de alineación $\theta(z) \in [0, \pi/2]$, definida como:
$$\theta(z) = \arctan\left(\frac{\|x\|_2}{\|y\|_2}\right)$$
Donde $x$ e $y$ son los coeficientes de mínima norma $\ell_2$ que satisfacen $Ax=By=z$. En la práctica, se calcula eficientemente usando los factores de la GSVD:
$$\theta(z) = \arctan\left(\frac{\|C^\dagger c(z)\|_2}{\|S^\dagger c(z)\|_2}\right)$$
donde $c(z) = H^\dagger z$.

Interpretación del ángulo:

• $\theta(z) \approx 0$: La muestra $z$ es explicada más eficientemente por el conjunto $A$ ("más A").
• $\theta(z) \approx \pi/2$: La muestra $z$ es explicada más eficientemente por el conjunto $B$ ("más B").
• $\theta(z) \approx \pi/4$: La muestra tiene una fuerza explicativa comparable en ambos, indicando estructura compartida.

3. Contribuciones Clave

1. Primitiva Geométrica: Propone la relación de co-espacio ($Ax=By=z$) como un método minimalista y fundamentado en la geometría para comparar conjuntos de datos, evitando la necesidad de correspondencias de instancias.
2. Marco Conjunto GSVD: Utiliza la GSVD para crear un sistema de coordenadas donde las direcciones compartidas y específicas de cada conjunto son explícitas mediante las matrices $C$ y $S$.
3. Puntuación de Diagnóstico $\theta(z)$: Deriva un ángulo interpretable que cuantifica la alineación relativa por muestra. Esto permite diagnósticos a nivel de instancia (¿pertenece esta muestra más a la geometría de A o de B?).
4. Direcciones Extremas Representativas: Proporciona un método para encontrar vectores $z$ que maximizan o minimizan $\theta(z)$, revelando visualmente las direcciones "más A", "más B" y las compartidas dentro del espacio de características.

4. Resultados Experimentales (MNIST)

Los autores validaron el método en el conjunto de datos MNIST (dígitos escritos a mano):

• Distribuciones de Ángulos: Se construyeron matrices $A$ y $B$ con imágenes de dos dígitos diferentes (ej. "1" vs "5").
  • Para pares geométricamente distintos (ej. 1 vs 5, 0 vs 7), las distribuciones de $\theta(z)$ se separan claramente: las muestras de la clase A se agrupan cerca de 0, y las de B cerca de $\pi/2$.
  • Para pares visualmente similares (ej. 4 vs 9), las distribuciones muestran una mayor superposición cerca de $\pi/4$, reflejando una mayor ambigüedad geométrica y estructura compartida.
• Visualización de Direcciones: Se reconstruyeron imágenes a partir de las columnas extremas de la matriz $H$.
  • Las direcciones extremas mostraron patrones típicos de los dígitos (ej. bordes afilados para el "4", curvas para el "9").
  • Las direcciones intermedias mostraron representaciones mezcladas que capturan la estructura común entre ambos dígitos.
• Clasificación Binaria: Se implementó un clasificador simple basado en un umbral $\tau = \pi/4$. Aunque no se presenta como un clasificador de vanguardia, demuestra la utilidad del ángulo como herramienta de diagnóstico interpretable.
• Geometría de Información: Se estableció una conexión teórica entre el ángulo $\theta$ y la distancia de Fisher-Rao entre distribuciones de probabilidad. La distancia entre los histogramas de ángulos de dos clases sirve como una métrica escalar de separabilidad geométrica global.

5. Significado e Implicaciones

• Interpretabilidad: A diferencia de las métricas de distancia de distribución "caja negra" (como MMD o FID), este método proporciona una explicación geométrica directa: ¿por qué una muestra se parece más a un conjunto que a otro?
• Diagnóstico de Datos: Es una herramienta poderosa para auditar conjuntos de datos, identificar muestras atípicas (outliers) que no encajan bien en ninguna geometría, o detectar ambigüedad entre clases.
• Independencia del Modelo: El método opera directamente sobre las matrices de datos (o sus incrustaciones), sin depender de un modelo de aprendizaje profundo específico, aunque es aplicable a las representaciones aprendidas por estos modelos.
• Limitaciones y Futuro: El enfoque actual asume una relación lineal y tiene un costo computacional de $O(d^3)$ para la GSVD, lo que puede ser un cuello de botella para bases de datos masivas. El trabajo futuro se dirige a extenderlo a múltiples dominios y a optimizar la estabilidad numérica frente al ruido.

En conclusión, el artículo demuestra que un simple ángulo de alineación derivado de la GSVD es suficiente para descomponer, comparar y diagnosticar la relación geométrica entre dos conjuntos de datos, ofreciendo una alternativa transparente y matemáticamente sólida a los métodos de comparación actuales.