Central subspace data depth

Este artículo presenta un marco general para construir profundidades de datos que se maximizan en un subespacio, definiendo así un ordenamiento de centro a exterior desde dicho subespacio para distribuciones simétricas respecto a él, y analiza sus propiedades teóricas, convergencia asintótica y aplicaciones en reducción de dimensionalidad y detección de fraudes.

Lo esencial

¡Hola! Vamos a desglosar este artículo científico de una manera muy sencilla, como si estuviéramos tomando un café y charlando sobre cómo entender mejor los datos.

Imagina que tienes una caja llena de canicas de colores esparcidas sobre una mesa. Si quieres saber dónde está el "centro" de esa caja, lo normal es buscar el punto exacto en medio de todas las canicas. A eso, los estadísticos le llaman "profundidad de datos". Es como un mapa de calor: cuanto más cerca del centro estás, más "profundo" (y seguro) estás; cuanto más lejos, más "superficial" (y sospechoso) eres.

El problema: ¿Y si el centro no es un punto, sino una línea?

El artículo de Giacomo Francisci y Claudio Agostinelli nos dice: "Oye, a veces el centro no es un punto, ¡es una línea!".

La analogía de la autopista:
Imagina que tienes un montón de coches en un mapa. Si todos los coches van por una autopista recta, el "centro" de tu tráfico no es un punto fijo en medio del campo (donde no hay coches), sino la carretera misma.

• Si usas el método antiguo (buscar un punto), te dirá que el centro es un punto en medio de la carretera, pero eso no tiene mucho sentido.
• El nuevo método de estos autores busca la carretera (el subespacio) como el centro.

¿Para qué sirve esto? (El ejemplo del fraude)

Los autores usan un ejemplo real para explicarlo: el comercio internacional de la Unión Europea.

Imagina que un país importa toneladas de pescado. Normalmente, si importas más pescado (peso), pagas más dinero (valor). Si graficas esto, verás que los datos forman una línea recta ascendente.

• La línea recta: Representa el comercio "normal" y honesto.
• Los puntos fuera de la línea: Son los sospechosos.

Si un importador declara que trajo 100 toneladas de pescado pero solo pagó 10 euros (en lugar de los 10.000 euros que debería), ese punto estará muy lejos de la línea.

• Con el método antiguo (buscar un punto central), ese fraude podría parecerse a otros datos normales si el "centro" está mal calculado.
• Con el nuevo método (profundidad de subespacio central), el sistema dice: "¡Espera! La línea recta es el centro. Ese punto está muy lejos de la línea, ¡es un fraude!".

Es como si en lugar de buscar el centro de una mancha de aceite, buscáramos el centro de un río. Si alguien está flotando en medio del río, está "profundo". Si alguien está en la orilla seca, está "superficial" y fuera de lugar.

¿Cómo funciona la magia?

1. Buscan la "autopista": El algoritmo gira y busca la dirección donde los datos se alinean mejor (donde hay menos "desorden" o dispersión). Esa dirección es su "subespacio central".
2. Miden la distancia a la autopista: En lugar de medir la distancia a un punto, miden qué tan lejos está cada dato de esa línea central.
3. Detectan anomalías: Los datos que están muy lejos de la línea (muy "superficiales" respecto a la línea) son los que llaman la atención.

¿Por qué es importante?

• Es más inteligente: Reconoce que los datos del mundo real a menudo siguen patrones lineales (como precios vs. cantidades) y no solo se agrupan en una bola redonda.
• Es robusto: Funciona incluso si los datos son raros o tienen formas extrañas, sin necesidad de asumir que siguen una distribución perfecta (como la campana de Gauss).
• Aplicación real: Ayuda a las autoridades a detectar fraudes aduaneros mucho mejor que los métodos antiguos, identificando quién está declarando precios demasiado bajos para evadir impuestos.

En resumen

Imagina que eres un detective.

• El método viejo te dice: "El centro de la ciudad es la Plaza Mayor. Si alguien está lejos de la plaza, es sospechoso".
• El método nuevo te dice: "La gente se mueve por las calles principales. El centro no es la plaza, ¡son las calles! Si alguien está en medio de un campo de cultivo, ¡eso es sospechoso!".

Este artículo nos da las herramientas matemáticas para encontrar esas "calles principales" (subespacios) en medio del caos de los datos y detectar a los que no deberían estar ahí. ¡Es una forma muy elegante de limpiar el ruido y encontrar la verdad oculta!

Resumen técnico

Aquí presento un resumen técnico detallado del artículo "Central subspace data depth" (Profundidad de datos en subespacio central), escrito por Giacomo Francisci y Claudio Agostinelli.

1. Planteamiento del Problema

La profundidad de datos estadísticos (statistical data depth) es una herramienta fundamental en el análisis de datos multivariados que permite ordenar las observaciones desde el centro hacia afuera, definiendo regiones centrales y medidas de dispersión robustas. Tradicionalmente, estas definiciones asumen que la distribución de los datos posee un centro puntual (un subespacio de dimensión cero, $p=0$) alrededor del cual se organiza la simetría.

Sin embargo, el artículo identifica una limitación crítica: en muchas aplicaciones del mundo real, los datos no se agrupan alrededor de un punto, sino que exhiben una estructura lineal o de subespacio. Un ejemplo citado es el comercio internacional de la Unión Europea, donde los precios y pesos de productos importados a menudo siguen una estructura lineal. En estos casos, forzar un centro puntual (como hace la profundidad de datos estándar) distorsiona el ordenamiento y la detección de valores atípicos (outliers). El problema central es cómo definir una medida de profundidad que tenga su máximo valor en un subespacio de dimensión $p > 0$ en lugar de en un punto, y cómo utilizar esto para detectar fraudes o anomalías en datos con estructuras lineales.

2. Metodología

Los autores proponen un marco general para construir profundidades de datos en subespacio central (Central Subspace Data Depths). La metodología se basa en los siguientes pilares:

• Definición de Simetría en Subespacios: Extienden los conceptos clásicos de simetría (esférica, elíptica, central, etc.) para que sean válidos respecto a un subespacio afín $S_p$ de dimensión $p$. Una variable aleatoria $X$ es simétrica respecto a $S_p$ si su proyección ortogonal sobre el subespacio complementario $S_q$ (donde $q = m - p$) es simétrica en el sentido univariante o multivariante estándar.
• Medida de Dispersión Basada en Profundidad: Utilizan una medida de dispersión $\sigma(F)$ definida como la integral de la función de profundidad sobre el espacio (concepto introducido por Romanazzi, 2009).
  $$\sigma(F) = \int_{\mathbb{R}^m} d(x, F) \, dx$$
• Identificación del Subespacio Central: El método busca el subespacio $S_q$ (y su ortogonal $S_p$) que minimiza la medida de dispersión de la proyección de los datos sobre $S_q$.
  • El subespacio $S_p$ donde la dispersión es mínima se denomina Subespacio Central.
  • La profundidad de un subespacio $S_p(y)$ se define como la profundidad del punto $y$ en la distribución proyectada sobre el subespacio ortogonal $S_q$.
• Selección de la Dimensión Óptima ($p$): Proponen un algoritmo recursivo para determinar la dimensión óptima del subespacio central. Se realiza una prueba de uniformidad (Test de Rayleigh) sobre las direcciones óptimas encontradas en muestras aleatorias. Si la proyección sobre el subespacio ortogonal resultante es esféricamente simétrica (no hay dirección preferente), se detiene el proceso y se fija la dimensión $p^*$.
• Profundidades Específicas: El marco es general, pero se ilustra principalmente utilizando la profundidad de semiespacio (Halfspace Depth) y la profundidad simplicial (Simplicial Depth).

3. Contribuciones Clave

1. Generalización Teórica: Introducen formalmente la noción de profundidad de datos centrada en un subespacio ($p \ge 0$), relajando la invarianza afín total a invarianza bajo traslación, escala, rotación y reflexión, lo cual es adecuado para estructuras de subespacios.
2. Equivalencia con PCA en Distribuciones Elípticas: Demuestran teóricamente (Proposición 1) que, para distribuciones elípticamente simétricas, el procedimiento de minimización de la dispersión basada en profundidad es equivalente al Análisis de Componentes Principales (PCA). Esto conecta la metodología no paramétrica con técnicas clásicas, pero con la ventaja de no requerir la existencia de momentos de segundo orden (covarianza).
3. Propiedades Asintóticas y de Convergencia: Estudian las propiedades analíticas de la medida de dispersión, incluyendo:
   • Finitud bajo condiciones de momentos fraccionarios (útil para distribuciones de cola pesada como la t-Student con $\nu \le 2$).
   • Continuidad respecto a la distribución de probabilidad.
   • Convergencia casi segura de las versiones muestrales a las poblacionales.
4. Aplicación a la Detección de Fraude Aduanero: Desarrollan una aplicación práctica para identificar declaraciones fraudulentas de aduanas en la UE. La lógica es que las transacciones legítimas siguen una estructura lineal (subespacio central), mientras que las transacciones fraudulentas (subvaluación de precios) se desvían significativamente de este subespacio, apareciendo como valores atípicos en la proyección ortogonal.

4. Resultados Principales

• Simulaciones: En escenarios simulados con distribuciones normales y uniformes, el método logra identificar correctamente la dimensión del subespacio central y los vectores base, superando o igualando a métodos tradicionales cuando la estructura de los datos es lineal.
• Conjunto de Datos Iris: Al aplicar el método al conjunto de datos Iris, la proyección basada en la maximización de la dispersión (equivalente a minimizar la dispersión en el complemento) logra una separación de clases (especialmente Iris Setosa) comparable o superior a la del primer componente del PCA, con un 95.3% de aciertos en el agrupamiento jerárquico frente al 90% del PCA en este caso específico.
• Datos de Pesca y Comercio (POD):
  • En los datos de importación de la UE (POD 33, POD 19, etc.), la profundidad de datos estándar ($p=0$) falla en capturar la estructura lineal, colocando el "centro" en un punto que no representa la tendencia general.
  • La profundidad en subespacio central ($p=1$) identifica correctamente la línea de tendencia (precio vs. peso).
  • Esto permite una detección mucho más precisa de fraudes: los puntos que se desvían de la línea de máxima profundidad (subespacio central) son identificados como outliers con alta confianza, correspondiendo a transacciones con precios inusualmente bajos (posible evasión de aranceles).
  • La visualización muestra que las observaciones fraudulentas (rojo/azul) quedan claramente separadas en la proyección ortogonal, algo que no se logra con la profundidad puntual.

5. Significado e Impacto

El trabajo de Francisci y Agostinelli es significativo por varias razones:

• Flexibilidad Estructural: Permite analizar datos que violan la suposición de un centro puntual, lo cual es común en series temporales, datos financieros y, crucialmente, en datos de comercio internacional donde las relaciones precio-cantidad suelen ser lineales.
• Robustez No Paramétrica: A diferencia del PCA, que depende de la matriz de covarianza y falla en distribuciones con colas pesadas o sin varianza finita, este método es completamente no paramétrico y robusto, funcionando bien incluso con distribuciones de tipo $t$ o estables.
• Herramienta de Detección de Fraude: Proporciona un marco matemático riguroso para la detección de anomalías en contextos regulatorios. Al modelar el "comportamiento normal" como un subespacio en lugar de un punto, se reduce la tasa de falsos positivos y se mejora la detección de manipulaciones de precios en aduanas.
• Puente entre Profundidad y Reducción de Dimensionalidad: Establece una conexión teórica sólida entre las funciones de profundidad estadística y las técnicas de reducción de dimensionalidad (como PCA y Proyección Pursuit), ofreciendo una alternativa robusta para la exploración de datos multivariados complejos.

En resumen, el artículo presenta una generalización poderosa de la profundidad de datos que adapta la noción de "centro" a la estructura intrínseca de los datos (subespacios), mejorando tanto el análisis descriptivo como la detección de anomalías en escenarios donde la linealidad es la norma y no la excepción.