Resumen Técnico: Un Algoritmo k–NN basado en la Divergencia de Jensen-Shannon para la Imputación de Valores Faltantes en Datos Composicionales

1. Planteamiento del Problema

Los datos composicionales, definidos como vectores multivariantes no negativos que suman una constante (típicamente 1), residen en un espacio muestral de simplex estándar ($S^{D-1}$). Los valores faltantes en dichos datos plantean desafíos únicos, ya que las técnicas de imputación estándar a menudo no respetan la geometría restrictiva del simplex o requieren transformaciones log-ratio que no pueden manejar valores cero.

Los métodos existentes, como el algoritmo k–NN propuesto por Hron et al. (2010), dependen de la distancia de Aitchison. Sin embargo, la distancia de Aitchison requiere transformaciones log-ratio, lo que la hace inaplicable a conjuntos de datos que contienen ceros (ya sean redondeados o estructurales). Además, los enfoques tradicionales suelen asumir una estructura paramétrica específica o requieren modelos de regresión iterativos que pueden ser computacionalmente intensivos. Este artículo aborda la necesidad de un método de imputación flexible y no paramétrico que:

1. Opera directamente sobre el simplex sin transformaciones log-ratio.
2. Acomoda naturalmente los valores cero.
3. Ofrece eficiencia computacional y flexibilidad en el manejo de patrones de valores faltantes.

2. Metodología

La solución propuesta es un novedoso algoritmo JSD k–NN, extendido con una generalización de la media de Fréchet y un mecanismo adaptativo.

2.1 Métrica de Distancia: Divergencia de Jensen-Shannon (JSD)

En lugar de la distancia de Aitchison, el algoritmo utiliza la divergencia de Jensen-Shannon (JSD) para medir las distancias entre vectores composicionales.

• Definición: Para dos composiciones $x$ e $y$, $JSD(x, y) = \sum_{j=1}^D \left( x_j \log \frac{2x_j}{x_j+y_j} + y_j \log \frac{2y_j}{x_j+y_j} \right)$.
• Ventajas: A diferencia de la distancia de Aitchison, la JSD trata los valores cero de manera natural (ya que $0 \log 0 = 0$), eliminando la necesidad de estrategias de reemplazo de ceros. Es una métrica (la raíz cuadrada satisface la desigualdad triangular) y está acotada.

2.2 El Algoritmo JSD k–NN

El algoritmo central sigue un procedimiento no paramétrico de seis pasos:

1. Selección: Elegir el número de vecinos más cercanos, $k$.
2. Separación: Dividir los datos en vectores incompletos ($X_M$) y vectores completos ($X_O$).
3. Normalización: Para un vector incompleto, normalizar los componentes observados para que sumen 1. De manera similar, normalizar los componentes correspondientes en los vectores completos.
4. Cálculo de Distancia: Calcular la JSD entre los componentes observados normalizados del vector incompleto y todos los vectores completos.
5. Selección de Vecinos: Identificar los $k$ vectores completos con las distancias JSD más pequeñas.
6. Imputación: Calcular la media de los $k$ vecinos más cercanos. Los componentes faltantes se estiman tomando la media aritmética de los componentes correspondientes en los $k$ vecinos, normalizándolos y escalándolos por la suma de los componentes observados en el vector incompleto original.

2.3 Extensión 1: JSD $\alpha$–k–NN (Media de Fréchet)

Para aumentar la flexibilidad, la media aritmética utilizada en el Paso 5 se reemplaza por la media muestral de Fréchet definida por Tsagris et al. (2011):
$$\hat{\mu}_\alpha(x) = C \left\{ \left( \sum_{i=1}^n \frac{x_{ij}^\alpha}{\sum_{k=1}^D x_{kj}^\alpha} \right)^{1/\alpha} \right\}_{j=1,\dots,D}$$
donde $\alpha$ es un hiperparámetro ajustable.

• Propiedades: A medida que $\alpha \to 0$, converge a la media geométrica; en $\alpha = 1$, es la media aritmética. Esto permite que el algoritmo se adapte a la distribución de los datos sin transformaciones log-ratio.

2.4 Extensión 2: JSD $\alpha$–k–NN Adaptativo

Reconociendo que los patrones de valores faltantes pueden variar (por ejemplo, la falta de datos relacionada con magnitudes específicas de componentes), los autores proponen un enfoque adaptativo donde los hiperparámetros ($\alpha$ y $k$) se ajustan por separado para cada patrón de falta de datos distinto observado en los datos, en lugar de utilizar un único par global.

2.5 Ajuste de Hiperparámetros

Los valores óptimos para $k$ y $\alpha$ se determinan mediante un protocolo de validación cruzada repetida leave-N-out. La métrica de rendimiento es la distancia (distancia de Aitchison si no hay ceros presentes; JSD si hay ceros presentes) entre los valores reales y los valores imputados en el conjunto de prueba.

3. Contribuciones Clave

1. Imputación Tolerante a Ceros: El método es el primer enfoque k–NN para datos composicionales que no requiere transformaciones log-ratio, manejando así tanto ceros redondeados como estructurales de forma nativa.
2. Flexibilidad No Paramétrica: Al utilizar la JSD y la media de Fréchet, el método evita suposiciones paramétricas restrictivas sobre la estructura de los datos.
3. Eficiencia Computacional: El algoritmo es significativamente más rápido que los métodos competidores basados en regresión iterativa (específicamente los del paquete robCompositions).
4. Marco Adaptativo: La introducción de un mecanismo adaptativo permite que los hiperparámetros se ajusten a patrones de falta de datos específicos, aunque el artículo señala que esto añade complejidad computacional.

4. Resultados de Estudios de Simulación

Los autores evaluaron los algoritmos utilizando cuatro conjuntos de datos del mundo real: Vinos (sin ceros), Hidroquímicos (sin ceros), Ácidos Grasos de Presa (contiene ceros y clases de especies) y FADN (datos agrícolas con ceros y escenarios de desagregación/agregación).

• Precisión (Sin Ceros): En los conjuntos de datos Vinos e Hidroquímicos, el JSD $\alpha$–k–NN (con $\alpha$ óptimo) superó al JSD k–NN estándar en un 12% y un 2% respectivamente, medido por la distancia de Aitchison. Ambos métodos propuestos superaron a los algoritmos competidores de Hron et al. (2010) (rob k–NN, lm, ltsReg).
• Precisión (Con Ceros): En el conjunto de datos Ácidos Grasos de Presa, el JSD k–NN mejoró el rendimiento en un 22% sobre el robusto k–NN (Hron et al., 2010) utilizando distancia euclidiana. El JSD $\alpha$–k–NN proporcionó una mejora adicional del 3,5%. La versión adaptativa no produjo ganancias adicionales en este caso específico.
• Escenario de Desagregación: En el conjunto de datos FADN (simulando la desagregación de datos agrícolas agregados), el JSD k–NN superó al robusto k–NN en un 15%. Las extensiones $\alpha$ y adaptativa no mostraron mejora adicional aquí.
• Costo Computacional: El JSD k–NN fue significativamente más rápido que el robusto k–NN. Los factores de aceleración oscilaron entre aproximadamente 6x y 25x, dependiendo del tamaño de la muestra y la dimensionalidad. La aceleración fue más pronunciada en dimensiones más altas y tamaños de muestra más bajos.

5. Significado y Afirmaciones

El artículo afirma que el propuesto algoritmo JSD k–NN ofrece una alternativa robusta, precisa y computacionalmente eficiente para la imputación de valores faltantes en datos composicionales. Su principal significado radica en su capacidad para manejar valores cero sin modificación, una limitación crítica de los métodos existentes basados en log-ratio.

Los autores concluyen modestamente que, aunque la extensión JSD $\alpha$–k–NN adaptativa ofrece una mejora teórica al adaptar los parámetros a los patrones de falta de datos, no siempre mejora sustancialmente el rendimiento en la práctica. Sugieren que la complejidad añadida puede no valer la pena en todos los casos, particularmente cuando los patrones de falta son escasos. Sin embargo, el núcleo JSD k–NN y la extensión de la media de Fréchet (JSD $\alpha$–k–NN) demuestran consistentemente una precisión y eficiencia superiores en comparación con los métodos actuales de vanguardia.

El trabajo se posiciona como una herramienta práctica para campos como la ecología, la agricultura y las estadísticas oficiales, donde son prevalentes los datos composicionales con ceros y valores faltantes. Los autores reconocen que, aunque el método asume Datos Faltantes al Azar (MAR), no ha sido evaluado bajo escenarios de Datos No Faltantes al Azar (MNAR), que son comunes en las estadísticas oficiales.