Hyperparameter Learning for Latent Factorization of Tensors for Representation Learning to Large-scale Dynamic Weighted Directed Network

Resumen Técnico: Aprendizaje de Hiperparámetros para la Factorización de Factores Latentes de Tensores

Planteamiento del Problema
Las redes dirigidas ponderadas dinámicas (DWDN, por sus siglas en inglés) a gran escala son esenciales para modelar interacciones variables en el tiempo en dominios como la recomendación personalizada, el transporte inteligente y las infraestructuras de redes eléctricas. El método de Factorización de Factores Latentes de Tensores (LFT) se utiliza ampliamente para extraer representaciones latentes de estas redes, modelándolas como tensores de alta dimensión e incompletos (HDI) y realizando aproximaciones de bajo rango. Sin embargo, el rendimiento de LFT depende fuertemente de la selección de los hiperparámetros, específicamente los coeficientes de regularización ($\lambda_1, \lambda_2, \lambda_3$) asociados con las matrices de factores latentes. En la práctica actual, estos parámetros se determinan típicamente mediante el ajuste manual o la búsqueda en cuadrícula (grid search). Estos métodos tradicionales son computacionalmente costosos, ineficientes y requieren un esfuerzo humano significativo, fallando a menudo en identificar combinaciones de parámetros óptimas que minimicen los errores de predicción.

Metodología
Para abordar la ineficiencia del ajuste manual de hiperparámetros, este artículo propone DE-LFT, un marco de optimización de hiperparámetros automatizado basado en la Evolución Diferencial (DE). La metodología central consiste en integrar el algoritmo DE directamente en el proceso de entrenamiento del modelo LFT.

1. Formulación del Modelo: El modelo LFT aproxima las entradas observadas en un tensor de tercer orden (que representa la DWDN) utilizando tres matrices de factores latentes de bajo rango ($U, S, T$). La predicción para una entrada $\hat{x}_{u,s,t}$ se calcula como la suma de los productos de los factores latentes a través de la dimensión $K$.
2. Estrategia de Optimización: En lugar de parámetros de regularización fijos o buscados manualmente, el algoritmo DE actúa como una heurística basada en población. Este evoluciona iterativamente soluciones candidatas a través de operaciones de mutación, cruce y selección.
3. Función Objetivo: El algoritmo DE busca en el espacio de hiperparámetros para encontrar el conjunto óptimo de coeficientes de regularización ($\lambda_1, \lambda_2, \lambda_3$) que minimice el error de predicción, medido por el Error Absoluto Medio (MAE) y el Error Cuadrático Medio (RMSE).
4. Proceso de Entrenamiento: El modelo LFT se entrena utilizando el Descenso de Gradiente Estocástico (SGD), mientras que el algoritmo DE optimiza simultáneamente los parámetros de regularización para mejorar adaptativamente la precisión del modelo.

Contribuciones Clave

• Marco Automatizado: El artículo introduce un nuevo marco que automatiza la selección de parámetros de regularización para LFT, eliminando la dependencia del ajuste manual o de las búsquedas exhaustivas en cuadrícula.
• Integración de DE: Integra con éxito la Evolución Diferencial en el bucle de entrenamiento de la factorización de tensores, permitiendo que el modelo explore adaptativamente el espacio de hiperparámetros.
• Mejora del Rendimiento: El enfoque está diseñado para mejorar la precisión de la predicción al tiempo que reduce los costos computacionales asociados con el extenso ajuste de parámetros.

Resultados Experimentales
El método propuesto DE-LFT fue evaluado en cuatro conjuntos de datos de referencia de DWDN del mundo real. Los conjuntos de datos se dividieron en un 80% para entrenamiento y un 20% para prueba. Su rendimiento se comparó contra el LFT estándar con parámetros ajustados manualmente y el LFT con optimización por Búsqueda en Cuadrícula (Grid Search).

Los resultados, medidos por RMSE y MAE, indican que:

• La Búsqueda en Cuadrícula proporcionó mejoras leves sobre el ajuste manual al explorar un espacio de parámetros más amplio.
• DE-LFT alcanzó consistentemente el mejor rendimiento en los cuatro conjuntos de datos.
• Específicamente, DE-LFT produjo las tasas de error más bajas. Por ejemplo, en el conjunto de datos Yelp, DE-LFT logró un RMSE de 0.9724 y un MAE de 0.7668, superando tanto al ajuste manual (RMSE: 1.0186) como a la Búsqueda en Cuadrícula (RMSE: 1.0012). Tendencias similares se observaron en los conjuntos de datos CDs, Network7a y Network6a.

Significancia y Reivindicaciones
El artículo afirma que el marco DE-LFT propuesto aborda eficazmente el cuello de botella de la selección de hiperparámetros en la factorización de tensores para redes dinámicas. Al aprender automáticamente los coeficientes de regularización óptimos, el método mejora la precisión de la predicción de los modelos LFT sin requerir una intervención humana extensa. Los autores concluyen que la Evolución Diferencial es una herramienta más efectiva para buscar en el espacio de hiperparámetros en este contexto en comparación con los enfoques tradicionales manuales o basados en cuadrículas, produciendo consistentemente valores de MAE y RMSE más bajos en datos del mundo real.