On a joint simultaneous learning of relevant feature subsets and subspaces in regression-like problems

Resumen Técnico: Regresión de Variedades Óptima en Entropía (EOMR)

Planteamiento del Problema
El artículo aborda el desafío de modelar y predecir problemas de regresión no estacionarios y no lineales, específicamente dentro del contexto de sistemas dinámicos caóticos y la dinámica de fluidos. Una dificultad primordial identificada es el "desafío de aprendizaje con pocos datos" (small data learning challenge), donde la dimensión del espacio de características ($D$) es grande en relación con las estadísticas de observación disponibles ($T$). Este escenario es común en campos como la mecánica de fluidos (debido a las costosas simulaciones numéricas) y la investigación climática (debido a las breves historias de observación).

El autor sostiene que las herramientas de Inteligencia Artificial (IA) y Aprendizaje Automático (ML) de vanguardia, incluyendo bosques aleatorios potenciados por gradiente (gradient-boosted random forests), redes neuronales profundas (NN) y modelos basados en transformadores (por ejemplo, TabPFN), tienen dificultades en estos regímenes. Estos métodos suelen sufrir de:

1. Sobreajuste (Overfitting): Tienden a memorizar los datos de entrenamiento en lugar de aprender patrones generalizables, lo que resulta en un desempeño deficiente en los datos de prueba (a menudo peor que los predictores "persistentes" triviales).
2. Escalabilidad Computacional: Las arquitecturas basadas en transformadores escalan cuadráticamente tanto con la dimensión de las características como con el tamaño de los datos, lo que las hace computacionalmente prohibitivas para problemas realistas de gran escala.
3. Complejidad del Modelo: Estas herramientas a menudo requieren un número de parámetros ajustables comparable o superior al tamaño del conjunto de datos de entrenamiento, lo que conlleva altos costos de memoria e iteración.

Metodología: Regresión de Variedades Óptima en Entropía (EOMR)
El artículo propone la Regresión de Variedades Óptima en Entropía (EOMR), una extensión supervisada de la previamente introducida Agrupación de Variedades Óptima en Entropía (EOMC). El objetivo de EOMR es identificar conjuntamente subconjuntos de características y subespacios relevantes para tareas de regresión.

• Formulación Matemática:
  El modelo asume $K$ mapeos "locales" desde un vector de características $X(:, t)$ hacia un objetivo escalar $Y(t)$. Cada mapeo se caracteriza por:
  • Un proyector de variedad lineal ortogonal de $d$ dimensiones $T_k$ (reducción de subespacio).
  • Una matriz de pesos diagonal $W$ (selección de subconjunto), donde los elementos diagonales $w_i$ representan la probabilidad de que la característica $i$ sea relevante.
  • Coeficientes de regresión $\tilde{\theta}_k$.

La predicción se formula como una expectativa ponderada sobre estos modelos lineales locales, regularizada por términos de entropía. El objetivo de aprendizaje es minimizar un problema de optimización restringida ($L_{EOMR}$) que incluye:
* Un término de error de mínimos cuadrados para la regresión.
* Un término de metrización (regularización tipo varianza) para asegurar la estabilidad de la proyección de la variedad.
* Términos de regularización entrópica ($\phi_1$ para las probabilidades del modelo $\gamma$, y $\phi_2$ para los pesos de las características $W$) para imponer la dispersión (sparsity) y la ausencia de sesgo (principio de máxima entropía).

• Solución Numérica:
  La optimización se resuelve mediante un algoritmo de iteración de subespacios. El problema se descompone en cinco pasos, alternando la actualización de variables mientras se mantienen las demás congeladas:

  1. Proyectores de la Variedad ($T_k$): Se resuelven mediante descenso de gradiente de Riemann en la variedad de Stiefel.
  2. Vectores de Centroide ($\mu_k$): Se resuelven analíticamente como medias ponderadas por la muestra.
  3. Coeficientes de Regresión ($\tilde{\theta}_k$): Se resuelven analíticamente mediante ecuaciones normales regularizadas.
  4. Probabilidades del Modelo ($\gamma$): Se resuelven analíticamente utilizando una función softmax derivada del principio de Euler-Lagrange.
  5. Pesos de las Características ($W$): Se resuelven utilizando un algoritmo de Gradiente Proyectado Secuencial basado en una Aproximación Rápida de Entropía (FEA).

• Complejidad:
  El algoritmo exhibe un escalamiento lineal tanto en el tiempo de iteración como en la complejidad de memoria con respecto a la dimensión de las características $D$ y el tamaño de los datos $T$ (específicamente $O(KDT)$), siempre que la dimensión del subespacio $d \ll D$. Esto contrasta fuertemente con el escalamiento cuadrático de los métodos basados en transformadores.

Contribuciones Clave

1. Aprendizaje Conjunto: EOMR aprende simultáneamente subconjuntos de características relevantes (vía $W$) y subespacios (vía $T_k$), unificando la reducción de dimensionalidad y la selección de características en un único marco probabilístico.
2. Escalabilidad: El método ofrece un escalamiento computacional y de memoria lineal, lo que lo hace adecuado para problemas de alta dimensión y pocos datos donde el aprendizaje profundo y los transformadores son inviables o ineficientes.
3. Interpretabilidad y Dispersión (Sparsity): Al utilizar la regularización entrópica, EOMR produce modelos dispersos y óptimos en entropía. Identifica el conjunto mínimo de características y parámetros necesarios para describir la dinámica del sistema.
4. Robustez en el Caos: El método está diseñado para manejar dinámicas no estacionarias y no lineales sin asumir linealidad global o estacionariedad, pero puede destilar estructuras autorregresivas simples, causales y débilmente estacionarias cuando estas existen.

Resultados Experimentales
El artículo evalúa EOMR en dos pruebas de referencia desafiantes:

1. Sistema Lorenz-96 (F=8 y F=12):

   • Tarea: Predecir la Función Ortogonal Esencial (EOF) principal del sistema en regímenes caóticos fuertes y muy fuertes.
   • Comparación: EOMR se comparó contra la regresión multilineal regularizada con Lasso, Random Forests/XGBoost, Redes Neuronales Profundas y TabPFN v3.0.
   • Hallazgos: Los métodos de aprendizaje profundo y de árboles desempeñaron peor que un predictor "persistente" trivial en los datos de prueba, indicando un sobreajuste severo. EOMR logró un Error Cuadrático Medio (RMSE) de $\approx 7 \times 10^{-6}$, que es órdenes de magnitud inferior al de sus competidores. Además, los modelos de EOMR fueron significativamente más dispersos (aproximadamente 100 parámetros) en comparación con la complejidad de los datos de entrenamiento, mientras que otros modelos requirieron parámetros que excedían el tamaño del conjunto de datos.

2. Modelo Hasegawa-Wakatani Modificado (mHW):

   • Tarea: Predecir la dinámica de turbulencia de ondas de deriva en el borde de un plasma de tokamak.
   • Hallazgos: Similares a los resultados de Lorenz-96, las herramientas de IA estándar (NN, RF/XGB, TabPFN) fallaron en los datos de prueba, desempeñándose peor que el predictor persistente. EOMR logró un RMSE de $\approx 4.5 \times 10^{-4}$, casi un orden de magnitud mejor que el predictor persistente y significativamente mejor que el Lasso MLR.
   • Destilación del Modelo: EOMR destiló la compleja dinámica en un modelo de Media Móvil Autorregresiva (ARMA) simple con solo 8 parámetros ajustables. Se demostró que el modelo identificado es débilmente estacionario y causal (raíces del polinomio característico fuera del círculo unitario).
   • Eficiencia: Una sola predicción de EOMR tomó $\approx 2$ nanosegundos en una computadora portátil estándar, lo que es 160 veces más rápido que el retraso físico del proceso que se predice. En contraste, TabPFN tomó $\approx 0.02$ segundos (cinco órdenes de magnitud más lento que el retraso físico).

Significancia y Reivindicaciones
El artículo afirma que EOMR representa un "cambio de paradigma" para el modelado de sistemas caóticos y de dinámica de fluidos bajo restricciones de pocos datos. Su significancia radica en:

• Cambio de Paradigma: Desafía la tendencia de "doble descenso" (double-descent) de aumentar la capacidad y complejidad del modelo, abogando en su lugar por modelos óptimos en entropía, dispersos y simples que generalizan mejor.
• Utilidad Práctica: La extrema eficiencia computacional (predicciones a escala de nanosegundos) permite la predicción, optimización y control en línea en tiempo real de sistemas caóticos rápidos, lo cual es actualmente imposible con los pesados modelos basados en transformadores.
• Robustez: Demuestra que, para clases específicas de sistemas complejos, el "mejor" modelo no es el más complejo, sino aquel que identifica correctamente la estructura subyacente de baja dimensión y dispersa, evitando las trampas de memorización de la IA hambrienta de datos.

El autor concluye que EOMR proporciona una alternativa robusta, interpretable y computacionalmente factible para las herramientas de IA actuales en regresiones dentro de entornos no estacionarios, no lineales y caóticos.