S2MAM: Semi-supervised Meta Additive Model for Robust Estimation and Variable Selection

Resumen Técnico: S2MAM

1. El Problema

El aprendizaje semi-supervisado (SSL) con regularización de variedad (manifold regularization) es un marco clásico que aprovecha grandes cantidades de datos no etiquetados junto con datos etiquetados limitados, asumiendo que la distribución marginal subyacente tiene una estructura geométrica de variedad riemanniana.

Sin embargo, los métodos existentes (como LapRLS o LapSVM) enfrentan dos desafíos críticos:

• Dependencia de métricas predefinidas: La regularización se basa en una matriz de similitud (o matriz Laplaciana del grafo) que depende de una métrica de similitud preespecificada sobre todas las variables de entrada.
• Fragilidad ante ruido y redundancia: Cuando los datos contienen variables irrelevantes o ruidosas, la construcción de la matriz de similitud se distorsiona. Esto introduce un sesgo computacional que degrada severamente la capacidad predictiva y la estimación de la estructura de la variedad, ya que el ruido "contamina" las relaciones de vecindad entre muestras.
• Falta de interpretabilidad: Los modelos actuales a menudo carecen de mecanismos para seleccionar variables de manera automática y robusta, lo que dificulta la interpretación del modelo en entornos de alta dimensión.

2. Metodología: S2MAM

Para abordar estos problemas, los autores proponen S2MAM (Semi-Supervised Meta Additive Model), un nuevo marco que integra el aprendizaje semi-supervisado, los modelos aditivos dispersos (Sparse Additive Models) y el meta-aprendizaje.

Componentes Clave:

• Modelo Aditivo Disperso: En lugar de un modelo lineal o de kernel general, S2MAM utiliza una función de decisión aditiva: $f(x) = \sum f^{(j)}(x^{(j)})$. Esto permite modelar relaciones no lineales por variable mientras mantiene la interpretabilidad.
• Máscaras de Variables (Variable Masking): Se introduce un vector de máscaras binarias $m \in \{0, 1\}^p$, donde $m_j=1$ indica que la variable $j$ es informativa y $m_j=0$ significa que se ignora. Esto permite filtrar el ruido antes de calcular la matriz de similitud.
• Optimización Bilevel (Nivel Doble):
  • Nivel Inferior (Lower Level): Entrena el predictor $f$ y actualiza la matriz Laplaciana $L$ utilizando los datos etiquetados y no etiquetados, pero solo sobre las variables seleccionadas por la máscara actual.
  • Nivel Superior (Upper Level): Optimiza la máscara $m$ para minimizar el error de pérdida en un conjunto de datos meta (etiquetado), asegurando que la selección de variables mejore el rendimiento general.
• Relajación Probabilística: Dado que optimizar máscaras discretas es un problema NP-duro, S2MAM relaja el problema a un espacio continuo. Las máscaras se modelan como variables aleatorias de Bernoulli con probabilidades aprendibles $s \in [0, 1]$.
• Algoritmo de Optimización:
  • Utiliza una estrategia de gradiente de política (policy gradient) para actualizar las probabilidades de las máscaras.
  • Evita el cálculo costoso de Hessianos o Jacobianos implícitos (común en optimización bilevel) mediante estimadores de gradiente no sesgados.
  • Emplea un descenso de gradiente estocástico proyectado para mantener las restricciones de dispersidad.
  • Para escalabilidad en datos de alta dimensión (como imágenes), utiliza Random Fourier Features (RFF) para aproximar los kernels, reduciendo la complejidad de $O((l+u)^2)$ a $O((l+u)D)$.

3. Contribuciones Clave

1. Nuevo Modelo Estadístico: Es el primer método de meta-aprendizaje diseñado específicamente para modelos aditivos con regularización de variedad. Logra simultáneamente estimación robusta y selección de variables basada en datos.
2. Marco de Optimización Eficiente: Desarrolla un algoritmo de optimización bilevel probabilístico que evita la carga computacional pesada de los métodos tradicionales de segundo orden, garantizando la convergencia teórica.
3. Garantías Teóricas:
   • Se demuestra la convergencia del algoritmo hacia una política óptima.
   • Se establecen cotas superiores para el riesgo excesivo (generalización), mostrando que el error de generalización decae polinomialmente, aprovechando la estructura geométrica de los datos no etiquetados.
4. Robustez e Interpretabilidad: A diferencia de los métodos anteriores, S2MAM identifica automáticamente las variables informativas, eliminando el impacto de las variables ruidosas y proporcionando un modelo interpretable (sabiendo qué variables contribuyen a la predicción).

4. Resultados Experimentales

Los autores evaluaron S2MAM en 4 conjuntos de datos sintéticos y 12 reales (incluyendo UCI, ADNI, COIL-20, CelebA-HQ y AgeDB) bajo diversos niveles de corrupción (variables irrelevantes y ruido gaussiano).

• Rendimiento en Datos Sintéticos: S2MAM superó consistentemente a los baselines (como LapSVM, SpAM, AWSSL, RER) en precisión de clasificación, especialmente cuando se añadieron variables ruidosas. Mientras que otros métodos colapsaban, S2MAM mantuvo alta precisión y baja varianza.
• Datos Clínicos (ADNI): En la regresión de puntuaciones cognitivas con 326 características, S2MAM logró un Error Cuadrático Medio (MSE) aproximadamente 0.119 menor que los métodos más competitivos, demostrando su capacidad para aislar la estructura de la variedad informativa en medio de alta dimensionalidad y ruido.
• Datos de Imágenes (COIL-20, CelebA-HQ, AgeDB):
  • En clasificación, S2MAM alcanzó la mayor precisión (ej. 92.1% en CelebA-HQ), superando a métodos profundos como FlexMatch y SemiReward.
  • Eficiencia Computacional: Aunque los métodos profundos logran alta precisión, requieren tiempos de entrenamiento significativamente mayores (ej. FlexMatch tardó 35 min en CelebA-HQ vs. 8.4 min de S2MAM). La variante acelerada (S2MAM-F) ofrece un equilibrio óptimo entre velocidad y precisión.
• Robustez: Los resultados confirman que S2MAM es robusto frente a la distorsión de la matriz Laplaciana causada por variables irrelevantes, algo donde fallan los métodos SSL tradicionales.

5. Significado e Impacto

El trabajo de S2MAM es significativo porque cierra la brecha entre la robustez, la interpretabilidad y la eficacia predictiva en el aprendizaje semi-supervisado.

• Avance Teórico: Proporciona uno de los primeros análisis teóricos completos sobre la generalización de modelos aditivos semi-supervisados con selección de variables.
• Aplicabilidad Práctica: Ofrece una solución viable para escenarios del mundo real donde los datos son de alta dimensión, escasamente etiquetados y contaminados con ruido (común en bioinformática, imágenes médicas y finanzas).
• Interpretabilidad: Al seleccionar variables activas mediante máscaras, el modelo no solo predice, sino que explica qué características son relevantes, lo cual es crucial en dominios sensibles como la medicina.

En conclusión, S2MAM representa un paso adelante en la construcción de grafos de similitud robustos y dependientes de los datos, superando las limitaciones de las métricas predefinidas y demostrando que el meta-aprendizaje puede utilizarse eficazmente para la selección de variables en entornos semi-supervisados.