Resumen Técnico: El aprendizaje supervisado como un procedimiento no supervisado de dos etapas

Planteamiento del problema

El artículo aborda una pregunta fundamental en el aprendizaje automático: ¿Son las etiquetas de salida ($y$) estrictamente necesarias para entrenar modelos supervisados, o puede la estructura del modelo aprenderse enteramente de manera no supervisada? Mientras que el aprendizaje no supervisado opera sin acceso a $y$, el aprendizaje supervisado depende tradicionalmente de $y$ para optimizar los parámetros del modelo. Los autores investigan si el aprendizaje supervisado puede descomponerse en un procedimiento de dos etapas donde (1) todos los parámetros del modelo (específicamente el "suavizador" o la representación del espacio de entrada) se seleccionan sin acceso a $y$, y (2) las salidas $y$ se añaden solo después de que los parámetros han sido fijados para generar predicciones.

Metodología

1. El marco del suavizador (Smoother Framework)

La contribución teórica central es la formulación de los modelos supervisados como suavizadores lineales. Un modelo se expresa como:
$$\hat{f}^* = s^{*\top} y$$
donde $\hat{f}^*$ es la predicción para un nuevo covariable $x^*$, y $s^*$ es un vector suavizador (o matriz $S$ para datos dentro de la muestra) que depende de los covariables de entrenamiento $X$ y potencialmente de los hiperparámetros del modelo, pero no de las salidas $y$.

• Para modelos lineales (p. ej., regresión Ridge), $s^*$ se deriva directamente de la solución de forma cerrada.
• Para modelos no lineales (p. ej., redes neuronales, bosques aleatorios), los autores demuestran cómo expresarlos como suavizadores. Para las redes neuronales, esto utiliza el marco del Kernel de Tangente Neuronal (NTK), tratando a la red como un suavizador lineal donde la matriz del suavizador se actualiza iterativamente durante el entrenamiento pero permanece independiente del verdadero $y$ si las etiquetas de entrenamiento son reemplazadas.

2. Selección de modelos sin $y$ (MSV)

Para seleccionar los hiperparámetros del modelo (p. ej., la fuerza de regularización $\lambda$, el ancho de banda del kernel o el tiempo de parada) sin acceso a $y$, los autores proponen un criterio basado en la varianza de las predicciones fuera de la muestra.

• Premisa: Para un modelo con buena capacidad de generalización, la distribución de las predicciones fuera de la muestra $\hat{f}^*_v$ debería coincidir aproximadamente con la distribución de los datos observados $y$.
• Criterio: El método minimiza la diferencia entre la varianza de la muestra de $y$ y la varianza de la muestra de las predicciones sobre un conjunto de covariables de validación $X^*_v$ (que se generan a partir de la distribución de entrenamiento pero no tienen etiquetas asociadas).
• Implementación libre de $y$: La función objetivo involucra un término de la forma $|y^\top A y|$. Para hacerla independiente de $y$, los autores reemplazan $y$ con un vector aleatorio $y_R$ (o el vector cero). Al tomar la esperanza sobre $y_R$, la función objetivo se simplifica minimizando una norma de la matriz $A$ (específicamente la seminorma de traza o la norma de Frobenius), denominada MSV-Tr (Coincidencia de Varianzas de la Muestra - Traza).
  $$\text{Minimizar } \left| 1 - \frac{1}{n^*_v} \text{Tr}(S^{*\top}_v S^*_v) \right|$$
  Esto permite la selección de hiperparámetros utilizando únicamente $X$ y $X^*_v$ generados, omitiendo completamente la necesidad de $y$ durante la fase de selección.

3. Análisis teórico

El artículo proporciona un análisis de descomposición sesgo-varianza para la regresión ridge lineal en el límite asintótico ($n, d \to \infty$).

• Proposición 1: Muestra que MSV-Tr selecciona el modelo tal que la varianza de la función inferida es igual a la varianza del ruido de medición ($\sigma^2_\epsilon$).
• Teorema 1: Para la regresión ridge lineal, los autores derivan una expresión de forma cerrada para el parámetro de regularización óptimo $\lambda$ seleccionado por MSV-Tr. Demuestran que el riesgo asintótico fuera de la muestra de este método está acotado respecto al riesgo óptimo teórico (que requiere el conocimiento de la relación señal-ruido). Específicamente, para relaciones señal-ruido (SNR) en $[1, 80]$, la razón de riesgo está acotada por 2.45.
• Teorema 2: Demuestra que otros métodos "libres de $y$", como la Validación Cruzada Generalizada (GCV) y el MSV dentro de la muestra, fallan para la regresión ridge. Estos seleccionan o bien una regularización infinita (entrenamiento cero) o una regularización cero (sobreajuste), lo que los hace inútiles para la selección de parámetros. Solo el MSV fuera de la muestra produce una regularización finita y distinta de cero.

Principales contribuciones

1. Descomposición del aprendizaje supervisado: El artículo demuestra que los modelos supervisados estándar (regresión ridge lineal/kernel, splines de suavizado, k-NN, bosques aleatorios y redes neuronales) pueden entrenarse en un proceso de dos etapas donde la estructura del modelo se aprende de forma no supervisada y las etiquetas solo se introducen en la etapa de predicción.
2. Nuevo criterio de selección de modelos (MSV): Introducción de un criterio de selección de modelos basado en la coincidencia de la varianza de las predicciones fuera de la muestra con la varianza de los datos, que puede calcularse sin acceso a $y$ reemplazando $y$ con ruido aleatorio.
3. Límites teóricos: Establecimiento de límites de riesgo asintótico para la regresión ridge lineal entrenada mediante MSV-Tr, mostrando que se desempeña dentro de un factor constante del riesgo óptimo.
4. Validación empírica: Experimentos extensos en conjuntos de datos sintéticos y del mundo real (MNIST, CIFER-10, Producción de Acero, Tiempo de Ejecución de CPU, Superconductores, Consumo de Energía) muestran que los modelos entrenados sin $y$ (usando etiquetas aleatorias o cero durante la fase de selección de parámetros) logran un rendimiento comparable al entrenamiento estándar basado en $y$.

Resultados

• Paridad de rendimiento: En los experimentos, los modelos entrenados sin $y$ (usando MSV para la selección) lograron puntuaciones de precisión y $R^2$ muy cercanas a sus contrapartes estándar entrenadas con $y$. Por ejemplo, en MNIST, el Clasificador de Red Neuronal estándar logró una precisión de 0.82, mientras que la versión MSV libre de $y$ logró 0.75.
• Fracaso de alternativas: La GCV libre de $y$ operó al nivel de una elección aleatoria (por ejemplo, 0.1 de precisión para problemas de 10 clases), confirmando los hallazgos teóricos de que la GCV no puede hacerse libre de $y$ de manera efectiva para estos modelos.
• Bosques Aleatorios (Random Forests): Aunque el entrenamiento libre de $y$ funcionó bien para la mayoría de los modelos, los Bosques Aleatorios mostraron una brecha de rendimiento mayor en comparación con el entrenamiento basado en $y$. Los autores atribuyen esto a la dependencia de las divisiones de los árboles de decisión de la varianza de $y$, la cual se pierde cuando $y$ es reemplazado por ruido aleatorio.

Significado y afirmaciones

El artículo afirma que la diferencia entre el aprendizaje supervisado y el no supervisado es "menos fundamental de lo que puede parecer". Los resultados sugieren que el desafío principal en el aprendizaje supervisado es encontrar una buena representación del espacio de entrada $x$ (el suavizador $s^*$), lo cual puede lograrse sin etiquetas. Las etiquetas $y$ son necesarias solo para asignar valores a estas representaciones pre-construidas.

Modestia de las afirmaciones:
Los autores declaran explícitamente que no sugieren excluir $y$ del proceso de entrenamiento en aplicaciones prácticas. Reconocen que:

• La formulación del suavizador escala mal con el tamaño de los datos, particularmente para las redes neuronales donde el NTK debe recalcularse iterativamente.
• Su método no pretende superar a los enfoques existentes basados en $y$.
• El objetivo es demostrar la viabilidad y resaltar los paralelos teóricos entre el aprendizaje supervisado y el no supervisado, más que proponer un nuevo estándar para el despliegue industrial.

El trabajo sirve como una demostración teórica y empírica de que la selección de modelos y el aprendizaje de representaciones pueden desacoplarse de la información de las etiquetas, desafiando la necesidad convencional de las etiquetas para todo el flujo de trabajo de entrenamiento.