🤖 machine learning

A Data-dependent Early Stopping Rule using Rademacher Complexity with L1-norm

Este artículo propone un marco analítico basado en la complejidad de Rademacher con una norma L1 para estimar el tiempo óptimo de parada temprana para modelos de regresión lineal sin requerir entrenamiento ni supuestos probabilísticos, demostrando su aplicabilidad a redes neuronales no lineales mediante el sondeo lineal.

Autores originales: Duy Hoang, Bastien Berret, Olivier Bruneau, Laurent Fribourg

Publicado 2026-08-26

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Duy Hoang, Bastien Berret, Olivier Bruneau, Laurent Fribourg

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Entrenar a una computadora para reconocer patrones, ya sea identificando un gato en una fotografía o prediciendo el precio de una acción, implica un delicado acto de equilibrio. La máquina aprende observando ejemplos, ajustando sus configuraciones internas para adaptarse a los datos que ha visto. Sin embargo, si aprende con demasiada perfección, comienza a memorizar las peculiaridades específicas de esos ejemplos en lugar de comprender las reglas subyacentes. Esto es un poco como un estudiante que memoriza las respuestas de un examen de práctica pero reprueba el examen real porque no puede aplicar la lógica a nuevas preguntas. En el mundo de la inteligencia artificial, este fallo en la generalización es un obstáculo importante. Para prevenirlo, los investigadores suelen utilizar una estrategia llamada "parada temprana" (early stopping), donde detienen el proceso de aprendizaje en el momento justo: después de que el modelo ha aprendido las reglas, pero antes de que comience a memorizar el ruido. El desafío siempre ha sido saber exactamente cuándo llega ese momento. Tradicionalmente, encontrar este punto ideal requiere ejecutar el proceso de entrenamiento múltiples veces en conjuntos de datos separados, un método que es lento, computacionalmente costoso y que a menudo depende de las conjeturas.

Un equipo de investigadores de la Université Paris-Saclay ha propuesto una nueva forma de resolver este problema de temporización sin la necesidad de realizar ensayos repetidos. En lugar de adivinar o ejecutar simulaciones adicionales, desarrollaron un método matemático que puede predecir el punto de parada ideal directamente desde los propios datos. Su enfoque se basa en un concepto conocido como complejidad de Rademacher, que esencialmente mide qué tan bien un modelo puede distinguir entre patrones reales y ruido aleatorio. Al utilizar esta medida, los investigadores crearon una regla que le dice a una computadora exactamente cuándo dejar de aprender. Lo que hace que su trabajo sea distinto es que no requiere suposiciones sobre la forma o la distribución de los datos, un requisito común en métodos anteriores. Además, descubrieron que utilizar una forma específica de medir el error, conocida como la norma L1, proporcionaba predicciones significativamente más precisas que los métodos estándar utilizados en el campo.

Los investigadores centraron su trabajo inicial en modelos lineales, que son el tipo más simple de algoritmos de aprendizaje automático, pero demostraron que sus hallazgos pueden extenderse a redes neuronales no lineales complejas. Para probar su teoría, aplicaron su método a un problema clásico: distinguir entre dígitos escritos a mano. En un experimento, entrenaron una red neuronal para diferenciar entre los números tres y cinco de un conjunto de datos de más de diez mil imágenes. Usando su nueva regla, el sistema calculó un tiempo de parada de 342 pasos. Cuando compararon esto con el tiempo de parada óptimo real obtenido al ejecutar el proceso de entrenamiento completo y verificar un conjunto de datos de prueba separado, el óptimo real fue de 357 pasos. La diferencia fue insignificante, y el rendimiento del modelo detenido en el tiempo predicho fue casi idéntico al rendimiento del modelo detenido en el óptimo real. En otra prueba que involucraba los números cero y uno, el tiempo de parada predicho fue de 415 pasos, mientras que el óptimo real fue de 418 pasos. En ambos casos, el modelo entrenado con su regla evitó la trampa del sobreajuste (overfitting) y logró la mejor precisión posible para datos no vistos.

El estudio también reveló que el método funciona mejor cuando hay una gran cantidad de datos en relación con la complejidad del modelo. Cuando los investigadores probaron escenarios con menos puntos de datos, el método se volvió menos preciso, sugiriendo a veces un tiempo de parada de cero, lo que indica que el modelo no debería entrenarse en absoluto. Esto concuerda con el entendimiento de que los modelos complejos necesitan suficientes datos para aprender reglas generales. Los investigadores también compararon su nuevo método contra técnicas más antiguas que dependen de diferentes suposiciones matemáticas sobre los datos. Encontraron que su enfoque, que utiliza la norma L1 para el cálculo, produjo consistentemente tiempos de parada mucho más cercanos al óptimo real que los métodos antiguos. Esto sugiere que la forma en que se mide el error es tan importante como la propia regla de parada.

Quizás lo más importante es que los investigadores demostraron que detenerse temprano no es solo un concepto teórico, sino una necesidad práctica en muchos casos. Calcularon qué sucedería si el entrenamiento se permitiera continuar indefinidamente. En los ejemplos que estudiaron, el rendimiento del modelo en nuevos datos de hecho empeoraba si el entrenamiento continuaba más allá del punto óptimo, confirmando que la parada temprana evita que el modelo se degrade. Sin embargo, también señalaron que en algunos escenarios específicos y altamente complejos, donde el modelo tiene muchos más parámetros que datos, continuar el entrenamiento podría eventualmente conducir a mejores resultados, un fenómeno conocido como "sobreajuste benigno" (benign overfitting). Su método ayuda a identificar en qué situación se encuentra un usuario, permitiéndole decidir si detenerse temprano o continuar.

Al proporcionar una forma de calcular el tiempo de parada óptimo sin tener que ejecutar el proceso de entrenamiento completo, este trabajo ofrece un camino más eficiente para desarrollar una inteligencia artificial confiable. Elimina la necesidad de ensayo y error, ahorrando tiempo y recursos computacionales. El método es particularmente útil para situaciones donde los datos son abundantes pero la potencia de cómputo es limitada, o donde el costo de entrenamiento es alto. Si bien el estudio actual se centra en modelos lineales y tipos de datos específicos, los investigadores creen que su marco de trabajo puede adaptarse para sistemas más complejos y diferentes tipos de salidas. Su trabajo ofrece una respuesta clara y basada en datos a una pregunta que durante mucho tiempo requirió de conjeturas, ofreciendo una herramienta más precisa para navegar la compensación entre el aprendizaje y la memorización.

Resumen Técnico: Una regla de parada temprana dependiente de los datos utilizando la Complejidad de Rademacher con la norma L1

Planteamiento del problema
El entrenamiento de redes neuronales requiere equilibrar la compensación entre el ajuste de los datos de entrenamiento y la obtención de un rendimiento robusto ante entradas no vistas, una propiedad conocida como generalizabilidad. Esto está determinado por la brecha entre el riesgo empírico ( $L_S$ ) y el riesgo esperado de la población ( $L_D$ ). La pérdida de generalización ( $L_G$ ) se define como la diferencia entre estos dos. Durante el descenso de gradiente (GD), $L_S$ típicamente disminuye mientras que $L_G$ aumenta, creando un compromiso de "sesgo-varianza". El objetivo del paro temprano (early stopping) es detener el entrenamiento en un momento óptimo $t^*$ que minimice la suma $L_S + L_G$ .

Clásicamente, $t^*$ se estima numéricamente monitoreando un conjunto de prueba separado ( $S_{test}$ ). Alternativamente, existen enfoques analíticos utilizando la Teoría de Matrices Aleatorias (RMT), pero estos suelen depender de fuertes supuestos probabilísticos, como distribuciones de datos gaussianas o distribuciones de autovalores específicas (por ejemplo, Marchenko–Pastur) de la matriz de covarianza de los datos. Este trabajo aborda la necesidad de una regla de parada temprana analítica que no requiera conjuntos de prueba separados ni supuestos distributivos restrictivos.

Metodología
Los autores proponen un marco analítico basado en la Complejidad de Rademacher (RC) para estimar el tiempo de parada óptimo sin realizar el descenso de gradiente. La metodología se centra en modelos lineales y regresión lineal, con extensiones a redes no lineales mediante "sondeo lineal" (linear probing).

Formulación de la norma L1: A diferencia de muchas RC existentes que utilizan la norma L2, este trabajo expresa la complejidad de Rademacher utilizando la norma L1. Esta elección está motivada por el deseo de eliminar una constante dependiente de los datos $M$ (un límite sobre la pérdida) del límite de error de generalización. Al establecer $p=1$ en el límite de la norma $L_p$ general, los autores derivan un límite superior para la pérdida poblacional ( $L_D$ ) que depende únicamente del vector de error empírico y la norma del modelo, evitando la dependencia explícita de $M$ .
Dinámica del flujo de gradiente: El problema se modela en tiempo continuo utilizando el Flujo de Gradiente (GF). Los autores analizan la dinámica del vector de error de entrenamiento $v(t)$ y los parámetros del modelo $a(t)$ . Se demuestra que el límite superior de la pérdida poblacional, denotado como $L^*_D(t)$ , tiene una forma de "U", disminuyendo inicialmente a medida que el error empírico cae y aumentando posteriormente a medida que la norma del modelo crece.
Criterio de parada analítico ( $t^+$ ): La contribución central es la derivación de un criterio dependiente de los datos $C(s)$ $C (s)$ que asegura que $L^*_D(t)$ $L_{D}^{*} (t)$ sea decreciente para todo $t \leq s$ $t \leq s$ .
- Los autores descomponen los autovalores de la matriz de covarianza de los datos en conjuntos "informativos" (grandes) y de "molestia" (pequeños).
- Definen una función $\Phi(t)$ que involucra estos autovalores y la dinámica del error.
- El tiempo de parada $t^+$ se define como el supremo del tiempo $s$ tal que $\Phi(t) > 0$ para todo $t \in [0, s)$ .
- Matemáticamente, $t^+$ es el primer momento en que $\Phi(t)$ cruza el cero. Se demuestra que $t^+$ es una estimación del límite inferior del tiempo óptimo real $t^*$ (es decir, $t^+ \leq t^*$ ). Bajo condiciones específicas (por ejemplo, cuando el mínimo real reside dentro del primer intervalo de invarianza de signo), $t^+ = t^*$ .
Aproximación: El artículo proporciona una aproximación simple $t^+_{approx} \approx \frac{1}{\lambda_1} \ln \frac{\Gamma(0)}{\Omega(0)}$ , la cual se asemeja a una formulación de relación señal-ruido (SNR) encontrada en la literatura de RMT pero derivada aquí sin supuestos probabilísticos.

Contribuciones clave

Estimación analítica libre de distribución: El artículo introduce un método para estimar el tiempo de parada temprana óptimo de forma analítica sin asumir datos gaussianos o distribuciones de autovalores específicas.
Ventaja de la norma L1: Los autores demuestran teórica y numéricamente que el uso de la norma L1 para la complejidad de Rademacher produce una estimación del tiempo de parada ( $t^+$ ) significativamente más cercana al óptimo numérico ( $t_{test}$ ) que el enfoque de la norma L2.
Enfoque en el subparametrizado: El método está diseñado específicamente para el régimen subparametrizado ( $m \leq n$ ), donde el "sobreajuste benigno" (benign overfitting) y la "doble descenso por épocas" son menos prevalentes, haciendo que el paro temprano sea una estrategia beneficiosa.
Aplicación de sondeo lineal: Aunque la teoría se deriva para modelos lineales, los autores aplican con éxito los resultados a redes neuronales no lineales (específicamente en la clasificación MNIST) congelando las capas ocultas y entrenando solo la capa de salida (sondeo lineal).

Resultos
Los autores validan su método a través de varios ejemplos:

Datos gaussianos sintéticos: En tareas de clasificación binaria con tamaños de muestra variables ( $n=512$ y $n=16384$ ), la estimación analítica $t^+$ coincidió exactamente con el tiempo óptimo real $t^*$ en el primer caso y proporcionó un límite inferior ajustado en el segundo. La estimación basada en L1 fue consistentemente más cercana al óptimo del conjunto de prueba que la estimación basada en L2.
Clasificación MNIST (3-5 y 0-1): Utilizando una red ReLU de 4 capas con sondeo lineal, el método predijo con precisión el tiempo de parada. Para la clasificación 3-5, $t^+ = 342$ comparado con el óptimo numérico $t^* = 357$ y el óptimo del conjunto de prueba $t_{test} = 356$ . Para la clasificación 0-1, $t^+ = 415$ coincidió con $t^* = 415$ y estuvo cerca de $t_{test} = 418$ .
Parada beneficiosa: En todos los casos probados, la pérdida en el tiempo de parada estimado fue menor que la pérdida en el tiempo de entrenamiento infinito ( $L^*_D(t^+) < L^*_D(\infty)$ ), confirmando que el paro temprano es beneficioso y evita el régimen de "sobreajuste benigno".
Robustez: El método funcionó bien en diferentes distribuciones de datos (Gaussian, Uniform, Pareto), con un rendimiento que mejora a medida que aumenta la relación de muestras a parámetros ( $n/m$ ).

Significancia y Reivindicaciones
El artículo afirma que su principal significancia radica en proporcionar una regla de parada temprana analítica y dependiente de los datos que opera sin la necesidad de un conjunto de validación separado o supuestos probabilísticos restrictivos sobre la distribución de los datos. Al aprovechar la complejidad de Rademacher con la norma L1, los autores ofrecen una herramienta práctica para determinar cuándo detener el entrenamiento de modelos lineales (y, mediante sondeo lineal, ciertas redes no lineales) para minimizar el error de generalización. Los autores señalan modestamente que, si bien el método funciona bien para modelos subparametrizados, no pretende aplicarse al régimen sobreparametrizado donde ocurre el "sobreajuste benigno". También identifican direcciones de trabajo futuro, incluyendo la aplicación directa a modelos totalmente no lineales, salidas vectoriales y el manejo de ruido aleatorio en los datos de entrada.

Más como este