🤖 machine learning

Interleaved Noise Injection Improves Clean, Corrupted, and OOD Performance

Este artículo propone un esquema de inyección de ruido entrelazado combinado con una estabilización del gradiente-norma, el cual funciona teóricamente como un mecanismo de regularización dual para mejorar significativamente la robustez del modelo contra corrupciones y cambios de distribución en datos limpios, ruidosos y fuera de la distribución con un costo computacional mínimo.

Autores originales: Matt L. Wiemann, Peter Melchior, Andrew K. Saydjari

Publicado 2026-07-17

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Matt L. Wiemann, Peter Melchior, Andrew K. Saydjari

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a reconocer animales en fotos. Le muestras la imagen de un gato y aprende la forma de las orejas y la curva de la cola. Pero, ¿qué pasa si la foto está borrosa, cubierta de nieve o tiene un filtro de color extraño? Un robot entrenado solo con fotos perfectas y nítidas podría confundirse y fallar por completo. Este es el mundo del aprendizaje automático (machine learning), donde las computadoras aprenden mirando datos. Para volverse realmente buenas, estas computadoras utilizan un proceso llamado optimización, que es como un excursionista intentando encontrar el punto más bajo en un valle con niebla. El objetivo es encontrar la "mejor" respuesta, pero el paisaje está lleno de pequeñas depresiones (mínimos locales) que parecen el fondo, pero no lo son. Para evitar quedarse atrapado en estos huecos poco profundos, los científicos suelen añadir un poco de ruido —estática o fallos aleatorios— a los datos de entrenamiento. Esto es como sacudir las piernas del excursionista para ayudarlo a tropezar y salir de un pequeño agujero para encontrar el verdadero fondo del valle. Pero durante mucho tiempo, los científicos pensaron que se debía reducir el ruido gradualmente hasta cero a medida que el robot aprendía, como desvanecer la música de fondo.

Ahora, imagina una nueva idea: en lugar de desvanecer la música, la mantienes encendida y apagada rápidamente. Reproduces la canción, luego silencio, luego la canción, luego silencio. Esto es exactamente lo que descubrieron los investigadores de la Universidad de Princeton. Descubrieron que la inyección de ruido intercalado —un método de alternar entre datos limpios y perfectos y datos desordenados y ruidosos— hace al robot más inteligente, más resistente y mejor para reconocer animales incluso cuando las fotos son terribles. No lo descubrieron simplemente adivinando; construyeron una teoría matemática para explicar por qué funciona y lo probaron en conjuntos de datos de imágenes famosos como CIFAR-100 e ImageNet. Sus resultados sugieren que este simple interruptor de "encendido-apagado" ayuda a la computadora a escapar de malos hábitos de aprendizaje sin necesidad de potencia de cómputo adicional o nuevos datos.

El interruptor de "encendido-apagado" para robots más inteligentes

El artículo presenta un ingenioso nuevo programa de entrenamiento llamado inyección de ruido intercalado. Piensa en entrenar una red neuronal (el cerebro del robot) como estudiar para un gran examen. Normalmente, podrías estudiar con un libro de texto (datos limpios) y luego quizás hacer algunos ejercicios de práctica con errores tipográficos (datos ruidosos). Los métodos tradicionales dicen: "Empieza con los errores para construir una base sólida, luego cambia al libro de texto limpio", o "Empieza limpio y añade lentamente los errores". Pero los autores descubrieron que estos métodos tienen fallas. Si cambias demasiado pronto, olvidas los detalles limpios; si cambias demasiado tarde, te quedas estancado en una rutina.

En su lugar, los autores proponen un programa de "ping-pong". Entrenan el modelo con datos limpios durante algunas rondas (épocas), luego cambian repentinamente a datos cubiertos de "ruido de impulso" (como estática de sal y pimienta) o "ruido gaussiano" (como un desenfoque suave) durante una ronda, y luego vuelven a los datos limpios. Repiten este ciclo: limpio, limpio, limpio, ruidoso, limpio, limpio, limpio, ruidoso. Este cambio constante actúa como un botón de reinicio. Cuando el modelo está con los datos ruidosos, es "sacudido" fuera de una solución superficial y fácil de encontrar (un mínimo local) y se ve obligado a buscar una solución más profunda y robusta. Cuando vuelve a los datos limpios, recuerda los detalles importantes que aprendió antes, por lo que no lo olvida todo.

Por qué el ruido importa: Dos tipos de "desorden"

El artículo hace un descubrimiento fascinante: no todo el ruido es igual, y diferentes cerebros de robot prefieren diferentes tipos de desorden.

Ruido de Impulso (Sal y Pimienta): Esto es como tomar una foto y cambiar aleatoriamente algunos píxeles a negro o blanco total. Los autores encontraron que esto funciona mejor para las ResNets (un tipo de cerebro de robot que mira las imágenes en trozos pequeños y locales, como un humano mirando un rasgo facial a la vez). El ruido de impulso obliga al robot a dejar de obsesionarse con píxeles específicos y diminutos para aprender en su lugar la imagen general. Es como decirle a un estudiante: "No te limites a memorizar la ortografía de cada letra; aprende la forma de la palabra completa".
Ruido Gaussiano (Desenfoque Suave): Esto es como añadir un suave y uniforme vello a toda la imagen. Esto funciona mejor para los Vision Transformers (ViTs), que miran la imagen completa a la vez e intentan conectar partes distantes. El desenfoque obliga a estos modelos a dejar de depender de patrones grandes y obvios que podrían ser falsos (como una textura de fondo) y concentrarse en los detalles locales reales del objeto.

Los autores demostraron que si usas el ruido equivocado para el robot equivocado, no ayuda tanto. Pero si haces coincidir el ruido con la "personalidad" del robot, los resultados son asombrosos.

La magia de la estabilidad: No marearse

Había un problema con esta idea de "encendido-apagado". Cuando cambias de una foto limpia a una súper ruidosa, la señal de aprendizaje del robot (su "gradiente") puede volverse loca, volviéndose demasiado grande o demasiado pequeña, lo que hace que el entrenamiento sea inestable. Para solucionar esto, los autores inventaron una técnica de estabilización de la norma del gradiente. Imagina que estás conduciendo un coche. Cuando te encuentras con un camino con baches (datos ruidosos), no pisas el acelerador a fondo; ajustas tu velocidad basándote en qué tan rápido ibas en el camino liso. El método de los autores hace exactamente eso: escala el "empuje" que recibe el robot de los datos ruidosos basándose en qué tan fuerte fue el empuje de los datos limpios. Esto mantiene el entrenamiento fluido y evita que el robot se descontrole.

Los Resultados: Mejor, más fuerte y más rápido

Los investigadores probaron este método en dos conjuntos de datos importantes: CIFAR-100 (un conjunto de 100 tipos de objetos) e ImageNet (un conjunto masivo de 1,000 tipos de objetos). Compararon su método con otras formas populares de hacer que los robots sean robustos, como "Cutout" (ocultar partes de la imagen) y "AugMix" (mezclar diferentes estilos de imagen).

Los resultados fueron impresionantes:

Datos Limpios: Aunque el robot pasó menos tiempo mirando fotos perfectas, en realidad se volvió mejor reconociendo las fotos perfectas que los robots entrenados solo con fotos perfectas.
Datos Corruptos: Cuando se probó con fotos con nieve, desenfoque o fallos digitales, los robots con ruido intercalado fueron significativamente más precisos. Por ejemplo, en el conjunto de datos ImageNet, añadir ruido de impulso a un modelo ResNet50 redujo la tasa de error en imágenes corruptas en casi un 2% en comparación con el método estándar.
Fuera de la Distribución (OOD): Esta es la prueba del "mundo real". Se les mostraron a los robots imágenes que no se parecían en nada a lo que habían entrenado (como dibujos en lugar de fotos). El método intercalado les ayudó a manejar estas sorpresas mejor que casi cualquier otro método.

¿Lo mejor de todo? Este método no cuesta casi nada adicional. No requiere más tiempo de computación ni más datos. Solo cambia el orden en el que se muestran los datos. Los autores descubrieron que una configuración simple de cambiar cada 5 épocas (limpio) con 1 época (ruidoso) funcionó de maravilla en todos los casos.

Por qué esto cambia las cosas

El artículo sugiere que el secreto de una IA robusta no es solo ver más datos o usar computadoras más grandes. Se trata de cómo le muestras los datos. Al mezclar el mundo "seguro" de los datos limpios con el mundo "caótico" de los datos ruidosos en un patrón rítmico e intercalado, el modelo aprende a ser flexible. Aprende a ignorar los detalles diminutos y distractores que usualmente lo engañan, y aprende a encontrar los verdaderos patrones subyacentes que permanecen iguales incluso cuando el mundo se vuelve desordenado.

Los autores concluyen que esta es una herramienta simple y poderosa. Sugiere que, en el futuro, es posible que no necesitemos construir robots más complejos para manejar el mundo real; simplemente podríamos enseñarles con un poco de caos, encendiéndolo y apagándolo en el momento justo.

Resumen Técnico: La Inyección de Ruido Intercalado Mejora el Rendimiento en Datos Limpios, Corruptos y OOD

Planteamiento del Problema

El Descenso de Gradiente Estocástico (SGD) y sus variantes son estándares para optimizar superficies de pérdida no convexas, pero a menudo luchan contra mínimos locales de bajo rendimiento. Aunque la inyección deliberada de ruido (típicamente gaussiano) es conocida por mejorar la robustez y la generalización al actuar como un regularizador, los esquemas de ruido existentes sufren de compromisos significativos. Los esquemas de decaimiento monotónico restringen la capacidad del optimizador para escapar de mínimos subóptimos tardíamente en el entrenamiento. Por el contrario, los enfoques de "currículo" (de limpio a ruidoso) o "anti-currículo" (de ruidoso a limpio) corren el riesgo de perder poder de regularización o de causar que el modelo subajuste los datos limpios y olvide catastróficamente las características aprendidas previamente. Además, la interacción específica entre los tipos de ruido (por ejemplo, gaussiano frente a impulso) y las arquitecturas de modelos (por ejemplo, Redes Neuronales Convolucionales frente a Vision Transformers) sigue estando poco explorada en el contexto de la dinámica de optimización.

Metodología

Currículo de Ruido Intercalado

Los autores proponen un esquema de ruido intercalado que alterna entre épocas de entrenamiento limpias y corruptas, en lugar de decaer el ruido o cambiarlo una sola vez. El esquema se define por dos parámetros: $P$ (épocas sin ruido) y $L$ (épocas con ruido). El indicador de inyección de ruido $I(t)$ es una función de onda cuadrada:
$I(t) = \begin{cases} 1 & \text{si } t \mod (P + L) \geq P \\ 0 & \text{en otro caso} \end{cases}$
Esto crea un patrón de "encendido-apagado-encendido-apagado", permitiendo que el optimizador alterne entre explorar el paisaje de pérdida con ruido y explotar datos limpios para refinar las fronteras de decisión.

Análisis Teórico de la Regularización

El artículo proporciona una expansión de Taylor de segundo orden de la función de pérdida $L(\theta, \tilde{x})$ alrededor de una muestra limpia $x$ para analizar los efectos de dos tipos de ruido:

Ruido de Impulso (Sal y Pimienta): Modelado como $\tilde{x} = (1-m_t) \odot x + m_t \odot n$ , donde $n$ es ruido de Bernoulli. La expansión de la pérdida esperada revela tres componentes:
- La pérdida limpia.
- Un término de regularización de Jacobiano proporcional al nivel de ruido $\sigma_t$ y la sensibilidad de la entrada $\nabla_x L$ . Este término penaliza la sensibilidad a las características de píxeles de alto contraste.
- Un término de regularización de curvatura proporcional a la diagonal de la Hessiana, ponderado por el contraste del píxel.
- Conclusión: El ruido de impulso aproxima una regularización de Jacobiano direccional, fomentando que el modelo aprenda características de gran escala que sean robustas a la corrupción local de píxeles.
Ruido Gaussiano: Modelado como $\tilde{x} = x + n_t$ donde $n_t \sim \mathcal{N}(0, \sigma_t I)$ . La expansión de la pérdida esperada produce:
- La pérdida limpia.
- Un término de regularización de curvatura proporcional a la traza de la Hessiana ( $\text{Tr}(H_x)$ ).
- Conclusión: A diferencia del ruido de impulso, el ruido gaussiano proporciona una penalización de curvatura uniforme independiente del contraste local del píxel, actuando de manera similar a la Minimización de Conciencia de la Agudeza (SAM) pero operando en el espacio de entrada en lugar del espacio de pesos.

Estabilización de la Norma del Gradiente

Un desafío principal con el ruido intercalado es la volatilidad de las magnitudes de los gradientes al cambiar entre datos limpios y ruidosos. Para evitar gradientes evanescentes o explosivos, los autores introducen un factor de escala dinámico $p_t$ :
$p_t = f \cdot \frac{\|\nabla_\theta L(\theta_{t-1}, x)\|_2}{\|\nabla_\theta L(\theta_t, \tilde{x})\|_2}$
donde $f$ es un parámetro de ajuste. La actualización ruidosa se escala por $p_t$ , asegurando que la magnitud de las actualizaciones durante las épocas ruidosas sea comparable a las magnitudes de los gradientes limpios.

Contribuciones Clave

Currículo de Ruido Intercalado: Introducción de un esquema de ruido que alterna entre épocas limpias y ruidosas, superando a los métodos estándar de currículo, anti-currículo y decaimiento monotónico en tareas de datos limpios, corruptos y fuera de la distribución (OOD).
Formulación Teórica: Derivación que muestra que el ruido de impulso actúa como un regularizador de Jacobiano direccional, mientras que el ruido gaussiano actúa como una penalización de curvatura. Esto explica por qué diferentes tipos de ruido benefician a diferentes arquitecturas.
Estabilización de la Norma del Gradiente: Una técnica novedosa para estabilizar la volatilidad del entrenamiento causada por el cambio de distribuciones de datos, permitiendo el uso de altos niveles de ruido sin desestabilizar la optimización.
Preferencias Específicas de la Arquitectura: Evidencia empírica que demuestra que las Redes Neuronales Convolucionales (ResNet) se benefician más del ruido de impulso (contrarrestando el sesgo de localidad), mientras que los modelos basados en Atención (ViT) funcionan mejor con ruido gaussiano (contrarrestando la tendencia a captar características espurias de gran escala).
Ortogonalidad y Apilamiento: Demostración de que la inyección de ruido intercalado puede apilarse sobre métodos de robustez existentes (Cutout, SAM, AugMix, VIPAug) para obtener mejoras adicionales con un costo computacional insignificante.

Resultados Experimentales

El método fue evaluado en CIFAR-100, CIFAR-100-C, ImageNet-1k, ImageNet-C e ImageNet-R utilizando arquitecturas WideResNet, ResNet50 y ViT.

Rendimiento en Datos Limpios: Contrario a la intuición de que el ruido degrada el rendimiento de los datos limpios, el esquema intercalado mejoró la precisión de prueba en datos limpios en comparación con el entrenamiento solo con datos limpios. Por ejemplo, en CIFAR-100, el ruido de impulso intercalado redujo el error en datos limpios en un 0.9% respecto al baseline.
Robustez ante Corrupción y OOD: Se observaron mejoras significativas en conjuntos de datos corruptos (CIFAR-100-C, ImageNet-C) y conjuntos de datos OOD (ImageNet-R).
- En ImageNet-1k con ResNet50, el ruido de impulso intercalado redujo el Error de Corrupción Media (mCE) en un 1.8% y el error OOD en un 1.4% respecto al baseline de SGD.
- En ViT, el ruido gaussiano intercalado redujo el mCE en un 3.4% y el error OOD en un 2.1% respecto al baseline de AdamW.
Comparación con Aumentaciones: El método superó o igualó esquemas de aumentación complejos como Cutout, SAM y AugMix. Al apilarse con AugMix, proporcionó ganancias adicionales (por ejemplo, reduciendo el error limpio de CIFAR-100 en un 0.9% adicional y el mCE en un 0.4%).
Estudios de Ablación:
- Escalado de Gradiente ( $f$ ): Un valor de $f \approx 0.4$ resultó ofrecer el mejor equilibrio entre la precisión en datos limpios y la robustez a la corrupción.
- Periodo ( $P$ ): El rendimiento óptimo ocurrió con $P \in [5, 10]$ . Un ruido demasiado frecuente perjudicó la precisión en datos limpios; un ruido demasiado infrecuente redujo la fuerza de la regularización.

Significado y Reivindicaciones

El artículo afirma que la inyección de ruido intercalado es una herramienta simple y efectiva que mejora el rendimiento del modelo en datos limpios, ruidosos y OOD con un costo computacional esencialmente nulo. A diferencia de los métodos que requieren pasadas adicionales de forward/backward (por ejemplo, SAM) o transformaciones de datos complejas, este método solo requiere rastrear la norma del gradiente limpio anterior para escalar las actualizaciones ruidosas.

Los autores argumentan que el éxito de este método proviene de su capacidad para:

Escapar de Mínimos Locales: Las épocas ruidosas proporcionan "patadas" que permiten al optimizador escapar de mínimos agudos y subóptimos.
Prevenir el Olvido Catastrófico: Las épocas limpias actúan como "recordatorios", asegurando que el modelo retenga representaciones de características precisas.
Apuntar a los Sesgos Inductivos: Al seleccionar el tipo de ruido apropiado (impulso para CNNs, gaussiano para ViTs), el método penaliza específicamente los modos de falla fomentados por el sesgo inductivo del modelo (por ejemplo, la dependencia excesiva de características de píxeles locales en CNNs o de características globales espurias en ViTs).

El trabajo sugiere que el ruido no debe verse simplemente como una herramienta de regularización para la robustez, sino como un mecanismo para mejorar el objetivo de optimización en sí mismo, conduciendo a mínimos más planos y más generalizables.