⚡ electrical engineering

Robust Asynchronous Q-Learning under Reward and State Corruption via Batching

Este artículo presenta BR-Async-Q, un nuevo algoritmo de Q-learning robusto basado en épocas que maneja eficazmente la corrupción adversaria tanto de las recompensas como de los estados mediante el procesamiento por lotes de datos y la construcción de estimaciones robustas del operador de Bellman, logrando límites de error de alta probabilidad que coinciden con el Q-learning convencional salvo por un término que escala con la fracción de corrupción.

Autores originales: Sreejeet Maity, Aritra Mitra

Publicado 2026-07-27

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Sreejeet Maity, Aritra Mitra

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot a navegar por un laberinto para encontrar el mejor tesoro. En el mundo perfecto de la ciencia ficción, el robot ve cada giro con claridad, escucha cada instrucción perfectamente y aprende de cada error instantáneamente. Pero en el mundo real, las cosas son desordenadas. Los sensores fallan, las señales se bloquean y, a veces, un hacker travieso podría incluso intentar engañar al robot mostrándole paredes falsas o mintiéndole sobre la ubicación del tesoro. Este es el mundo del Aprendizaje por Refuerzo (RL, por sus siglas en inglés). Es un método donde un agente (como un robot o un programa de software) aprende a tomar decisiones probando cosas y recibiendo retroalimentación. El objetivo es descubrir el mejor camino para maximizar las recompensas, como ganar un juego o conducir un coche de forma segura. Sin embargo, si la retroalimentación que recibe el agente está corrompida —llena de ruido, errores o incluso mentiras deliberadas— el agente puede confundirse, aprender las lecciones equivocadas y terminar tomando decisiones terribles. La gran pregunta que los científicos se hacen es: ¿Podemos construir un sistema de aprendizaje que sea lo suficientemente resistente para ignorar las mentiras y aun así descubrir la verdad, incluso cuando los datos son un desastre?

Este artículo, titulado "Robust Asynchronous Q-Learning under Reward and State Corruption via Batching", aborda exactamente ese problema. Los autores, Sreejeet Maity y Aritra Mitra, están preocupados por un escenario donde un adversario (un actor malintencionado) puede alterar tanto la "recompensa" (la puntuación que obtiene el robot) como el "estado" (la visión que el robot tiene del mundo) al mismo tiempo. Proponen un nuevo algoritmo llamado BR-Async-Q. Piensa en esto como una nueva forma de aprendizaje para el robot que no entra en pánico cuando ve una mentira. En lugar de actualizar su cerebro después de cada paso —lo que lo hace vulnerable a un solo dato erróneo—, esperan y recolectan un "lote" (batch) completo de experiencias primero. Luego, utilizan un truco estadístico ingenioso para filtrar las mentiras y encontrar el promedio de la verdad antes de realizar una única y sólida actualización. Demuestran matemáticamente que este método funciona, mostrando que incluso con un cierto porcentaje de datos corrompidos, el robot puede aprender una estrategia casi perfecta. Sus simulaciones confirman que, mientras los métodos de aprendizaje estándar colapsan y fracasan bajo estos ataques, su nuevo método mantiene al robot en el camino correcto, convergiendo a la respuesta correcta con solo un error mínimo y predecible causado por las mentiras restantes.

El Problema: Un Robot en una Sala de Espejos

Para entender lo que hicieron los autores, imaginemos a nuestro agente de aprendizaje robótico como un estudiante tomando un examen. En una configuración normal de Aprendizaje por Refuerzo, el estudiante da un paso, recibe una calificación (recompensa) y ve la siguiente pregunta (estado). Utiliza esto para actualizar su guía de estudio (la "tabla Q") de inmediato.

Pero imagina que un proctor (supervisor) astuto está observando. De vez en cuando, el proctor cambia la calificación real del estudiante por una falsa, o cambia la siguiente pregunta de la página por algo completamente diferente. Esto es lo que el artículo llama contaminación de Huber. El proctor no necesita mentir todo el tiempo; basta con un pequeño porcentaje de mentiras (por ejemplo, 1% o 5%) para desorientar al estudiante. Si el estudiante actualiza su guía de estudio después de cada pregunta, una calificación falsa puede hacerle pensar que la respuesta incorrecta es la correcta. Con el tiempo, estos pequeños errores se acumulan y el estudiante termina con una guía completamente errónea.

La situación se vuelve aún más complicada porque el estudiante está aprendiendo de forma "asíncrona". Esto significa que no puede ver todas las posibles preguntas y respuestas a la vez. Va deambulando por el laberinto, y algunos caminos son visitados con frecuencia, mientras que otros son poco comunes. Si el proctor apunta a esos caminos poco comunes, el estudiante podría no darse cuenta de que le han mentido porque no tiene suficientes datos para detectar el patrón.

La Solución: La Estrategia de "Lote y Recorte"

La solución de los autores, BR-Async-Q, cambia el ritmo del aprendizaje. En lugar de reaccionar a cada pieza de retroalimentación, el robot hace una pausa y agrupa sus experiencias en fragmentos llamados épocas o lotes (batches).

Imagina que el robot está recolectando conchas marinas en una playa. Un robot estándar recoge una concha, la mira e inmediatamente decide si es un tesoro o una piedra. Si se le entrega una concha falsa (un trozo de plástico pintado para que parezca oro), el robot podría ser engañado.

El robot BR-Async-Q, sin embargo, llena un cubo con 1,000 conchas primero. Una vez que el cubo está lleno, las vuelca y observa todo el montón. Sabe que el proctor podría haber introducido algunas conchas de plástico, pero también sabe que las conchas de plástico son probablemente valores atípicos (outliers): o demasiado brillantes o demasiado extrañas. Por lo tanto, el robot utiliza una herramienta especial llamada media recortada (trimmed mean). Ignora las conchas más extremas (las que parecen sospechosamente falsas o imposiblemente perfectas) y calcula el valor promedio de las conchas restantes y de apariencia normal.

Este proceso de "recorte" es el ingrediente secreto. Al esperar hasta tener un gran lote de datos, el robot puede separar estadísticamente la señal (la verdad) del ruido (las mentiras). El artículo demuestra que, al hacer esto, el robot puede estimar el valor real de sus acciones con alta precisión, incluso si parte de los datos están corrompidos.

Por qué el Lote es Importante: La Trampa de la Varianza

Los autores señalan un fallo crítico en los métodos anteriores. Los algoritmos robustos antiguos intentaban ser resistentes actualizando cada paso, pero utilizando matemáticas complejas para adivinar la verdad. El problema era que estas actualizaciones tenían una alta varianza. En términos sencillos, la "varianza" es cuánto salta la suposición del robot. Si el robot actualiza con demasiada frecuencia con datos ruidosos, su cerebro está constantemente temblando, lo que facilita que el proctor lo desvíe de su curso.

Al procesar los datos por lotes, BR-Async-Q reduce este temblor. Es como tomar una fotografía de larga exposición. Si tomas una foto de un coche en movimiento con una velocidad de obturación rápida, obtienes una imagen borrosa y temblorosa. Pero si esperas y tomas una larga exposición, el movimiento se difumina y obtienes una imagen clara y estable. Los autores muestran que esta "reducción de varianza" permite que su algoritmo iguale el rendimiento del aprendizaje estándar (cuando no hay mentiras) siendo, al mismo tiempo, inmune a las mentiras.

Los Resultados: Venciendo a las Mentiras

El artículo proporciona una garantía matemática, que es una forma elegante de decir que demostraron con lógica que el robot tendrá éxito. Mostraron que el error (la diferencia entre lo que el robot aprende y la estrategia perfecta) tiene dos partes:

El Error Natural: Es el error normal que esperarías simplemente porque el robot aún no ha visto suficientes datos. Esta parte se reduce a medida que el robot aprende más.
El Sesgo de Corrupción: Es el error adicional causado por las mentiras del proctor.

Lo increíble es que el "Sesgo de Corrupción" en su nuevo método es muy pequeño. Escala directamente con la cantidad de mentiras (la probabilidad de corrupción), pero no se ve amplificado por la confusión del robot. De hecho, cuando solo se corrompen las recompensas (y los estados están limos), su método es minimax óptimo. Esta es una forma técnica de decir: "No puedes hacerlo mejor que esto". Han alcanzado el límite teórico de qué tan bien podría actuar cualquier algoritmo bajo estas condiciones.

Los autores también realizaron simulaciones para ver cómo funciona esto en la práctica. Crearon un entorno de mundo de cuadrícula (un laberinto simple) con 100 estados y 40 acciones. Probaron su algoritmo contra uno estándar mientras introducían diferentes niveles de corrupción.

El Robot Estándar: Cuando el proctor empezó a mentir, el rendimiento del robot estándar colapsó. Su error creció enormemente y no logró encontrar el mejor camino.
El Robot BR-Async-Q: Incluso cuando el 20% de los datos estaban corrompidos (una cantidad masiva de mentiras), este robot se mantuvo calmado. Convergió a una solución muy cercana a la perfecta, con un error pequeño y estable.

También probaron qué sucede si el robot visita algunos caminos muy raramente. Los métodos anteriores sufrían aquí, pensando que los caminos raros eran más vulnerables a las mentiras. Pero debido a que BR-Async-Q espera a tener un lote completo de datos, asegura que incluso los caminos raros reciban suficiente atención para filtrar las mentiras, evitando la "amplificación" de errores que plagaba a los métodos más antiguos.

La Conclusión

Al final, este artículo ofrece un nuevo manual para enseñar a las máquinas en un mundo desordenado y poco fiable. Sugiere que la paciencia es una virtud. Al ralentizarnos, recolectar más datos y utilizar estadísticas inteligentes para filtrar el ruido, podemos construir sistemas de IA que no solo sobrevivan a la corrupción, sino que prosperen a pesar de ella. Los autores no solo supusieron que esto funcionaría; lo demostraron matemáticamente y lo mostraron funcionando en simulaciones. Aunque el método actual requiere almacenar mucha información en la memoria (como llenar ese gran cubo de conchas), la idea central —que el procesamiento por lotes y la estimación robusta pueden derrotar las mentiras adversarias— abre la puerta a una IA más segura y fiable en todo, desde coches autónomos hasta diagnósticos médicos, donde el coste de una mentira es demasiado alto para ignorarlo.

Resumen Técnico: Q-Learning Asíncrono Robusto bajo Corrupción de Recompensa y Estado mediante Batching

1. Formulación del Problema

El artículo aborda el desafío de aprender una política óptima en un proceso de decisión markoviano (MDP) de horizonte infinito descontado cuando la retroalimentación del aprendiz está sujeta a una corrupción adversaria. El entorno implica que un agente interactúa con un entorno mediante una política de comportamiento $\mu$ , observando pares estado-acción $(s_t, a_t)$ , estados siguientes $s_{t+1}$ , y recompensas $r_t$ .

La dificultad central surge del modelo de contaminación de Huber, donde un adversario puede perturbar arbitrariamente tanto la recompensa observada como el siguiente estado observado en cada paso de tiempo con una pequeña probabilidad $\epsilon \in [0, 1/2)$ . Específicamente:

Corrupción de Recompensa: Con una probabilidad $\epsilon_R$ , la recompensa observada $\tilde{r}_t$ es reemplazada por un valor arbitrario $z_t$ (potencialmente ilimitado).
Corrupción de Estado: Con una probabilidad $\epsilon_Y$ , el siguiente estado observado $\tilde{s}_{t+1}$ es reemplazado por un estado arbitrario $u_t$ .
Recompensas de Cola Pesada: A diferencia de trabajos previos que requieren recompensas sub-gaussianas, este marco asume únicamente que las distribuciones de recompensa limpias admiten un segundo momento finito, lo que permite ruidos de cola pesada.

El objetivo es construir un estimador robusto $\hat{Q}$ de la función de valor estado-acción óptima $Q^*$ y derivar un límite de error $\ell_\infty$ de alta probabilidad $\|\hat{Q} - Q^*\|_\infty$ que se mantenga a pesar de estas corrupciones conjuntas.

2. Metodología: BR-Async-Q

Los autores proponen BR-Async-Q (Batch Robust Asynchronous Q-Learning), un nuevo algoritmo basado en épocas diseñado para mitigar la varianza y el sesgo introducidos por la retroalimentación adversaria. El enfoque se aparta del Q-learning estándar, que actualiza la tabla Q en cada paso de tiempo, mediante la introducción de dos mecanismos clave:

A. Batching en Línea (Épocas)

El horizonte de interacción $T$ se particiona en $K$ épocas (batches), cada una de longitud $H$ . Dentro de una época $k$ , el algoritmo recolecta datos pero no actualiza la tabla Q. En su lugar, agrega las observaciones para cada par estado-acción $(s, a)$ en dos conjuntos de datos:

$D_k(s, a)$ : El conjunto de recompensas observadas (potencialmente corruptas).
$Y_k(s, a)$ : El conjunto de valores de bootstrapping $\max_{a'} Q_k(\tilde{s}_{t+1}, a')$ basados en la tabla Q congelada al inicio de la época.

B. Estimación Robusta del Operador de Bellman

Al final de cada época, el algoritmo calcula un estimador robusto del operador de optimalidad de Bellman $\mathcal{T}$ utilizando los datos agregados del lote. Esto implica:

Estimación de Media Robusta:
- Para las recompensas ( $D_k$ ), se utiliza un estimador de media recortada ( $\text{TRIM}_H$ ) para estimar la media de la recompensa limpia $R(s, a)$ . Esto gestiona la naturaleza de cola pesada y la corrupción arbitraria.
- Para los valores de bootstrapping ( $Y_k$ ), se utiliza un estimador de media con recorte ( $\text{TRIM}_B$ ). Crucialmente, este estimador utiliza límites conocidos de los valores Q (derivados del umbral de recorte) para lograr una dependencia más ajustada de la fracción de corrupción $\epsilon_Y$ .
Recorte para Estabilidad: Para evitar que fallos aislados de los estimadores robustos desestabilicen la tabla Q, la recompensa estimada se recorta a un umbral $G_k$ derivado de límites teóricos. Esto asegura que las iteraciones de Q permanezcan uniformemente acotadas.
Actualización Sincrónica: La tabla Q se actualiza solo una vez por época utilizando el operador estimado de forma robusta, reduciendo efectivamente la varianza de la dirección de actualización en comparación con las actualizaciones de muestra única.

3. Contribuciones Clave

Contribución Algorítmica

El artículo introduce el primer algoritmo de Q-learning robusto capaz de manejar la corrupción conjunta de estado y recompensa en un entorno asíncrono. Al particionar los datos en lotes y emplear estimadores estadísticos robustos, BR-Async-Q supera las limitaciones del Q-learning estándar y de variantes robustas previas que actualizan en cada paso.

Contribución Teórica

Los autores demuestran un límite de error $\ell_\infty$ de tiempo finito de alta probabilidad para BR-Async-Q (Teorema 2). El límite consta de dos componentes:

Error Estadístico: Un término dominante que escala como $\tilde{O}\left(\frac{\tilde{\sigma}}{(1-\gamma)^{5/2}\sqrt{\lambda_{\min} T}}\right)$ . Notablemente, la dependencia de la probabilidad de visita mínima $\lambda_{\min}$ mejora respecto al trabajo previo [9], escalando como $1/\sqrt{\lambda_{\min} T}$ en lugar de $1/(\lambda_{\min}\sqrt{T})$ .
Sesgo Inducido por Corrupción: Un término de sesgo aditivo $\psi$ $ψ$ que escala con las probabilidades de corrupción:
$\psi = O\left(\frac{\tilde{\sigma}\epsilon_Y}{(1-\gamma)^2}\right) \vee O\left(\frac{\bar{\sigma}\sqrt{\epsilon_R}}{1-\gamma}\right)$
- Cuando solo las recompensas están corruptas ( $\epsilon_Y = 0$ ), el término de sesgo escala como $O(\sqrt{\epsilon_R})$ , lo cual coincide con el límite inferior minimax fundamental establecido en el trabajo previo [6].
- Este resultado cierra la brecha entre los límites superior e inferior encontrados en la literatura previa, demostando que la dependencia inversa en la probabilidad de visita vista en los límites superiores previos es evitable mediante la reducción de la varianza.

4. Resultados y Significado

Resultados de Simulación

El artículo valida BR-Async-Q en un entorno de mundo de rejilla (grid-world) ( $|S|=100, |A|=40$ ).

Robustez: El Q-learning vanilla falla al converger bajo incluso niveles bajos de corrupción ( $\epsilon \in \{0.001, 0.005, 0.01\}$ ) o ruido de cola pesada, mientras que BR-Async-Q converge a una vecindad de $Q^*$ .
Corrupción Asimétrica: El algoritmo permanece estable incluso cuando las tasas de corrupción de estado y recompensa difieren ( $\epsilon_Y \neq \epsilon_R$ ).
Longitud de Época: Se muestra que el rendimiento es robusto ante diferentes longitudes de época $H$ , siempre que $H$ sea suficientemente grande para satisfacer los requisitos de probabilidad de visita.

Significado y Afirmaciones

El artículo afirma proporcionar la primera garantía de robustez demostrable para el Q-learning asíncrono bajo la corrupción conjunta de estados y recompensas.

Cierre de Brecha: Resuelve una brecha fundamental en la comprensión de la complejidad de muestra en RL robusto bajo corrupción de solo recompensa, mostrando que la dependencia suboptimal de las probabilidades de visita en los límites superiores previos es un artefacto del diseño del algoritmo, no del problema en sí.
Optimalidad Minimax: Bajo corrupción de solo recompensa, el algoritmo alcanza un término de sesgo que es minimax óptimo, coincidiendo exactamente con el límite inferior de información.
Practicidad: El método demuestra que es posible un aprendizaje fiable incluso en entornos hostiles con fallos de detección, errores de registro o envenenamiento deliberado, siempre que la probabilidad de corrupción sea pequeña y el algoritmo utilice el batching para reducir la varianza.

Los autores señalan que la implementación actual requiere memoria lineal en la longitud de la época $H$ y sugieren trabajos futuros sobre estimadores de media robustos en línea y extensiones a la aproximación de funciones.