Resumen Técnico: Aprendizaje por Refuerzo In-Context Robusto bajo Ataques de Envenenamiento de Recompensa

Definición del Problema

Este artículo aborda la vulnerabilidad del Aprendizaje por Refuerzo In-Context (ICRL) ante ataques de envenenamiento de recompensa. Mientras que la literatura tradicional de RL ha estudiado extensamente el envenenamiento de recompensas como un ataque durante el tiempo de entrenamiento (donde la política de un agente se corrompe durante el aprendizaje), los agentes de ICRL operan de manera distinta. Estos implementan un algoritmo de aprendizaje "in-context" procesando un historial de interacciones (estados, acciones, recompensas) dentro de un modelo transformer (específicamente, el Decision-Pretrained Transformer, o DPT).

En este escenario, un adversario puede envenenar el contexto en tiempo de prueba corrompiendo las recompensas observadas por el agente. Dado que el agente infiere su política basándose en este contexto, la corrupción de las recompensas en el tiempo de prueba permite a un atacante influir en el comportamiento del agente sin alterar sus parámetros pre-entrenados. El artículo formaliza esto como un ataque de envenenamiento de recompensa en tiempo de prueba, donde el atacante modifica una fracción ($\epsilon$) de las recompensas observadas para minimizar el retorno real del agente, sujeto a una restricción de presupuesto suave.

Metodología: AT-DPT (DPT Entrenado Adversarialmente)

Los autores proponen AT-DPT, un nuevo marco que combina el aprendizaje in-context con el entrenamiento adversarial para producir agentes robustos contra tales ataques. La idea central es entrenar al agente y a una población de atacantes simultáneamente en un juego minimax.

1. Modelo de Ataque

El atacante se modela como una función $\pi^\dagger_\phi$ que observa el estado, la acción, la recompensa real y el conjunto de datos in-context del agente. Genera una recompensa corrupta $r^\dagger$ con una probabilidad $\epsilon$. El objetivo del atacante es minimizar el retorno esperado del agente mientras cumple con una restricción de presupuesto suave sobre la media y la varianza de las recompensas corruptas en relación con las recompensas reales del entorno. Esto se formula como un término de penalización en la función de pérdida del atacante.

2. Procedimiento de Entrenamiento

El proceso de entrenamiento (ilustrado en la Figura 1 y el Algoritmo 1) involucra tres fases:

• Preentrenamiento: El DPT se inicializa y se entrena mediante aprendizaje supervisado para predecir acciones óptimas a partir de datos de contexto limpios, de manera similar al enfoque original de DPT.
• Entrenamiento Adversarial: Esta es la contribución novedosa. El agente ($\pi_\theta$) y una población de atacantes ($\pi^\dagger_{\phi_i}$) se optimizan de forma concurrente:
  • Actualización del Atacante: Para cada tarea en un lote (batch), el atacante genera trayectorias corruptas. Los parámetros del atacante $\phi$ se actualizan utilizando el algoritmo REINFORCE para maximizar el arrepentimiento (regret) del agente (minimizar el retorno) bajo las restricciones de presupuesto.
  • Actualización del Agente: El agente se entrena para predecir la acción óptima (proporcionada por un oráculo) dado el contexto corrupto $D^\dagger$ recolectado durante la interacción.
  • Este proceso se repite durante $N$ rondas, permitiendo que el agente aprenda un mecanismo de "corrección" que infiere acciones óptimas a pesar de las entradas envenenadas.
• Aprendizaje In-Context (Prueba): El agente entrenado se despliega en nuevos entornos con recompensas envenenadas. Actualiza su contexto dinámicamente en cada paso de tiempo para soportar la robustez contra atacantes adaptativos.

El marco soporta tanto atacantes no adaptativos (que no utilizan el historial del agente) como atacantes adaptativos (que utilizan una arquitectura transformer para aprovechar las interacciones pasadas del agente).

Contribuciones Clave

1. Nueva Modalidad de Ataque: El artículo es el primero en estudiar el envenenamiento de recompensa en el contexto de meta-RL (aprender un algoritmo de aprendizaje). Formaliza un ataque en tiempo de prueba donde el adversario corrompe el contexto para influir en el proceso de aprendizaje in-context, lo cual es distinto de la corrupción de la política tradicional en el tiempo de entrenamiento.
2. Marco AT-DPT: Los autores introducen un protocolo práctico de entrenamiento adversarial que optimiza simultáneamente una población de atacantes y el agente víctima. Esto permite que el agente aprenda un algoritmo de aprendizaje robusto a la corrupción in-context.
3. Validación Empírica: El estudio proporciona una evaluación sistemática a través de bandidos de múltiples brazos (multi-armed bandits), bandidos lineales y MDPs (incluyendo los entornos Darkroom2 y Miniworld), comparando AT-DPT contra algoritmos estándar (TS, UCB, PPO, Q-learning) y líneas base robustas (crUCB, RTS).

Resultados Experimentales

Los experimentos demuestran que AT-DPT supera significativamente a las líneas base existentes bajo varios niveles de envenenamiento ($\epsilon = 0.1, 0.2, 0.4$) y presupuestos de ataque.

• Configuraciones de Bandidos: AT-DPT logra el menor arrepentimiento acumulado en comparación con las líneas base robustas como crUCB y RTS, incluso cuando el atacante es entrenado específicamente para atacar a AT-DPT. También muestra una fuerte generalización, funcionando bien contra atacantes entrenados para otros algoritmos (por ejemplo, TS).
• Adaptativo vs. No Adaptativo: Los resultados indican un compromiso (trade-off); AT-DPT entrenado contra atacantes adaptativos funciona mejor contra amenazas adaptativas pero ligeramente peor contra no adaptativas en comparación con un modelo entrenado solo en amenazas no adaptativas. Sin embargo, en todos los casos, supera a las líneas base estándar.
• Configuraciones de MDP: En los entornos Darkroom2 y Miniworld, AT-DPT mantiene recompensas por episodio altas bajo ataque, mientras que los algoritmos de RL estándar (NPG, Q-learning) y los modelos DPT congelados sufren una degradación significativa del rendimiento. Notablemente, AT-DPT se generaliza a entornos más grandes y complejos, lo que sugiere escalabilidad.
• Demostraciones Subóptimas: El artículo señala que AT-DPT puede tolerar un pequeño porcentaje (por ejemplo, 10-30%) de demostraciones subóptimas en los datos de entrenamiento, aunque el rendimiento se degrada a medida que este porcentaje aumenta.

Significado y Reivindicaciones

El artículo sostiene que su principal importancia radica en establecer un enfoque basado en principios para diseñar algoritmos de aprendizaje que sean inherentemente robustos a las corrupciones de datos.

• Perspectiva de Meta-RL: A diferencia de trabajos previos que se centran en aprender una política específica para un único entorno, este trabajo se centra en aprender el algoritmo mismo. Al utilizar un prior sobre la distribución de las tareas, el agente puede distinguir entre esquemas de corrupción plausibles e implausibles, filtrando eficazmente el ruido adversarial.
• Generalización: Los resultados sugieren que las políticas basadas en transformers pueden implementar algoritmos que son robustos contra la contaminación de datos, ofreciendo una dirección prometedora para el despliegue seguro de agentes de ICRL (como los agentes basados en LLM) en entornos donde el contexto pueda estar comprometido (por ejemplo, mediante mecanismos de RAG).
• Perspectiva Teórica: Los autores postulan que AT-DPT aproxima un equilibrio de Nash donde el agente implementa un muestreo posterior "corregido". Mientras las medias de las recompensas subyacentes sigan siendo identificables bajo el proceso de corrupción, el agente puede lograr un rendimiento robusto.

Los autores mantienen la modestia respecto a las garantías teóricas, reconociendo que un análisis completo de convergencia de la optimización de dos niveles hacia un equilibrio aproximado queda para trabajos futuros. También señalan la limitación de que su método actual depende de acciones óptimas proporcionadas por un oráculo para el entrenamiento, aunque demuestran cierta resiliencia ante demostraciones subóptimas.