Resumen Técnico: RevengeBench

Definición del Problema

El artículo aborda un análogo computacional al problema inverso científico: inferir mecanismos ocultos a partir del comportamiento observable. Específicamente, plantea si un aprendiz puede reconstruir un programa de decisión ejecutable (una política) dado únicamente los rastros de comportamiento de un agente objetivo opaco. A diferencia del aprendizaje por refuerzo inverso estándar o la imitación de políticas, que a menudo asumen el acceso a un corpus fijo de demostraciones o interfaces de consulta directa, este entorno restringe al aprendiz a un régimen epistémico intermedio. El aprendiz no puede consultar estados arbitrarios del objetivo directamente; en su lugar, debe inferir la lógica del objetivo mediante la observación pasiva del objetivo jugando contra oponentes muestreados y, opcionalmente, mediante el diseño de "sondas" activas (probes)—políticas de oponentes personalizadas destinadas a provocar comportamientos específicos e informativos. El objetivo es producir una única política ejecutable que reproduzca fielmente las acciones del objetivo en trayectorias no vistas anteriormente.

Metodología

Construcción del Benchmark (REVENGEBENCH)

Los autores presentan REVENGEBENCH, un benchmark que comprende 75 políticas de objetivos ocultos generadas por Modelos de Lenguaje de Gran Escala (LLMs) para el torneo CodeClash. Estas políticas abarcan cinco entornos de juego distintos:

1. BattleSnake (Discreto, basado en cuadrícula, secuencial)
2. Halite (Control continuo, de múltiples unidades)
3. Poker (Observabilidad parcial, estocástico)
4. RoboCode (Basado en Java, continuo)
5. RobotRumble (JavaScript, de múltiples unidades)

Las políticas varían en complejidad (hasta ~500 líneas de código) y están escritas en Python, C, Java y JavaScript. Para cada entorno, 15 políticas de alto Elo se designan como "objetivos", mientras que las políticas restantes forman un grupo de oponentes.

Protocolo de Evaluación

La evaluación sigue un proceso de inferencia de bucle cerrado a lo largo de $R=5$ rondas de refinamiento:

1. Observación: El aprendiz observa las trayectorias de la política objetivo jugando contra oponentes muestreados.
2. Generación de Hipótesis: El aprendiz envía una política ejecutable (hipótesis) partiendo de una línea base simplista.
3. Sondeo Activo (Opcional): En el régimen "Activo", el aprendiz puede diseñar hasta $B=5$ oponentes de sonda por ronda para forzar al objetivo hacia estados o comportamientos específicos, con el fin de reducir la incertidumbre en la hipótesis.
4. Refinamiento: El aprendiz edita iterativamente su código basándose en las discrepancias observadas entre su hipótesis y las acciones reales del objetivo.

Métricas

La calidad de la recuperación se mide mediante una distancia de acción por estado ($d_g$), que cuantifica la disimilitud entre la acción del aprendiz y la acción del objetivo. Esta métrica es graduada (por ejemplo, apostar 90 fichas está más cerca de 100 que retirarse) en lugar de binaria. La puntuación principal es la reducción de la distancia ($\Delta$), definida como la fracción de la distancia de comportamiento inicial (desde una política aleatoria) que es cerrada por la política recuperada final.

Configuración Experimental

El estudio evalúa 12 LLMs de vanguardia (incluyendo GPT-5.5, GPT-5, DeepSeek v4 Pro, Gemma 4 y Qwen3.6) utilizando el andamiaje mini-SWE-agent, una interfaz mínima basada en bash que obliga a los modelos a interactuar con el entorno mediante operaciones de archivos y ejecución de scripts. El estudio compara la observación pasiva frente al sondeo activo y evalúa la utilidad descendente de las políticas recuperadas en torneos de Jugador contra Jugador (PvP).

Contribuciones Clave

1. Benchmark REVENGEBENCH: Un nuevo benchmark de 75 políticas ejecutables en cinco entornos de juego diversos, diseñado específicamente para probar la ingeniería inversa de estrategias programáticas a partir de rastros de comportamiento.
2. Protocolo de Recuperación de Intervención Restringida: Una formalización del problema inverso donde la intervención se restringe al diseño de políticas de oponentes (sondas) en lugar de consultas directas de estado, modelando un escenario de inferencia científica realista.
3. Evaluación Empírica Exhaustiva: Una evaluación de 12 LLMs de vanguardia que demuestra que:
   • La calidad de la recuperación varía significativamente (del 34% al 72% de la distancia inicial cerrada).
   • El sondeo activo reporta beneficios principalmente para los modelos más fuertes capaces de diseñar experimentos efectivos.
   • El código recuperado porta una señal accionable, proporcionando una ventaja competitiva medible en torneos PvP descendentes, particularmente para modelos más débiles que luchan por diseñar contraestrategias desde cero.

Resultados

Rendimiento de la Recuperación de Estrategia

• Variabilidad: El rendimiento de la recuperación varía sustancialmente entre modelos. El mejor modelo (GPT-5.5) cierra aproximadamente el 72% de la distancia de comportamiento inicial, mientras que el más débil (GPT-oss-120b) cierra solo un ~34%.
• Diferencias de Entorno: El rendimiento no es uniforme entre juegos. Poker es el entorno más fácil (la mayoría de los modelos superan el 60% de recuperación), mientras que RobotRumble muestra la mayor dispersión de rendimiento (5–72%).
• Compromiso Costo-Calidad: No existe una correlación fuerte entre el costo de la API y la calidad de la recuperación; algunos modelos de menor costo (por ejemplo, Gemma-4 31B) logran tasas de recuperación competitivas (~51%) a una fracción del costo de los modelos de primer nivel.

Observación vs. Intervención

• Sondeo Activo: El sondeo activo mejora la recuperación en 16 de 20 pares de modelo-juego, pero las ganancias se concentran en los modelos más fuertes (por ejemplo, DeepSeek v4 Pro observa un aumento medio de +0.052). Los modelos más débiles a menudo muestran ganancias casi nulas, lo que sugiere que carecen de la capacidad para diseñar sondas informativas.
• Líneas Base: Los rastros de comportamiento puros son el canal de entrada más efectivo. Reemplazar los rastros con resúmenes de lenguaje natural (Solo Descripción) generalmente degrada el rendimiento, y la Inferencia de Programas Bayesiana (BPI) rinde por debajo del refinamiento iterativo para la mayoría de los modelos.

Utilidad Descendente

En torneos PvP, los agentes armados con código recuperado superan consistentemente a los agentes "ciegos" (aquellos que solo conocen las reglas del juego) y rinden por debajo de los agentes "oráculo" (aquellos que poseen el código fuente real). Crucialmente, los modelos desafiantes más débiles derivan las mayores ganancias relativas de la inteligencia recuperada, lo que sugiere que incluso las reconstrucciones imperfectas capturan información estructural necesaria para contraestrategias efectivas.

Robustez y Fiabilidad

• Fiabilidad de la Arena: Poker y BattleSnake ofrecen clasificaciones estables a través de ejecuciones y evaluadores (alta consistencia intra-clase). Halite, RoboCode y RobotRumble exhiben una mayor varianza, requiriendo agregación de múltiples ejecuciones para una comparación fiable.
• Modos de Fallo: Los patrones de fallo comunes incluyen el agotamiento del presupuesto de pasos debido a bucles de depuración repetitivos, el envío de código inválido que provoca el colapso de la evaluación, y la "regresión", donde ediciones posteriores empeoran la política en comparación con rondas anteriores.

Significación y Reivindicaciones

El artículo posiciona la recuperación conductual de políticas programáticas como un problema inverso tratable en el espacio del código. Su significación reside en tres áreas:

1. Modelado de Oponentes: Demuestra que los agentes de LLM pueden inferir procedimientos de decisión ocultos mediante la observación, una capacidad con valor directo para flujos de trabajo multi-agente donde anticipar el comportamiento de un agente opaco es crítico.
2. Interpretabilidad de la Política: El benchmark proporciona un banco de pruebas para comprender cuándo la observación conductual es suficiente para la recuperación de mecanismos y dónde se requiere la intervención activa.
3. Análogo Científico: Al enmarcar la tarea como un análogo computacional al descubrimiento científico (inferir mecanismos latentes a partir de observaciones perturbadas), este trabajo cierra la brecha entre los benchmarks de agentes y la pregunta más amplia de inferir estructuras latentes a partir de datos.

Los autores concluyen que, si bien la recuperación exacta de la fuente no siempre es necesaria para la utilidad descendente, la capacidad de reconstruir políticas ejecutables a partir del comportamiento representa un paso significativo hacia agentes de IA interpretables y estratégicos. Señalan limitaciones, incluyendo la naturaleza sintética de los objetivos (que no se adaptan ni ocultan estrategias) y el hecho de que la equivalencia conductual no garantiza la identidad estructural.