Resumen Técnico: Agentes Entrenables para la Jugabilidad Interactiva

Declaración del Problema

El aprendizaje por refuerzo (RL) ha logrado un rendimiento de vanguardia en dominios de control en tiempo real, desde la robótica hasta los videojuegos. Sin embargo, los agentes de RL estándar suelen aprender un único comportamiento cercano al óptimo para resolver una tarea. Esta falta de flexibilidad es una limitación en escenarios donde los usuarios desean ejercer control sobre cómo se realiza una tarea, en lugar de solo sobre que se realice. Si bien los usuarios pueden solicitar estilos específicos a la IA generativa (por ejemplo, "pintar con un estilo impresionista"), dicho control de estilo en tiempo real no ha estado disponible para agentes que operan en entornos de control continuo.

Los enfoques existentes, como el aprendizaje multitarea, multiobjetivo o condicionado por objetivos, se centran en enseñar a los agentes a completar múltiples tareas distintas. Este artículo argumenta que enmarcar "limpiar silenciosamente" y "limpiar rápidamente" como tareas separadas oscurece el espectro de la preferencia del usuario. En su lugar, los autores proponen Agentes Entrenables (Coachable Agents): agentes entrenados para realizar una única tarea central en una variedad de "estilos" diferentes, lo que permite a los usuarios seleccionar y modificar estos estilos bajo demanda durante la ejecución.

Metodología

El marco de trabajo se basa en los Aproximadores de Funciones de Valor Universales (UVFAs), extendiéndolos para manejar escenarios donde el objetivo principal es fijo pero existen múltiples comportamientos válidos. Los autores introducen los UVFAs Condicionados por Estilo, donde la función de recompensa se descompone en dos componentes:
$$r(s, a; \theta) = r_{task}(s, a) + r_{style}(s, a, \theta)$$

• $r_{task}$: Una recompensa fija que captura el objetivo primario (por ejemplo, ganar una pelea, completar una vuelta).
• $r_{style}$: Una recompensa dependiente del estilo impulsada por un vector de estilo multidimensional $\theta$. Este vector incluye pesos para combinar linealmente las recompensas, umbrales para el control de compuertas/rampas (gating/ramping) y puntos de consigna (setpoints) que penalizan la desviación de rangos deseados.

Innovaciones Técnicas Clave

1. Adaptación Algorítmica (Cat-RAC): Para manejar los dominios de control de alta dimensión de los videojuegos AAA (específicamente Horizon Forbidden West), los autores desarrollaron el Actor-Crítico Regularizado Categórico (Cat-RAC), un nuevo miembro de la familia Soft Actor-Critic (SAC). Este algoritmo aborda la complejidad de los espacios de acción y la varianza del comportamiento presentes en los juegos modernos.
2. Infraestructura de Entrenamiento: El marco utiliza:
   • Entrenamiento por Escenarios: Creación de escenarios de práctica específicos para enseñar habilidades y variaciones de estilo.
   • Aumento de Datos: Para acelerar y estabilizar el aprendizaje.
   • Buffers de Replay Especializados: Almacenamiento de trayectorias con etiquetas de estilo específicas para facilitar el aprendizaje de políticas diversas.
3. Composición de Estilos: El sistema permite la combinación de múltiples solicitudes de estilo (por ejemplo, un arma específica + un efecto elemental específico) en tiempo de ejecución, incluso si el agente ha visto muy pocas veces esa combinación específica durante el entrenamiento.

Dominios Experimentales

El marco fue validado en tres dominios distintos:

1. Gran Turismo 7 (GT7): Un simulador de carreras. El agente (GT Sophy) fue entrenado para equilibrar los tiempos de vuelta frente a las restricciones de recursos (consumo de combustible y desgaste de neumáticos) y para exhibir comportamientos de conducción como el derrape (drifting).
2. Horizon Forbidden West (HFW): Un juego de acción y aventura de mundo abierto. El agente controla a la protagonista, Aloy, en combate contra enemigos robóticos complejos. Los estilos incluyeron la elección de armas específicas (6 armas), combate cuerpo a cuerpo, trampas, 7 efectos elementales y 3 estrategias de eliminación de partes.
3. DeepMind Control Suite (DMC): Una tarea de marcha humanoide. Los estilos controlaron poses de brazos discretas y longitudes de zancada continuas, demostrando la aplicabilidad del enfoque a la robótica.

Resultados

Gran Turismo 7

• Gestión de Recursos: Al ajustar los pesos del UVFA, el agente podía intercambiar ritmo frente al alcance de combustible o la vida de los neumáticos. Aumentar las penalizaciones por uso de combustible/neumáticos extendió el tiempo entre paradas en boxes hasta en un 60%, a costa de 2–3 segundos por vuelta.
• Variación de Comportamiento: El agente aprendió con éxito a derrapar y pudo modular su agresividad aparente mediante parámetros de estilo basados en umbrales.

Horizon Forbidden West

• Adherencia al Estilo: En 57,000 batallas a través de 19 enemigos y 3 ubicaciones, el agente demostró una fuerte correlación entre los estilos solicitados y los comportamientos ejecutados (dominancia diagonal en las matrices de tipo de daño).
• Adaptación Contextual: El agente no obedeció ciegamente las solicitudes de estilo, sino que las contextualizó. Por ejemplo, al pedírsele un estilo elemental específico, seleccionaba un arma capaz de inducir ese estado, y luego potencialmente cambiaba a un arma más poderosa para maximizar el daño mientras el estado persistía.
• Componibilidad: El agente ejecutó con éxito estilos combinados (por ejemplo, arma específica + elemento específico) a pesar de haber visto tales combinaciones específicas menos de una vez por cada millón de escenarios de entrenamiento.
• Generalización: El agente mantuvo un alto rendimiento contra enemigos y escenarios fuera de la distribución (OOD) (por ejemplo, enemigos voladores) no presentes en el conjunto de entrenamiento.
• Control de Intercambio (Trade-off): Las curvas de Pareto demostraron que los usuarios podían ajustar un parámetro de peso de estilo en tiempo de ejecución para equilibrar la "puntuación de estilo" frente a la tasa de victorias, permitiendo un control flexible sobre el comportamiento de toma de riesgos del agente.

Humanoide (DMC)

• El agente logró componer poses de brazos discretas con el control de zancada continua. El parámetro de estilo $\theta$ funcionó eficazmente como un punto de consigna para la longitud de la zancada, a pesar de que las poses de los brazos impactaban el centro de masa y el equilibrio del robot.

Significado y Reivindicaciones

El artículo sostiene que los UVFAs Condicionados por Estilo, cuando se combinan con algoritos de aprendizaje y estrategias de entrenamiento apropiados, pueden producir agentes que tienen éxito en tareas complejas en tiempo real mientras permanecen modificables bajo demanda.

• Impacto en el Gaming: La tecnología ofrece aplicaciones inmediatas para la industria de los videojuegos, incluyendo procesos mejorados de Control de Calidad (QA), NPCs mejorados y nuevas funciones de accesibilidad donde los agentes pueden asumir secciones difíciles de un juego mientras se adhieren al estilo de juego preferido del jugador.
• Impacto en la Robótica: A medida que los robots de propósito general entran en entornos del mundo real, este enfoque proporciona un mecanismo para que los usuarios den forma a los comportamientos de los robots mediante modificadores de objetivos, permitiendo que los robots realicen tareas con diversos grados de "estilo" o restricciones específicas (por ejemplo, limpieza silenciosa frente a limpieza rápida).
• Codificación del Comportamiento: A diferencia de los agentes de RL estándar que aprenden un único comportamiento, los agentes entrenables codifican una "familidad de comportamientos", ofreciendo una interfaz flexible entre la intención humana y la ejecución de la máquina.

Los autores enfatizan que la mayor parte del esfuerzo en este marco de trabajo reside en la creación de los incentivos y los escenarios de práctica (el "entrenamiento" o coaching), más que en la arquitectura algorítmica propiamente dicha, lo que sugiere que el diseño de los entornos de entrenamiento es crítico para escalar a dominios complejos.