💻 computer science

Training One Model to Master Cross-Level Agentic Actions via Reinforcement Learning

El artículo presenta CrossHA, un modelo agéntico unificado entrenado mediante un novedoso flujo de trabajo que combina el ajuste fino supervisado y la Optimización de Política Relativa de Grupo de Multiturno para seleccionar y alternar autónomamente entre espacios de acción heterogéneos, logrando así un rendimiento y una adaptabilidad de vanguardia en tareas dinámicas de largo alcance dentro del entorno de Minecraft.

Autores originales: Kaichen He, Zihao Wang, Muyao Li, Anji Liu, Yitao Liang

Publicado 2026-06-05

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Kaichen He, Zihao Wang, Muyao Li, Anji Liu, Yitao Liang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot a jugar al videojuego Minecraft. En el pasado, los investigadores tenían que construir "cerebros" separados para diferentes partes del juego. Un cerebro era bueno para caminar (usando comandos simples, paso a paso), otro era bueno haciendo clic en menús (usando movimientos de ratón precisos) y un tercero era bueno utilizando atajos de alto nivel (como "ir al árbol más cercano").

El problema era que estos robots eran rígidos. Si una tarea requería caminar y luego hacer clic en un menú, el robot se confundía o se quedaba trabado porque había sido entrenado para usar solo un tipo de "lenguaje" a la vez.

La Gran Idea: El Agente "Navaja Suiza"
Este artículo presenta CrossHA, un nuevo tipo de agente de IA que actúa como un maestro chef con una cocina completa. En lugar de verse obligado a usar solo una cuchara o solo un cuchillo, CrossHA aprende a mirar el ingrediente (la tarea) y decide instantáneamente: "¿Necesito un picado tosco (un movimiento simple) o un corte fino (un clic preciso) en este momento?".

Es el primer modelo que puede cambiar fluidamente entre diferentes "lenguajes de acción" sobre la marcha, sin que un humano tenga que decirle qué usar en cada paso.

Cómo lo Enseñaron (La Receta de Entrenamiento)

Los investigadores no solo vertieron datos sobre el modelo; utilizaron un flujo de entrenamiento de tres pasos, similar a cómo un humano aprende una habilidad compleja:

La Fase de "Degustación" (Ajuste Fino Supervisado):
Primero, le mostraron al modelo miles de ejemplos de personas jugando al juego utilizando diferentes métodos (algunos caminaban, otros hacían clic, otros usaban atajos). El objetivo aquí era simplemente enseñar al modelo el "vocabulario" de todos estos diferentes métodos para que pudiera entenderlos todos. Era como enseñarle a un estudiante a leer inglés, español y francés, pero sin pedirle todavía que escribiera una historia.
La Fase de "Sprint" (RL de Turno Único):
Después, le dieron al modelo desafíos cortos de un solo paso. Si el modelo intentaba resolver un problema usando el "lenguaje" equivocado (por ejemplo, intentar atravesar una puerta cerrada en lugar de hacer clic en el pomo), recibía una puntuación baja. Si elegía la herramienta adecuada para el trabajo, recibía una recompensa. Esto le enseñó al modelo a tomar decisiones rápidas e inteligentes sobre qué herramienta elegir para un momento específico.
La Fase de "Maratón" (RL de Multi-Turno):
Finalmente, dejaron que el modelo jugara partidas completas y largas. El objetivo no era solo acertar un paso, sino completar toda la misión de manera eficiente. El modelo aprendió que, a veces, usar un método "rápido pero tosco" es mejor para caminar a través de un campo, pero cambiar a un método "lento pero preciso" es necesario para fabricar un objeto delicado. Aprendió a equilibrar la velocidad y la precisión a lo largo de un viaje largo.

Los Resultados: Por Qué Importa

Los investigadores probaron este modelo en más de 800 tareas diferentes en Minecraft, que iban desde talar árboles hasta fabricar objetos complejos y luchar contra monstruos.

La Forma Antigua: Los robots entrenados para usar solo un método (como solo caminar) eran excelentes caminando, pero pésimos fabricando objetos. Eran como una persona que solo sabe correr pero no sabe abrir una puerta.
La Forma de CrossHA: El nuevo modelo fue el mejor en todo. No solo obtuvo puntuaciones promedio altas; destacó porque sabía exactamente cuándo cambiar de marcha.

La Analogía del "Conductor Inteligente":
Imagina conducir un coche.

Un robot de acción fija es como un conductor que solo sabe conducir por una autopista. Si llega a un camino de tierra, choca. Si entra en un estacionamiento, se pierde.
CrossHA es como un conductor experto que sabe cuándo poner una marcha alta para la autopista (eficiencia) y cuándo poner una marcha baja y maniobrar con cuidado para un estacionamiento estrecho (precisión). No necesita un copiloto que le diga cuándo cambiar de marcha; simplemente siente la carretera y se adapta.

La Conclusión

El artículo afirma que, al entrenar a un solo modelo para dominar todos estos diferentes "espacios de acción" y dejar que aprendiera mediante el aprendizaje por refuerzo (ensayo y error con recompensas), crearon un agente que es significativamente más inteligente, flexible y eficiente que los modelos anteriores que estaban limitados al uso de un solo tipo de acción.

Lo demostraron mostrando que el modelo podía manejar más de 800 desafíos en un juego de mundo abierto y complejo, superando a todos los demás métodos existentes. El código y los modelos ahora están disponibles para que otros los utilicen.

Resumen Técnico: CrossHA – Entrenamiento de un único modelo para dominar acciones agénticas de nivel cruzado mediante aprendizaje por refuerzo

1. Declaración del Problema

El paradigma de la IA agéntica se está desplazando desde flujos de trabajo diseñados en torno a modelos de lenguaje extensos (LLM) y modelos de lenguaje-visión (VLM) preentrenados hacia modelos agénticos nativos desarrollados mediante post-entrenamiento. Sin embargo, los agentes existentes suelen estar confinados a espacios de acción estáticos y predefinidos (por ejemplo, el uso exclusivo de APIs, eventos de GUI o comandos robóticos). Esta rigidez crea dos limitaciones fundamentales:

Fragilidad: Las políticas de acción específicas o las capas de traducción suelen fallar en entornos dinámicos (por ejemplo, funciones de API bloqueadas por CAPTCHAs, o políticas robóticas que carecen de precisión).
Inflexibilidad: La asignación manual de espacios de acción a las tareas restringe la adaptabilidad. Crucialmente, el espacio de acción óptimo suele variar no solo entre tareas, sino dentro de una misma tarea a nivel de paso. Por ejemplo, un agente de "Investigación Profunda" podría utilizar eficientemente APIs de búsqueda para la recopilación de información, pero requerir una manipulación precisa a nivel de GUI para sortear un CAPTCHA.

Los enfoques actuales suelen depender de canales complejos y frágiles para orquestar transiciones entre espacios de acción disjuntos o para fusionar trayectorias heterogéneas sin optimizar explícitamente el mecanismo de selección. Existe una falta de modelos unificados que puedan seleccionar autónomamente la interfaz más efectiva (que va desde APIs de alto nivel hasta primitivas de bajo nivel) para cada paso de una trayectoria basándose en el contexto.

2. Metodología: El Marco de Trabajo CrossHA

Para abordar estas limitaciones, los autores proponen CrossHA, un modelo agéntico unificado entrenado para dominar múltiples espacios de acción heterogéneos y seleccionar autónmamente la interfaz apropiada para cada paso. El modelo se entrena mediante un flujo de trabajo integral de tres etapas que integra el ajuste fino supervisado (SFT) de arranque en frío con un algoritmo de Optimización de Política Relativa de Grupo (GRPO) de múltiples turnos.

2.1. Formulación del Problema

La tarea se modela como un Proceso de Decisión de Markov (MDP) con un espacio de acción compuesto $\mathcal{A} = \bigcup_{x=1}^{N} \mathcal{A}_x$ , donde cada subespacio $\mathcal{A}_x$ corresponde a una clase distinta de acciones (por ejemplo, controles motores de bajo nivel frente a primitivas de movimiento de alto nivel). El objetivo es maximizar la recompensa esperada penalizando los costes computacionales u operativos asociados con las diferentes granularidades de acción:
$J = \mathbb{E}\left[\sum_{t} (r_t - \lambda_x \text{cost}(a_t))\right]$

2.2. Flujo de Entrenamiento

El proceso de entrenamiento consta de tres etapas progresivas:

Etapa 1: Ajuste Fino Supervisado (SFT) de Espacio Mixto
El modelo se inicializa en un conjunto de datos equilibrado que comprende trayectorias de múltiples subespacios de acción. El objetivo es construir un modelo base robusto ( $M_{mix}$ ) capaz de decodificar y generar acciones válidas a través de diversas modalidades sin interferencia modal. En esta etapa, el modelo aprende sintaxis y semántica, pero aún no selecciona autónomamente el espacio de acción óptimo.
Etapa 2: Aprendizaje por Refuerzo de Turno Único (STRL)
Esta etapa permite al modelo seleccionar autónmamente el espacio de acción apropiado para los contextos de la tarea inmediata.
- Calentamiento: Una fase de SFT mejorada por diversidad genera acciones candidatas a través de todos los espacios, filtrando las ejecuciones exitosas para crear anotaciones de verdad fundamental (ground-truth).
- Optimización: El modelo se ajusta mediante la Optimización de Política Relativa de Grupo (GRPO). A diferencia de PPO, GRPO estima la ventaja basándose en el rendimiento relativo de un grupo de salidas muestreadas en lugar de una función de valor aprendida. La recompensa es agnóstica al espacio de acción: se otorga crédito si la acción bruta analizada coincide con la verdad fundamental, independientemente de la forma superficial utilizada. Esto incentiva al modelo a seleccionar el espacio de acción más fiable para una entrada dada.
Etapa 3: Aprendizaje por Refuerzo de Múltiples Turnos (MTRL)
Para optimizar el razonamiento de largo horizonte y la eficiencia de la trayectoria, el modelo se somete a MTRL.
- Inicialización: Un paso de auto-entrenamiento relabela el conjunto de datos basándose en las preferencias del modelo STRL, creando un prior fuerte para la selección apropiada del espacio de acción ( $M_{cs2}$ ).
- Optimización de Trayectoria: El modelo se ajusta en un conjunto de tareas curadas utilizando una recompensa episódica binaria (éxito/fallo) combinada con una penalización por la longitud de los tokens. Esto incentiva al agente a equilibrar el éxito de la tarea con la eficiencia de ejecución, prefiriendo acciones de alto nivel concisas cuando sea posible y cambiando a acciones atómicas finas cuando sea necesario.

3. Contribuciones Clave

Modelo CrossHA: Un modelo agéntico unificado capaz de dominar espacios de acción heterogéneos y seleccionar autónmamente la interfaz apropiada según el contexto sin depender de heurísticas definidas por humanos.
Flujo de Trabajo de RL Integral: La introducción de un marco de entrenamiento que utiliza GRPO de múltiples turnos, permitiendo que el agente aprenda la transición de acciones adaptativa dentro de una misma trayectoria para maximizar tanto el éxito de la tarea como la eficiencia de la ejecución.
Rendimiento de Vanguardia: Demostración de una generalización y robustez superiores en tareas de razonamiento de largo horizonte en comparación con las líneas de base estáticas.

4. Resultados Experimentales

Los autores evaluaron CrossHA en el entorno de mundo abierto Minecraft (versión 1.16.5), utilizando la suite de evaluación OpenHA, que contiene más de 800 tareas diseñadas manualmente categorizadas en:

Mine Blocks (Minar Bloques): Navegación e interacción física.
Craft Items (Fabricar Objetos): Interacciones de GUI complejas.
Kill Entities (Eliminar Entidades): Supervivencia y combate.

Hallazgos Clave:

Rendimiento: CrossHA alcanzó un rendimiento de vanguardia en todas las categorías. Notablemente, alcanzó una tasa de Tareas Finalizadas (FT) del 94.7% en "Mine Blocks" y del 83.3% en "Craft Items", superando significativamente a las líneas de base de acción fija.
Generalización: A pesar de haber sido entrenado en solo 30 tareas (10 de cada categoría), CrossHA logró generalizarse a más de 800 tareas de evaluación.
Estudios de Ablación:
- Espacios de Acción Mixtos: CrossHA convergió más rápido y alcanzó un rendimiento asintótico más alto que las líneas de base de espacio único (por ejemplo, GroundingHA, MotionHA) durante MTRL, demostrando una mejor eficiencia de datos.
- Necesidad de STRL: La inclusión de la etapa STRL mejoró significamente la eficiencia del entrenamiento y el rendimiento final, particularmente en tareas Fuera de Distribución (OOD).
- Robustez: Mientras que los agentes de espacio único mostraron un alto rendimiento en tareas Dentro de la Distribución (ID) pero sufrieron una caída brusca en tareas OOD, CrossHA mantuvo una brecha de generalización menor, lo que sugiere que la selección dinámica del espacio de acción mitiga el sobreajuste.

5. Significado y Reivindicaciones

El artículo afirma que CrossHA representa un paso significativo hacia agentes verdaderamente generalistas. Al tratar la selección del espacio de acción como un componente aprendible optimizado mediante aprendizaje por refuerzo, el modelo supera la rigidez de los diseños estáticos. Los resultados demuestran que la selección adaptativa del espacio de acción produce una generalización y robustez superiores en comparación con las líneas de base estáticas.

Los autores enfatizan que el modelo aprende a equilibrar las compensaciones dinámicamente: priorizando acciones de alto nivel para la eficiencia cuando es aplicable, mientras emplea acciones atómicas finas para un control preciso cuando es necesario. Esta capacidad permite al agente manejar escenarios complejos que requieren interacciones multimodales sin intervención manual.

El trabajo futuro, según señalan los autores, incluye la mejora de la eficiencia del RL de múltiples turnos y la extensión del marco de trabajo a entornos robóticos del mundo real, donde surgen desafíos como la seguridad y la latencia.