💬 NLP

Hierarchical Reward Design from Language: Enhancing Alignment of Agent Behavior with Human Specifications

El artículo presenta HRDL y su solución L2HR, un marco que traduce especificaciones humanas en lenguaje natural a recompensas jerárquicas para alinear mejor el comportamiento de los agentes de IA con las preferencias humanas en tareas complejas.

Autores originales: Zhiqin Qian, Ryan Diaz, Sangwon Seo, Vaibhav Unhelkar

Publicado 2026-02-24

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Zhiqin Qian, Ryan Diaz, Sangwon Seo, Vaibhav Unhelkar

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que estás entrenando a un robot para que trabaje en tu casa. No solo quieres que termine la tarea (como limpiar el suelo), sino que también quieres que lo haga bien (sin romper tus jarrones favoritos, sin ensuciar más de lo necesario y siguiendo un orden lógico).

Este paper habla de un nuevo método para enseñarle a la inteligencia artificial (IA) cómo comportarse, no solo qué hacer. Aquí te lo explico con una analogía sencilla:

El Problema: El "Entrenador" vs. El "Jefe"

Imagina que tienes un entrenador deportivo (el programador) y un atleta (la IA).

El método antiguo (Recompensa "Plana"): El entrenador le grita al atleta: "¡Gana el partido!".
- Resultado: El atleta gana, pero quizás lo hace empujando a los rivales, rompiendo las reglas o de una manera muy fea. Solo se enfoca en el resultado final, no en cómo lo hizo.
- En la IA, esto es como darle una recompensa solo cuando termina la tarea. La IA aprende a "hacer trampa" para ganar rápido, ignorando tus preferencias.
El nuevo método (HRDL - Diseño Jerárquico): El entrenador divide el entrenamiento en dos niveles, como un jefe de obra y un capataz.
1. El Jefe (Nivel Alto): Le dice al capataz: "Primero construye los cimientos, luego las paredes, y finalmente el techo". Se enfoca en el orden y la estrategia.
2. El Capataz (Nivel Bajo): Le dice al obrero: "Mientras pones el ladrillo, asegúrate de no manchar la pared con cemento". Se enfoca en la ejecución y los detalles.

La Solución: "De Lenguaje a Recompensas" (L2HR)

Lo genial de este trabajo es que no necesitas ser un experto en programación para darle estas instrucciones. Puedes usar lenguaje natural (como hablarle a un amigo).

Imagina que le escribes a un asistente muy inteligente (una Inteligencia Artificial avanzada, como un "cerebro" de lenguaje):

"Oye, quiero que el robot recoja todas las manzanas y huevos de la mesa y los lleve al fregadero. Pero, por favor: nunca pase cerca de la silla de madera mientras lleva un huevo, y asegúrate de alternar entre recoger una manzana y un huevo."

El sistema L2HR toma esa frase, la entiende y automáticamente crea dos tipos de "reglas de juego" (recompensas) para el robot:

Una regla para el Jefe: "Si recogiste una manzana, la siguiente debe ser un huevo".
Una regla para el Capataz: "Si estás llevando un huevo, mantente lejos de la silla".

¿Por qué es mejor esto?

En el pasado, intentar poner todas esas reglas en una sola instrucción simple (como "no toques la silla y alterna los objetos") era como intentar escribir una novela entera en una sola línea de texto. La IA se confundía o ignoraba las partes difíciles.

Al separar las instrucciones en dos niveles (Estrategia y Ejecución), el robot entiende mucho mejor:

En Rescue World (Mundo de Rescate): El robot aprende a entregar todos los suministros médicos antes de cambiar a los alimentos. Un método antiguo no podía entender ese "orden de prioridad" tan bien.
En iTHOR (Cocina Virtual): El robot aprende a evitar la silla solo cuando lleva huevos, pero no cuando lleva manzanas. ¡Es como si tuviera sentido común!
En la Cocina (Overcooked): El robot aprende a cortar los ingredientes en el orden exacto que tú quieres (tomate, luego cebolla, luego lechuga).

La Analogía Final: El Director de Orquesta

Piensa en la IA como una orquesta.

Con el método antiguo, el director solo gritaba: "¡Tocad fuerte!". La orquesta hacía ruido, pero no era música bonita.
Con este nuevo método, el director (el sistema HRDL) le da al director de sección (nivel alto) la partitura general (qué instrumentos entran y cuándo) y a los músicos (nivel bajo) les dice cómo tocar cada nota con delicadeza.

En resumen:
Este paper presenta una forma nueva y más humana de enseñar a las máquinas. En lugar de darles órdenes vagas, les permitimos explicarles cómo queremos que hagan las cosas, dividiendo el trabajo en "qué hacer" (estrategia) y "cómo hacerlo" (ejecución). Gracias a esto, los robots y agentes de IA no solo son más eficientes, sino que se comportan de una manera que realmente nos gusta y nos hace sentir seguros.

Resumen Técnico: Diseño Jerárquico de Recompensas desde el Lenguaje (HRDL)

1. El Problema

En el despliegue de agentes de Inteligencia Artificial (IA) en entornos complejos y de largo alcance (long-horizon), como hogares o zonas de desastre, no basta con que el agente complete una tarea; es crucial que lo haga siguiendo especificaciones de comportamiento humanas (orden de subtareas, seguridad, preferencias operativas).

El desafío principal radica en el diseño de recompensas para el Aprendizaje por Refuerzo (RL). Los métodos existentes suelen utilizar recompensas planas (flat rewards) de la forma $r(s, a)$ , que asignan un valor basado únicamente en el estado y la acción actual.

Limitación: Las recompensas planas son fundamentalmente limitadas para capturar especificaciones complejas en tareas de largo alcance que requieren:
1. Dependencia del historial de subtareas: Saber qué subtarea se ejecutó anteriormente para decidir la siguiente (ej. "alternar tipos de objetos").
2. Ejecución condicional: Saber cómo ejecutar una acción específica dependiendo de la subtarea en curso (ej. "evitar zonas peligrosas solo si se está transportando un objeto frágil").
3. Abstracción: Las recompensas planas no pueden distinguir fácilmente entre estados que son idénticos en la observación pero que pertenecen a diferentes fases de una jerarquía de tareas.

2. Metodología Propuesta

Los autores proponen un marco teórico y una solución algorítmica para superar estas limitaciones.

A. Formulación del Problema: HRD y HRDL
Introducen el problema de Diseño Jerárquico de Recompensas (HRD), que extiende el clásico problema de diseño de recompensas (RDP) al contexto de RL Jerárquico (HRL).

Estructura: En lugar de una sola función de recompensa, HRD define dos componentes:
1. Recompensa de Alto Nivel ( $r_H$ ): Guía la selección de opciones (subtareas). Depende del estado actual, la opción anterior y la opción actual ( $r_H(o_{prev}, s, o_{curr})$ ). Permite especificar el orden y las dependencias entre subtareas.
2. Recompensa de Bajo Nivel ( $r_L$ ): Guía la ejecución de acciones primitivas dentro de una opción. Depende del estado, la opción actual y la acción ( $r_L(s, o, a)$ ). Permite especificar cómo se debe ejecutar una subtarea.
HRDL (Hierarchical Reward Design from Language): Es una instancia específica de HRD donde las especificaciones de comportamiento se proporcionan en lenguaje natural. El objetivo es generar automáticamente las funciones $r_H$ y $r_L$ a partir de texto.

B. Solución Algorítmica: L2HR (Language to Hierarchical Rewards)
Proponen L2HR, un algoritmo que utiliza Grandes Modelos de Lenguaje (LLMs) para sintetizar código de recompensas jerárquicas.

Estrategia de Prompting: El LLM recibe un prompt estructurado que incluye:
- Descripción de la tarea y el entorno (código de contexto).
- Definición de los espacios de acciones (primitivas) y opciones (subtareas).
- Especificaciones de comportamiento en lenguaje natural (separadas en preferencias de alto y bajo nivel).
- Restricciones de formato para evitar variables globales o estados no permitidos.
Procedimiento de Entrenamiento en Dos Etapas:
1. Generación y Filtrado de Bajo Nivel: El LLM genera candidatos de recompensas de bajo nivel ( $\tilde{r}_L$ ). Se entrena una política de bajo nivel para cada candidato. Solo se conservan aquellos que logran completar los objetivos de las subtareas (pseudo-recompensas).
2. Generación y Filtrado de Alto Nivel: Usando las políticas de bajo nivel válidas, el LLM genera candidatos de recompensas de alto nivel ( $\tilde{r}_H$ ). Se entrena la política de alto nivel.
3. Selección Final: Se devuelven los pares de recompensas $(\tilde{r}_H, \tilde{r}_L)$ que maximizan la puntuación de aptitud (fitness), asegurando tanto la completitud de la tarea como la alineación con las especificaciones.

3. Contribuciones Clave

Formalización Teórica: Definen formalmente el problema HRD y demuestran teóricamente que las recompensas jerárquicas son estrictamente más expresivas que las recompensas planas.
- Propiedad 1: Especificaciones sobre la selección de subtareas (ej. secuencias) pueden expresarse en $r_H$ pero no en $r_{flat}$ .
- Propiedad 2: Especificaciones sobre la ejecución condicional (ej. "evitar X solo durante la opción Y") pueden expresarse en $r_L$ pero no en $r_{flat}$ .
Compatibilidad: El marco se integra con estructuras de decisión estándar (MDP y Semi-MDP) y algoritmos de RL existentes (como PPO y DQN), sin requerir cambios radicales en los algoritmos de aprendizaje.
L2HR: Presentan el primer algoritmo que genera recompensas jerárquicas directamente desde especificaciones de lenguaje natural, demostrando que los LLMs pueden razonar sobre estructuras de recompensa complejas y temporales.

4. Resultados Experimentales

Los autores evaluaron L2HR en tres dominios de largo alcance: Rescue World (rescate), iTHOR (tareas domésticas) y Kitchen (preparación de comida). Compararon L2HR (Hier) contra:

Flat: Generación de recompensas planas desde lenguaje.
Task: Solo recompensa de tarea (sin especificaciones de comportamiento).

Hallazgos Cuantitativos:

Alineación con Especificaciones: L2HR superó significativamente a los métodos basados en recompensas planas.
- En Rescue World, L2HR logró un 76.92% de alineación de nivel experto en especificaciones de alto nivel (persistencia de tipo de objeto), mientras que el método "Flat" solo logró un 12.50% (y a menudo falló por no poder acceder al historial de opciones).
- En iTHOR, L2HR alcanzó un 87.50% de alineación en alto nivel frente al 0% de "Flat".
- En Kitchen, L2HR logró un 92.86% de alineación en la secuencia de corte, frente al 10% de "Flat".
Viabilidad de la Tarea: L2HR preservó mejor la capacidad de completar la tarea principal. Las recompensas planas a menudo inducían comportamientos erróneos (ej. no evitar zonas peligrosas porque el agente no podía inferir su intención de transporte) o fallaban en la generación de código sintácticamente correcto.
Estudios con Humanos: En estudios de usuario, los participantes calificaron consistentemente a los agentes entrenados con L2HR como mucho más alineados con las especificaciones (promedio > 4.5/5) en comparación con los agentes de recompensas planas.

5. Significado e Impacto

Este trabajo representa un avance significativo en la IA centrada en el humano y el RL alineado:

Superación de la Brecha de Expresividad: Demuestra que para tareas complejas, la estructura de la recompensa debe ser tan jerárquica como la tarea misma. Las recompensas planas son insuficientes para capturar la lógica temporal y condicional de las instrucciones humanas.
Automatización del Diseño de Recompensas: L2HR reduce la carga cognitiva y técnica de diseñar recompensas manualmente para comportamientos complejos, permitiendo a los usuarios definir especificaciones en lenguaje natural.
Escalabilidad: Al formalizar HRD, se sientan las bases para futuros métodos que puedan combinar jerarquías, aprendizaje por demostración y retroalimentación humana para crear agentes de IA más robustos y confiables en el mundo real.

En conclusión, el paper establece que la jerarquía en el diseño de recompensas no es solo una opción de ingeniería, sino una necesidad teórica para alinear agentes de IA con especificaciones humanas complejas, y demuestra que los LLMs pueden ser herramientas efectivas para automatizar este proceso jerárquico.