🤖 machine learning

Automating Potential-based Reward Shaping with Vision Language Model Guidance

Este artículo presenta VLM-PBRS, un marco que aprovecha la retroalimentación de preferencias de modelos de visión y lenguaje ligeros para aprender automáticamente funciones potenciales para el modelado de recompensas, acelerando así el aprendizaje por refuerzo en entornos de recompensa dispersa mientras preserva las políticas óptimas y evita el hackeo de recompensas.

Autores originales: Henrik Müller, Daniel Kudenko

Publicado 2026-06-26

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Henrik Müller, Daniel Kudenko

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot a realizar una tarea compleja, como abrir un cajón o encender una estufa. En el mundo de la robótica y la IA, esto se llama Aprendizaje por Refuerzo (Reinforcement Learning).

El Problema: El "Maestro Silencioso"

Normalmente, le enseñas a un robot dándole una recompensa solo cuando completa la tarea perfectamente. Esto es como un profesor que permanece en silencio durante todo el tiempo que un estudiante resuelve un problema de matemáticas y solo dice "¡Buen trabajo!" al final si la respuesta es correcta.

El Probleario: Si el robot intenta un millón de cosas diferentes y solo recibe un "¡Buen trabajo!" una vez por pura suerte, no tiene idea de qué parte de esos un millón de intentos fue útil. Es como intentar encontrar una aguja en un pajar a oscuras. Esto se llama recompensa dispersa (sparse reward), y hace que el aprendizaje sea increíblemente lento.

La Solución Antigua: El "Entrenador Entusiasta"

Para solucionar esto, los humanos a menudo intentan darle al robot pequeñas recompensas a lo largo del camino (como "¡Bien, acercaste tu mano al mango!" o "¡Bien, agarraste el asa!"). Esto se llama Modelado de Recompensas (Reward Shaping).

El Riesgo: Si el entrenador es demasiado entusiasta o da las pistas equivocadas, el robot podría distraerse. Podría aprender a mover la mano cerca del mango solo para recibir el sonido de "¡Buen trabajo!", sin llegar a abrir realmente el cajón. Esto se llama Hackeo de Recompensas (Reward Hacking). El robot resuelve las pistas, no la tarea.

La Nueva Solución: El "Guía Inteligente y Económico"

Este artículo presenta un nuevo método llamado VLM-PBRS. Utiliza un tipo especial de IA llamada Modelo de Visión-Lenguaje (VLM, por sus siglas en inglés). Piensa en un VLM como un robot que puede tanto ver imágenes como leer instrucciones.

Así es como funciona el método de los autores, usando una analogía simple:

1. El Juego de las "Dos Fotos"

En lugar de pedirle al VLM que escriba un conjunto complejo de reglas (lo cual es difícil y costoso), el sistema juega un juego sencillo:

Muestra al VLM dos imágenes del robot en dos momentos diferentes.
Pregunta: "El objetivo es abrir el cajón. En qué imagen está el robot más cerca de ganar".
El VLM responde: "Imagen A" o "Imagen B".

2. El "Mapa Seguro" (Modelado de Recompensas Basado en Potencial)

Esta es la parte ingeniosa. Los autores no permiten que la respuesta del VLM se convierta en la única recompensa. En su lugar, utilizan la respuesta del VLM para construir un mapa mental (llamado "función de potencial").

La Analogía: Imagina que el VLM es un excursionista que te entrega una brújula. La brújula apunta generalmente hacia el objetivo.
La Red de Seguridad: El artículo utiliza una garantía matemática (Modelado de Recompensas Basado en Potencial) que dice: "Incluso si la brújula es ligeramente errónea, nunca te engañará para que camines hacia un precipicio o camines en la dirección equivocada para siempre. Solo hará que camines más rápido o más lento".
Debido a esta red de seguridad, el robot puede usar un VLM más barato, pequeño y rápido; no necesita una IA superinteligente y costosa para ser perfecta; solo necesita una que sea "suficientemente buena" para indicar el camino.

3. El Resultado

El robot aprende mucho más rápido porque recibe pistas constantes de la "brújula" del VLM, pero tiene la garantía matemática de que seguirá aprendiendo la forma correcta de resolver la tarea, incluso si el VLM comete algunos errores.

Lo que los autores encontraron realmente

Los investigadores probaron esto en dos mundos virtuales:

Meta-World: Un conjunto de tareas robóticas simples (como presionar un botón o abrir una puerta).
Franka Kitchen: Un entorno de cocina más complejo y desordenado con muchos objetos que distraen.

Sus hallazgos clave:

Velocidad: El robot aprendió significativamente más rápido usando su método en comparación con esperar al "maestro silencioso" (recompensas dispersas).
Seguridad: Incluso cuando el VLM no era perfecto (a veces adivinaba mal), el robot no fue "hackeado" ni confundido. Aun así aprendió la tarea correcta, solo que un poco más lento.
Costo: Demostraron que no se necesitan los modelos de IA más grandes y caros. Los modelos más pequeños y económicos funcionan bien porque la "red de seguridad" protege el proceso de aprendizaje.
Comparación: En algunas tareas, su método funcionó incluso mejor que un experto humano diseñando manualmente las pistas de recompensa. En otras, estuvo cerca de las pistas diseñadas por humanos, pero requirió cero esfuerzo humano para crearlas.

Resumen

El artículo presenta una forma de enseñar a los robots más rápido utilizando una IA "económica" para dar pistas simples de "esto es mejor que aquello". Debido a una regla matemática especial de seguridad, estas pistas aceleran el aprendizaje sin engañar al robot para que haga lo incorrecto. Es como darle a un estudiante un mapa ligeramente imperfecto en lugar de una hoja de papel en blanco: alcanzarán el destino, solo que mucho antes.

Resumen Técnico: Automatización del Modelado de Recompensas Basado en Potencial con Guía de Modelos de Lenguaje y Visión

Declaración del Problema

Los agentes de Aprendizaje por Refuerzo (RL) enfrentan desafíos significativos en entornos con recompensas dispersas (sparse rewards), donde la retroalimentación solo se proporciona al completar la tarea. Esta falta de guía intermedia dificulta la exploración y hace que sea difícil atribuir el éxito a partes específicas de una trayectoria. Si bien el Modelado de Recompensa (Reward Shaping —añadir señales auxiliares para guiar la exploración—) es una solución común, el modelado arbitrario suele conducir al hackeo de recompensas (reward hacking), donde los agentes explotan las señales auxiliares para maximizar la recompensa sin resolver la tarea prevista.

El Modelado de Recompensa Basado en Potencial (PBRS) ofrece una alternativa teóricamente sólida al añadir la diferencia de una función de potencial $\Phi(s)$ entre estados sucesivos a la recompensa. El PBRS garantiza la preservación del conjunto de políticas óptimas de la tarea original. Sin embargo, definir una función de potencial efectiva requiere típicamente un extenso conocimiento experto y una ingeniería manual, lo que limita su escalabilidad.

Los enfoques recientes que utilizan Modelos de Lenguaje y Visión (VLMs) para aprender funciones de recompensa directamente (por ejemplo, RL-VLM-F) reducen la necesidad de diseño humano, pero dependen de la capacidad del VLM para aproximar perfectamente la verdadera función de recompensa. Esto impone un requisito estricto de precisión en las etiquetas; los errores en la salida del VLM pueden conducir a políticas subóptimas. Además, consultar VLMs grandes y de última generación repetidamente durante el entrenamiento es computacionalmente prohibitivo.

Metodología: VLM-PBRS

Los autores proponen VLM-PBRS, un marco para automatizar la construcción de una función de potencial para PBRS utilizando etiquetas de preferencia generadas por un VLM. La innovación central radica en aprovechar la propiedad de invarianza de la política de PBRS para relajar los requisitos de precisión del VLM, permitiendo el uso de modelos más pequeños y eficientes.

Componentes Principales

Bucle de Aprendizaje Basado en Preferencias:
- El sistema opera en un bucle iterativo que involucra la mejora de la política, la recolección de datos y la consulta al VLM.
- Recolección de Datos: El agente interactúa con el entorno, recolectando trayectorias y observaciones de imágenes.
- Consulta al VLM: Se muestrean pares de imágenes ( $\sigma_i, \sigma_j$ ) del búfer. Se construye un prompt que contiene el par de imágenes y una descripción en lenguaje natural del objetivo. Se consulta al VLM para determinar qué imagen logra mejor el objetivo.
- Estructura del Prompt: El prompt pide al VLM identificar elementos comunes, describir diferencias con respecto al objetivo y emitir una etiqueta legible por máquina ( $y \in \{-1, 0, 1\}$ ) que indique la preferencia.
- Extracción de Etiquetas: A diferencia de trabajos previos (por ejemplo, RL-VLM-F) que utilizan una segunda llamada de LLM para extraer etiquetas de salidas verbosas del VLM, VLM-PBRS extrae la etiqueta directamente de una sola llamada al VLM para mejorar la eficiencia computacional.
Construcción de la Función de Potencial:
- Se entrena un modelo de preferencia $r_\psi$ sobre las etiquetas del VLM recolectadas utilizando una función de pérdida (Entropía Cruzada o Error Absoluto Medio) .
- El modelo entrenado se transforma en una función de potencial $\Phi(s)$ :
  $\Phi(s) = \begin{cases} 0 & \text{si } s \text{ es terminal} \\ \lambda \sigma(r_\psi(s)) & \text{en caso contrario} \end{cases}$
  donde $\sigma$ es una activación sigmoide y $\lambda$ es un factor de escala (establecido en 0.9) para asegurar que la recompensa modelada permanezca positiva y acotada por debajo de la recompensa del objetivo.
Modelado de Recompensa (Reward Shaping):
- La recompensa modelada $R'$ se calcula como $R'(s, a, s') = R(s, a, s') + (\gamma \Phi(s') - \Phi(s))$ .
- Esta recompensa modelada guía al agente de RL (usando SAC) durante la exploración. El búfer de repetición (replay buffer) se recomputa con las recompensas modeladas actualizadas a medida que la función de potencial mejora.

Decisiones de Diseño Clave

VLMs Pequeños: El marco utiliza VLMs más pequeños de pesos abiertos (por ejemplo, Ovis2-16B, Qwen3-VL-8B), los cuales son computacionalmente eficientes. Los autores argumentan que, aunque estos modelos pueden producir etiquetas menos precisas que los modelos más grandes, el marco PBRS es robusto ante dicho ruido.
Etiquetado de Paso Único: Al evitar una segunda llamada de LLM para la generación de etiquetas, el método reduce significativamente la sobrecarga computacional.

Principales Contribuciones

Primera Aplicación de Aprendizaje de Preferencias mediante VLM para PBRS: El artículo introduce el primer marco para sintetizar una función de potencial para PBRS directamente a partir de etiquetas de preferencia de VLM, requiriendo únicamente una descripción textual del objetivo y observaciones visuales.
Uso Principado de VLMs Pequeños: Los autores establecen que la garantía de invarianza de la política de PBRS relaja los estrictos requisitos de precisión de las etiquetas en el modelado directo de recompensas. Esto permite el uso de VLMs más pequeños y computacionalmente eficientes sin comprometer la optimalidad de la política aprendida, incluso si las etiquetas son ruidosas.
Validación Empírica: El método se valida en los entornos Meta-World y Franka Kitchen, demostrando una mejora en la eficiencia de muestreo y robustez frente al hackeo de recompensas en comparación con recompensas dispersas y el aprendizaje de recompensas VLM ingenuo.

Resultados

Los autores evaluaron VLM-PBRS contra cuatro líneas base: Recompensas Dispersas (Sparse Rewards), Recompensas Densas Diseñadas por Humanos y RL-VLM-F (aprendizaje de recompensa directa).

Eficiencia de Muestreo: VLM-PBRS aceleró consistentemente el aprendizaje en comparación con la línea base de recompensa dispersa en todas las tareas probadas (por ejemplo, presionar botón, abrir ventana, microondas, interruptor de luz).
Comparación con RL-VLM-F: Aunque RL-VLM-F mejoró respecto a las recompensas dispersas en algunas tareas, a menudo convergió a políticas subóptimas en otras (por ejemplo, presionar botón, quemador superior) debido a que los errores de etiquetado del VLM crearon incentivos incorrectos. En contraste, VLM-PBRS mantuvo la convergencia de la política óptima incluso con etiquetas ruidosas, ya que la propiedad de PBRS evita que el agente sea permanentemente engañado.
Rendimiento vs. Diseño Humano: En la tarea de presionar botón (button-press), VLM-PBRS con una precisión de VLM de ~59% superó a la línea base de recompensa densa diseñada por humanos, la cual sufrió de hackeo de recompensas.
Sensibilidad a la Precisión de las Etiquetas:
- Experimentos con un etiquetador oráculo mostraron que las mejoras en la eficiencia de muestreo se correlacionan con la precisión de las etiquetas.
- Incluso con niveles de precisión por debajo del azar (0.0), VLM-PBRS no degradó el rendimiento por debajo de la línea base de recompensa dispersa, apoyándose en la exploración de RL subyacente.
- En tareas donde la precisión del VLM era cercana al azar (por ejemplo, abrir cajón), VLM-PBRS mostró mejoras leves respecto a las recompensas dispersas, pero no logró igualar las recompensas densas diseñadas por humanos.
Estudios de Ablación:
- Tamaño de Lote (Batch Size): Se encontró que usar 20 etiquetas por lote de consulta al VLM era suficiente, equilibrando el rendimiento y el costo computacional.
- Función de Pérdida: Las pérdidas de Entropía Cruzada y de Error Absoluto Medio (MAE) funcionaron de manera similar; se seleccionó la Entropía Cruzada como la predeterminada.

Significado y Reivindicaciones

El artículo afirma que VLM-PBRS proporciona una vía práctica y escalable para automatizar el modelado de recompensas en entornos con recursos limitados. Al desacoplar la necesidad de un razonamiento perfecto del VLM de la garantía de optimalidad de la política, el método permite el uso de VLMs más pequeños y económicos.

Los autores enfatizan que su enfoque:

Preserva la Optimalidad: A diferencia del aprendizaje directo de recompensas, no corre el riesgo de aprender políticas subóptimas debido a los errores del VLM.
Reduce la Carga de Ingeniería: Elimina la necesidad de funciones de potencial diseñadas por expertos o términos de recompensa densos, requiriendo solo una descripción textual de alto nivel.
Mejora la Robustez: Es inherentemente resiliente al hackeo de recompensas, un modo de falla común en el modelado de recompensas arbitrario.

El trabajo sugiere que a medida que los modelos fundacionales multimodales mejoren, la generalidad y los beneficios de VLM-PBRS aumentarán naturalmente, ofreciendo una alternativa viable al diseño manual de ingeniería de recompensas para tareas robóticas complejas.