Resumen Técnico: Piensa Dos Veces, Actúa Una Vez: Selección de Acciones Guiada por Verificadores para Agentes Encarnados

Enunciado del Problema

Construir agentes encarnados generalistas capaces de resolver tareas complejas de largo horizonte en entornos físicos sigue siendo un desafío fundamental. Aunque los Modelos de Lenguaje Multimodales Grandes (MLLM) han avanzado en el razonamiento de agentes mediante conocimiento visión-idioma y la indicación de Cadena de Pensamiento (CoT), siguen siendo frágiles ante escenarios fuera de distribución (OOD). Los agentes actuales basados en MLLM suelen comprometerse con una única acción decodificada de forma codiciosa en cada paso de tiempo, sin capacidad de autocorrección ni de evaluar rutas alternativas. Esta falta de verificación conduce a fallos en tareas que involucran variaciones parafrásticas (por ejemplo, "fruta amarilla curvada" frente a "plátano") o razonamiento complejo de múltiples pasos donde los errores acumulados degradan el rendimiento.

Metodología: Selección de Acciones Guiada por Verificadores (VEGAS)

Los autores proponen VEGAS, un marco de trabajo en tiempo de prueba diseñado para mejorar la robustez de los agentes encarnados basados en MLLM mediante la introducción de un paso de verificación explícito antes de la ejecución de la acción.

Mecanismo Central

VEGAS opera mediante un procedimiento Best-of-N (Mejor de N) en tiempo de inferencia:

1. Muestreo de Candidatos: En lugar de decodificar una única acción, la política base muestrea un conjunto de $N$ acciones candidatas, cada una acompañada de una traza de razonamiento CoT.
2. Verificación Generativa: Un verificador generativo aprendido evalúa cada candidato. A diferencia de los verificadores discriminatorios que emiten una puntuación escalar, el verificador generativo produce una traza de razonamiento explícita (crítica) seguida de un juicio binario de corrección (sí/no).
3. Selección: Los juicios se mapean a puntuaciones (1 para correcto, 0 para incorrecto). El agente ejecuta la acción candidata con la puntuación promedio más alta a través de múltiples muestras de verificación.

Innovación Clave: Entrenamiento con Fallos Sintéticos

Un hallazgo crítico del artículo es que utilizar un MLLM fuera de la caja como verificador no produce ninguna mejora sobre la política base. La comprensión del lenguaje de propósito general es insuficiente para la verificación encarnada. Para abordar la falta de datos de fallos en los conjuntos de datos encarnados estándar (que típicamente contienen solo demostraciones exitosas), los autores introducen una tubería de síntesis de datos impulsada por LLM:

• Aumento CoT: Las trayectorias exitosas se aumentan con trazas de razonamiento CoT.
• Síntesis de Fallos: Se solicita a un LLM maestro (por ejemplo, OpenAI o3) que genere trayectorias de fallos realistas y diversas a partir de las exitosas. Estos fallos incluyen la selección incorrecta de objetos, recipientes incorrectos, violaciones de precondiciones (por ejemplo, intentar agarrar un objeto no visible) y un orden de acciones incorrecto.
• Anotación de Verificación: El LLM maestro también anota cada acción en las trayectorias exitosas y fallidas con una traza de verificación y un juicio de corrección.
• Entrenamiento del Verificador: Un MLLM dedicado se ajusta finamente sobre este conjunto de datos sintetizado de ejemplos correctos e incorrectos para servir como el verificador generativo.

Configuración Experimental

El marco se evaluó en dos puntos de referencia principales dirigidos a la generalización OOD:

• LangR (Habitat 2.0): Se centra en la robustez parafrástica y la generalización conductual (por ejemplo, reordenamiento de múltiples objetos).
• EB-ALFRED (AI2-THOR): Una versión reestructurada de ALFRED que evalúa tareas de largo horizonte, razonamiento de sentido común y comprensión espacial.

La política base y el verificador se instanciaron utilizando Qwen2.5-VL-3B-Instruct. Los experimentos compararon VEGAS frente a:

• Líneas base sin CoT.
• Políticas solo CoT.
• Verificadores de cero disparos (utilizando el mismo modelo sin ajuste fino).
• Autoconsistencia (votación mayoritaria sin verificador).
• Políticas más grandes fuera de la caja (por ejemplo, Qwen-72B, Gemma-27B) emparejadas con el pequeño verificador ajustado finamente.

Resultados Clave

1. Necesidad de Ajuste Fino: Utilizar un verificador de cero disparos no proporcionó ninguna ganancia de rendimiento sobre la línea base CoT (por ejemplo, 64% vs. 65% en LangR). Solo el verificador ajustado finamente (VEGAS) mejoró significativamente el rendimiento, elevando la tasa de éxito promedio en LangR del 65% al 71% y en EB-ALFRED del 44% al 49%.
2. Escalabilidad y Generalización: VEGAS demostró ganancias consistentes en todas las categorías de tareas, con las mejoras más significativas (hasta un 36% de ganancia relativa) observadas en tareas desafiantes de múltiples objetos y largo horizonte.
3. Mejora Transversal de Modelos: Un pequeño verificador ajustado finamente (3 mil millones de parámetros) mejoró con éxito el rendimiento de políticas mucho más grandes y fuera de la caja con las que nunca fue entrenado. Por ejemplo, mejoró la tasa de éxito de una política Qwen-72B del 30% al 38% en EB-ALFRED.
4. Eficiencia frente a Autoconsistencia: Al escalar la computación en tiempo de prueba, VEGAS escaló más eficazmente que la Autoconsistencia (que depende de la votación mayoritaria), logrando ganancias de rendimiento más pronunciadas con el mismo número de llamadas a LLM.
5. Latencia: A pesar de requerir $N(M+1)$ llamadas a LLM (donde $N$ son candidatos y $M$ son verificaciones por candidato), el muestreo paralelo mantiene la latencia de tiempo real manejable (por ejemplo, aumentando de 3s a 8s al escalar $N$ de 1 a 16).

Significado y Afirmaciones

El artículo afirma que VEGAS representa un paso significativo hacia la IA encarnada robusta al cambiar el paradigma de "actuar una vez" a "pensar dos veces, actuar una vez". Los autores enfatizan que:

• La verificación es distinta del razonamiento: Muestrear múltiples candidatos es insuficiente; se requiere un verificador especializado y ajustado finamente para distinguir acciones correctas de incorrectas en el contexto de restricciones físicas y semánticas de la tarea.
• La síntesis de datos es crítica: La incapacidad de los modelos fuera de la caja para verificar acciones encarnadas hace necesaria la creación de datos de fallos sintéticos, una contribución que permite entrenar verificadores sin anotación manual de errores por humanos.
• Escalado de Computación: El marco demuestra que escalar la computación en tiempo de prueba mediante verificación es una estrategia viable para mejorar la generalización en agentes encarnados, superando a menudo simplemente escalar los parámetros del modelo.

El trabajo concluye que la verificación explícita en tiempo de prueba, impulsada por un verificador entrenado en modos de fallo generados sintéticamente, mejora sustancialmente la fiabilidad de los agentes encarnados en escenarios desafiantes y similares al mundo real.