Resumen Técnico: Seguimiento de Instrucciones con Razonamiento Social y Corpóreo (FISER)

Formulación del Problema

El artículo aborda el desafío de permitir que los agentes de IA sigan instrucciones en lenguaje natural en tareas colaborativas entre humanos y robots con presencia física (embodied). Si bien el aprendizaje de lenguaje fundamentado estándar mapea instrucciones a acciones, a menudo falla en escenarios del mundo real donde las instrucciones humanas son inherentemente ambiguas. Los humanos asumen que los oyentes poseen conocimiento previo sobre sus metas e intenciones ocultas, lo que lleva a omitir información crítica para lograr la eficiencia (Grice 1975; Sperber y Wilson 1986).

Los autores formalizan esto como un Proceso de Decisión de Markov (MDP) Humano-Robot. En este entorno, un humano realiza una trayectoria de acciones $\tau_{t'}$ en un entorno compartido antes de emitir una instrucción en lenguaje natural $u$. El robot debe inferir la función de recompensa interna oculta del humano $R_h$ y el subobjetivo específico $p^*$ para determinar la tarea correcta del robot $G_r$. La dificultad central radica en que la instrucción $u$ por sí sola es insuficiente; el robot debe aprovechar la trayectoria humana parcialmente observable y el contexto del entorno para desambiguar la petición.

Metodología: El Marco FISER

Los autores proponen Seguimiento de Instrucciones con Razonamiento Social y Corpóreo (FISER), un marco que descompone explícitamente el problema del seguimiento de instrucciones en dos fases distintas: Razonamiento Social y Razonamiento Corpóreo.

1. Modelado de las Intenciones Humanas

El marco modela la meta oculta del humano $G_h$ como un conjunto de predicados lógicos. El humano selecciona un subobjetivo $p^*$ (una parte específica del plan general) que requiere asistencia y genera una instrucción $u$ para especificar una tarea del robot $G_r$. El robot no puede observar $G_h$, $p^*$ o $G_r$ directamente; debe inferirlos a partir de la trayectoria observada $\tau_{t'}$, el estado final $s_{t'}$ y la instrucción $u$.

2. Razonamiento de Dos Fases

• Fase 1: Razonamiento Social (Reconocimiento de Tarea): El robot desambigua la instrucción en lenguaje natural en una tarea del robot concreta y ejecutable $G_r$. Esta fase implica:
  • Reconocimiento de la Tarea del Robot: Estimar $G_r$ dado $s_{t'}$, $\tau_{t'}$ y $u$.
  • Reconocimiento del Plan Humano (Opcional): Una etapa mejorada donde el modelo predice explícitamente el subobjetivo $p^*$ del humano (por ejemplo, "guardar libros en una caja") antes de determinar $G_r$. Esto se modela como la predicción de una tupla de predicados lógicos (Cuantificador, Subjetivo, Verbo, Objetivo).
• Fase 2: Razonamiento Corpóreo (Planificación Fundamentada): Una vez establecido $G_r$, el problema se reduce a una tarea estándar de planificación condicionada por objetivos. El robot genera una secuencia de acciones $\{a_t\}$ para lograr $G_r$ dentro del entorno.

3. Implementación del Modelo

Los autores implementan un modelo basado en Transformer entrenado desde cero (debido a las longitudes excesivas de los tokens de los datos de entrada, que exceden los límites de contexto de los modelos pre-entrenados pequeños existentes).

• Arquitectura: El modelo utiliza $3N$ capas de codificación. Las primeras $2N$ capas constituyen la fase de Razonamiento Social, y las $N$ capas finales constituyen la fase de Razonamiento Corpóreo.
• Interacción de Modalidades: Un módulo especializado fusiona cuatro flujos de entrada: Descripción del Estado del Mundo, Trayectoria Humana, Instrucción de Lenguaje y Salidas Pasadas del Modelo.
• Estrategias de Entrenamiento:
  • Extremo a Extremo (E2E): El modelo se entrena para producir acciones directamente, aplicando una pérdida auxiliar a las predicciones intermedias.
  • Multietapa (MS): Los módulos de Razonamiento Social y Razonamiento Corpóreo se entrenan por separado. El módulo Social predice $G_r$ (y opcionalmente $p^*$), que luego se introduce como entrada de verdad fundamental al módulo Corpóreo durante la evaluación.

Configuración Experimental

El marco se evalúa en el benchmark HandMeThat (HMT), un entorno doméstico basado en texto que contiene tareas de seguimiento de instrucciones ambiguas a través de cuatro niveles de dificultad:

• Nivel 1: Planificación pura (sin ambigüedad).
• Nivel 2: Requiere inferir metas a partir de trayectorias humanas.
• Nivel 3: Requiere razonamiento pragmático para resolver la ambigüedad lingüística.
• Nivel 4: Requiere conocimientos previos sólidos para resolver ambigüedades inherentes donde la información es insuficiente.

Los autores comparan su enfoque contra:

1. Baselines: Rendimiento humano, heurísticas codificadas a mano y una red neuronal Seq2Seq.
2. Estado del Arte (SOTA): El método anterior más avanzado (Cao et al. 2024) que utiliza inferencia de objetivos iterativa.
3. Modelos de Lenguaje Grande (LLMs): GPT-4 Turbo con prompting de Cadena de Pensamiento (CoT), incluyendo prompting estándar, ingeniería de prompts (PE) y prompts de CoT que imitan la estructura de FISER (predicción de pasos intermedios).

Resultados Clave

Los experimentos arrojan tres hallazgos principales:

1. La Separación del Razonamiento Mejora el Rendimiento: Los modelos que separan explícitamente el razonamiento social y el corpóreo (FISER) superan significativamente a los enfoques de extremo a extremo. El modelo Multi-Staged + FISER logra una tasa de éxito promedio del 64.5% en el conjunto de prueba de HMT, estableciendo un nuevo estado del arte.
2. Modelos Pequeños Superan a LLMs con Prompting: A pesar de que GPT-4 Turbo tiene acceso a un vasto conocimiento de sentido común, no logra igualar el rendimiento de los modelos Transformer de pequeña escala entrenados desde cero. Incluso con prompting de CoT y conocimiento de dominio, GPT-4 logra menos de la mitad de la tasa de éxito del modelo FISER en los niveles ambiguos (2–4).
3. Análisis de Modos de Fallo:
   • GPT-4 lucha principalmente con Fallos de Planificación (alucinación de ubicaciones de objetos) e Intenciones Incorrectas (desalineación del sentido común con el objetivo humano específico).
   • Los modelos FISER evitan eficazmente los fallos de planificación y comportamientos redundantes, pero aún enfrentan desafíos para identificar correctamente el objeto objetivo en escenarios altamente ambiguos.
   • Filtrar objetos irrelevantes mejora ligeramente el rendimiento de GPT-4, pero no cierra la brecha, lo que indica que la limitación no es solo la selección de objetos, sino la capacidad fundamental para realizar el razonamiento social y corpóreo requerido.

Significado y Reivindicaciones

El artículo sostiene que la idea clave para resolver tareas de seguimiento de instrucciones ambiguas es modelar explícitamente las intenciones humanas como pasos de razonamiento intermedios. Al tratar al humano como un agente parcialmente observable con metas ocultas, en lugar de solo un emisor de instrucciones desincorporado, el sistema puede aprovechar mejor el contexto para resolver la ambigüedad.

Los autores afirman que:

• El pre-entrenamiento es insuficiente: Los LLM generales pre-entrenados, incluso con prompting de CoT, carecen del conocimiento de dominio específico y la estructura de razonamiento requeridos para tareas sociales y corpóreas complejas en entornos compartidos.
• El razonamiento estructurado es superior: Descomponer el problema en fases de razonamiento social (inferencia de intención) y corpóreo (planificación de acciones) produce mejores resultados que el entrenamiento monolítico de extremo a extremo o el prompting directo.
• Eficiencia: Entrenar un modelo pequeño y específico de dominio desde cero es más efectivo y confiable que intentar utilizar prompts en LLM masivos y de propósito general para estas tareas colaborativas específicas.

Este trabajo establece que, para que los agentes de IA sean verdaderamente útiles en entornos humanos, deben ir más allá de la simple fundamentación del lenguaje para incorporar el razonamiento social que infiera el "por qué" detrás de las acciones humanas antes de ejecutar el "cómo".