Probing Embodied LLMs: When Higher Observation Fidelity Hurts Problem Solving

Resumen Técnico: Sonda de LLMs Encarnados: Cuando una Mayor Fidelidad de Observación Perjudica la Resolución de Problemas

Enunciado del Problema
Los Modelos de Lenguaje Grande (LLMs) se despliegan cada vez más como componentes cognitivos para sistemas robóticos que operan en entornos no estructurados. Sin embargo, sus procesos de toma de decisiones opacos dificultan distinguir entre capacidades de razonamiento genuinas y éxitos accidentales en tareas encarnadas de bucle cerrado. Las métricas de rendimiento, como las tasas de éxito agregadas, a menudo no revelan si un agente resolvió una tarea mediante inferencia coherente, exploración accidental o una interacción entre errores perceptivos y fallos de razonamiento. Específicamente, sigue sin estar claro cómo la fidelidad de las entradas de observación (desde datos sensoriales crudos hasta la verdad simbólica perfecta) influye en los mecanismos conductuales de los agentes LLM encarnados.

Metodología
Los autores emplean una metodología empírica de IA alineada con la identificación de sistemas, tratando al agente LLM como un sistema opaco que debe sondearse mediante intervenciones controladas.

• Tarea: El estudio utiliza la "Caja con Candado" (Lockbox), un rompecabezas mecánico secuencial compuesto por cuatro articulaciones con interdependencias ocultas. El objetivo es desbloquear la caja manipulando las articulaciones en un orden específico. Esta tarea requiere integrar observaciones a lo largo del tiempo e inferir dependencias de estado latentes.
• Configuración Experimental:
  • Configuración Física: Un brazo robótico Franka Emika Panda con un efector final blando manipula una Caja con Candado física. El sistema utiliza una cámara RGB-D y sensores de fuerza-par.
  • Simulación: Un entorno de simulación controlado aísla el problema de razonamiento de la variabilidad de la actuación física, permitiendo la perturbación sistemática del canal de observación.
• Intervenciones: El estudio varía la fidelidad de observación proporcionada al LLM (OpenAI GPT-o1 en experimentos físicos; GPT-4o en simulación) a través de tres modalidades:
  1. RGB: Imágenes visuales crudas.
  2. RGB-D: Imágenes visuales aumentadas con datos de profundidad.
  3. Estado Simbólico de Verdad Terrena: Descripciones textuales explícitas de los estados de las articulaciones, eludiendo por completo la tubería de visión.
• Mecanismo de Sonda: En simulación, los autores introducen ruido observacional controlado invirtiendo aleatoriamente el resultado percibido de las acciones (inversiones de estado) con probabilidades variables (0% a 60%) para probar el impacto de la estocasticidad en el rendimiento.

Resultados Clave
El estudio revela una relación contraintuitiva entre la fidelidad de observación y el rendimiento de la tarea:

1. Fidelidad vs. Rendimiento: Contrario a la suposición de que observaciones más precisas mejoran el razonamiento, los agentes obtuvieron el mejor rendimiento con entrada RGB cruda y el peor rendimiento con estados simbólicos de verdad terrena perfectos. La modalidad RGB-D arrojó resultados intermedios.
   • GPT-o1 logró una tasa de éxito del 80% con entrada RGB en 11 pasos, mientras que la condición de verdad terrena requirió 15 pasos para alcanzar la misma tasa de éxito.
   • Una heurística inspirada en humanos logró un 100% de éxito en 9 pasos, destacando la ineficiencia de los LLMs independientemente de la entrada.
2. Análisis de Malinterpretación:
   • Las modalidades visuales (RGB/RGB-D) exhibieron altas tasas de malinterpretación de estado (aproximadamente 21–27%), lo que sugiere una fundamentación perceptiva inconsistente.
   • Sorprendentemente, la condición de verdad terrena también exhibió una tasa de malinterpretación de ~5%, atribuida al modelo "alucinando" cambios de estado a pesar de recibir datos explícitos y correctos.
3. Respuesta No Monótona al Ruido: En simulación, introducir ruido moderado (inversiones aleatorias de estado) mejoró el rendimiento en relación con la línea base sin ruido.
   • Las tasas de éxito alcanzaron su punto máximo con una probabilidad de inversión de estado del 40%, logrando un aumento de 2.85 veces sobre la línea base sin ruido.
   • El rendimiento se degradó nuevamente en niveles de ruido más altos (>40%).
4. Mecanismo de Mejora: La ganancia de rendimiento bajo ruido moderado está vinculada a una reducción en los bucles de acción repetitiva.
   • Los bucles de acción (repeticiones de subsecuencias de acciones sin progreso) se correlacionaron negativamente con el éxito.
   • Las observaciones perfectas permitieron que el agente entrara y permaneciera en estos bucles cuando las acciones no producían los cambios esperados.
   • El ruido perceptivo moderado interrumpió estos bucles, forzando al agente a explorar acciones alternativas, rompiendo así el ciclo de fracaso.

Contribuciones Clave

• Marco de Sondeo Conductual: El artículo establece una metodología para evaluar LLMs encarnados perturbando los canales de observación para revelar mecanismos conductuales subyacentes en lugar de depender únicamente de métricas basadas en resultados.
• Hallazgos Contraintuitivos sobre Fidelidad: Demuestra que una mayor fidelidad de observación puede obstaculizar activamente la resolución de problemas en LLMs encarnados, desafiando la suposición estándar de que "mejores datos" conducen a "mejor razonamiento".
• Identificación de Modos de Fallo: El estudio identifica los "bucles de acción repetitiva" como un modo de fallo crítico en LLMs encarnados y muestra que los errores perceptivos pueden mitigar inadvertidamente este problema al interrumpir patrones de decisión recursivos.

Significado y Afirmaciones
Los autores afirman que las tasas de éxito por sí solas son insuficientes para evaluar LLMs encarnados. El rendimiento medido puede reflejar una "interacción accidental" entre errores perceptivos y fallos de razonamiento en lugar de capacidades robustas de resolución de problemas.

El artículo argumenta que en interacciones de bucle cerrado, las observaciones no son meras entradas pasivas, sino que moldean activamente la dinámica de toma de decisiones. En consecuencia, lo que parece un rendimiento superior bajo entradas de menor fidelidad no debe interpretarse como evidencia de un razonamiento más fuerte. En su lugar, puede reflejar un efecto secundario donde errores perceptivos acumulativos interrumpen casualmente modos de fallo específicos (como bucles de acción) que son sostenidos por retroalimentación precisa.

Los autores concluyen que la evaluación rigurosa de LLMs encarnados requiere puntos de referencia de bucle cerrado en el mundo real combinados con intervenciones conductuales controladas para desentrañar las limitaciones perceptivas de las capacidades de razonamiento. Señalan que sus hallazgos son específicos de los modelos y la tarea evaluados y solicitan trabajos futuros para determinar si estos comportamientos se generalizan a través de diferentes arquitecturas de modelos y proveedores.