Resumen Técnico: Arranque de Agentes Cognitivos con un Modelo de Lenguaje de Gran Escala

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) poseen un conocimiento general del mundo extenso, aunque ruidoso, pero sufren de limitaciones tales como la susceptibilidad a ataques adversarios, alucinaciones y rendimientos decrecientes al escalar. Por el contrario, las arquitecturas cognitivas ofrecen una excelente interpretabilidad, flexibilidad para actualizaciones y razonamiento estructurado mediante memorias declarativas y procedimentales; sin embargo, tradicionalmente requieren un trabajo manual exhaustivo para instanciar reglas de producción, lo que limita su aplicación a entornos simples. El desafío central abordado es cómo aprovechar el conocimiento codificado en los LLMs para arrancar arquitecturas cognitivas sin heredar la falta de interpretabilidad del LLM o la dependencia de la arquitectura cognitiva de la creación manual de reglas.

Metodología

Los autores proponen un marco que combina LLMs con una arquitectura cognitiva personalizada para crear un agente encarnado capaz de realizar tareas de cocina. El sistema opera en un ciclo de "percibir-planificar-actuar", separando la generación de conocimiento de la aplicación del mismo.

Descripción General de la Arquitectura

El agente consta de cuatro componentes primarios:

1. Base de Conocimiento del Mundo: Un diccionario de conocimiento general (por ejemplo, "los tomates pertenecen a la nevera") derivado de los LLMs.
2. Conocimiento del Entorno: Memoria declarativa que refleja el estado actual del agente y sus observaciones (por ejemplo, el estado del gripper, el contenido de la mesa).
3. Memoria Procedimental: Un conjunto de reglas de producción (precondición $\rightarrow$ efecto) que dictan el comportamiento. A diferencia de los operadores de planificación estándar, estas reglas reflejan el conocimiento contextual y se refuerzan con el tiempo.
4. Pila de Tareas (Task Stack): Un mecanismo inspirado en ACT-R y SOAR para gestionar una jerarquía de tareas y subtareas.

Proceso de Arranque (Bootstrapping)

El agente aprende a través de un currículo de familias de tareas (por ejemplo, encontrar un/a <objeto>, rebanar un/a <objeto>). El proceso para una sola tarea implica:

1. Instanciación: Las variables en la familia de la tarea se completan con objetos concretos del entorno.
2. Intento de Ejecución: El agente intenta la tarea utilizando las reglas de producción existentes.
3. Selección de Acción (Consulta al LLM): Si no se aplica ninguna regla o se detecta un ciclo, el agente consulta al LLM. El prompt incluye la tarea actual, un resumen del estado y las opciones disponibles. El LLM utiliza el prompting de Cadena de Pensamiento (CoT) para analizar estrategias y sugerir una acción.
4. Generación de Producción: Se consulta nuevamente al LLM para generar una regla de producción basada en la acción. Este es un proceso de dos pasos:
   • Descripción en Inglés: El LLM generaliza la acción específica en una regla (por ejemplo, "explorar lugares no explorados donde el objeto se almacena comúnmente").
   • Generación de Código: El LLM convierte la descripción en inglés en código Python ejecutable que se adhiere a una interfaz específica.
5. Refuerzo y Mejora:
   • Verificación: El código generado se vuelve a reproducir contra el estado actual para asegurar que las comprobaciones de precondición pasen.
   • Mecanismo de Crítica: Un LLM crítico analiza las condiciones finales de la tarea y sugiere modificaciones para evitar la sobre-restricción (condiciones innecesarias) o la sobre-generalización (falta de precondiciones críticas).
   • Actualización de Utilidad: Una señal de recompensa (recompensa unitaria tras la finalización de la tarea) se propaga hacia atrás a través de la ruta más corta de aplicaciones de producción utilizando el retroceso de Bellman (Bellman backup). Esto actualiza la utilidad de las producciones, permitiendo al agente priorizar las reglas que conducen a la finalización exitosa y resolver conflictos entre reglas aplicables mediante una estrategia de selección de óptimo ruidoso.

Distinciones Clave

A diferencia de los enfoques que utilizan LLMs para generar planes directos para cada paso, este marco utiliza el LLM únicamente para generar reglas de producción generalizables. Una vez que se aprende una regla, el agente la ejecuta sin mayor intervención del LLM, anclando el conocimiento en la instancia específica del entorno.

Contribuciones Clave

1. Marco Híbrido: Una arquitectura de agente novedosa que integra LLMs para la generación de conocimiento con una arquitectura cognitiva para el razonamiento y la ejecución.
2. Arranque desde Cero (Bootstrapping from Scratch): Una demostración de cómo un agente puede aprender a realizar tareas de cocina complejas y de múltiples pasos (encontrar, rebanar, limpiar) comenzando con una entrada humana mínima (solo los nombres de las familias de tareas).
3. Eficiencia y Generalización: Evidencia de que el marco requiere significativamente menos tokens para operar en nuevos entornos en comparación con consultar un LLM para cada acción, ya que las reglas aprendidas son transferibles.

Resultados Experimentales

El marco fue evaluado en el simulador AI2THOR utilizando tres familias de tareas: encontrar un/a <objeto>, rebanar un/a <objeto> y limpiar las encimeras. El agente se comparó contra un modelo base que consulta al LLM para las acciones en cada paso (Solo-Acción).

• Tasa de Éxito: El agente de arranque logró una tasa de éxito del 100% (15/15) en todas las instancias de tareas, incluyendo la búsqueda de objetos inexistentes (donde identificó correctamente que la tarea era imposible). El modelo base de Solo-Acción falló en una instancia debido a un supuesto falso que equiparaba "mug" (taza de café) con "cup" (taza).
• Eficiencia: El agente de arranque requirió drásticamente menos tokens. Por ejemplo, en la tarea rebanar, el agente de arranque utilizó 0 tokens durante las pruebas (dependiendo de las reglas aprendidas), mientras que el modelo base de Solo-Acción utilizó más de 102,000 tokens. En la tarea encontrar, el agente de arranque utilizó ~917 tokens frente a los ~54,754 del modelo base.
• Diferencias de Comportamiento: El agente de arranque exhibió un comportamiento más sistemático, como colocar objetos en las encimeras antes de rebanar o usar gabinetes individuales para el almacenamiento, impulsado por reglas de producción específicas aprendidas. El modelo base actuaba caso por caso, lo que a veces conducía a estrategias menos óptimas (por ejemplo, rebanar dentro de la nevera).
• Significancia Estadística: Aunque el recuento de pasos fue similar para las tareas de encontrar y rebanar, el agente de arranque tomó significativamente más pasos en la tarea limpiar (p-valor 0.001) debido a una regla aprendida específica que impone el uso de recipientes vacíos únicos para cada objeto, mientras que el modelo base reutilizaba el mismo recipiente.

Significancia y Reivindicaciones

El artículo afirma que este enfoque logra combinar con éxito "lo mejor de ambos mundos": el conocimiento rico pero ruidoso de los LLMs y la interpretabilidad y flexibilidad de actualización de las arquitecturas cognitivas.

• Generalización: El marco demuestra que el conocimiento generado por un LLM puede destilarse en reglas de producción que se generalizan a través de objetos y entornos novedosos sin necesidad de regeneración.
• Costo-Efectividad: Al desacoplar la generación de conocimiento de la ejecución, el sistema reduce significativamente el costo computacional y el uso de tokens requeridos para el despliegue en nuevos escenarios.
• Interpretabilidad: Las reglas de producción proporcionan un árbol de decisión verificable, ofreciendo explicabilidad respecto a la importancia de las características, los procesos de aprendizaje y las decisiones a nivel de política.
• Limitaciones: Los autores reconocen que el sistema depende de interfaces de bajo nivel bien definidas (brecha sim-to-real) y que el paso de generación de inglés a código requiere que los procesos de toma de decisiones sean articulables, lo que puede limitar la aplicabilidad a habilidades que no se expresan fácilmente en lenguaje (por ejemplo, la escultura).

Este trabajo se posiciona como una alternativa a los modelos fundacionales puramente basados en datos, sugiriendo un camino hacia agentes personalizados donde las reglas de producción pueden modificarse explícitamente para adaptarse a las preferencias individuales sin un reentrenamiento extensivo.