Resumen Técnico: COCORELI

Enunciado del Problema

Los agentes autónomos que operan en entornos colaborativos (por ejemplo, robótica, fabricación, uso de herramientas) encuentran con frecuencia instrucciones humanas que son incompletas o insuficientemente especificadas. Los humanos a menudo dependen de un contexto compartido o de una comunicación incremental, dejando parámetros esenciales de la tarea sin especificar. Aunque los enfoques recientes han mejorado la detección de información faltante, la detección por sí sola es insuficiente. Los agentes a menudo proceden a la ejecución incluso después de reconocer la insuficiencia de especificación, inferiendo detalles faltantes en lugar de adquirirlos mediante interacción. Esto conduce a acciones "plausibles pero incorrectas", alucinaciones y resultados inseguros.

Los autores identifican este fallo como un desacoplamiento estructural entre la detección de información faltante y la prevención de la ejecución. Los paradigmas existentes, incluidas las Cadenas de Pensamiento (CoT) y los marcos de agentes, suelen asumir que las instrucciones son ejecutables tal como se dan o que los detalles faltantes pueden inferirse del conocimiento de fondo. Aumentar la escala del modelo no resuelve esto; los modelos más grandes tienden a generar conjeturas más plausibles en lugar de detectar y resolver la incertidumbre de manera confiable. El artículo postula que una ejecución colaborativa confiable requiere un cumplimiento arquitectónico donde la información faltante actúe como un precondición rígida para la acción.

Metodología: Arquitectura COCORELI

Para abordar esto, los autores proponen COCORELI (Cooperación, Reconstitución y Ejecución de Instrucciones de Lenguaje), una arquitectura modular de agentes diseñada para hacer cumplir las precondiciones de ejecución. A diferencia del prompting monolítico, COCORELI descompone la tarea en seis componentes especializados, todos utilizando el mismo LLM subyacente (LLaMA-3.1 8B) pero con prompts especializados e entradas estructuradas:

1. Analizador de Instrucciones: Identifica tipos de objetos y extrae atributos preliminares, filtrando esquemas relevantes para evitar la hinchazón del prompt.
2. Constructor: Resuelve atributos específicos del objeto (por ejemplo, orientación, configuración de partes).
3. Localizador: Interpreta descripciones espaciales y mapea expresiones relacionales a coordenadas candidatas, aplicando reglas de colocación específicas del objeto.
4. Módulo de Discurso: Genera preguntas de aclaración dirigidas (CQ) cuando los campos requeridos permanecen sin resolver.
5. Memoria Externa: Almacena estructuras previamente construidas como grafos relacionales (nodos = partes, aristas = relaciones espaciales). Soporta la abstracción separando patrones estructurales de parámetros específicos de la instancia (por ejemplo, color, posición absoluta).
6. Ejecutor: Convierte representaciones completas en acciones JSON concretas y las valida contra restricciones ambientales.

Mecanismo Central:
El sistema representa objetos y acciones como estructuras JSON tipadas donde los campos se inicializan en null. A medida que avanza el diálogo, los campos se llenan con información extraída. Crucialmente, la ejecución se bloquea siempre que los campos requeridos permanezcan sin resolver. El sistema no infiere valores faltantes; en su lugar, activa el Módulo de Discurso para solicitar aclaración. Esto crea un acoplamiento estructural: detectar un parámetro faltante bloquea simultáneamente la ejecución, previniendo acciones alucinatorias.

Configuración Experimental

Los autores evalúan COCORELI en ENTORNO, una referencia de construcción colaborativa controlada diseñada para aislar la insuficiencia de especificación, los cambios de estado secuenciales y la reutilización estructural.

• Entorno: Una cuadrícula 3D discreta de 16×16×16 con tipos de partes heterogéneos (tornillos, puentes, etc.) y restricciones físicas estrictas (gravedad, dependencias de soporte). Las colocaciones incorrectas son irreversibles.
• Tipos de Tarea:
  1. Instrucciones individuales completamente especificadas.
  2. Secuencias de instrucciones.
  3. Construcción de estructuras complejas (formas de múltiples partes).
  4. Instrucciones insuficientemente especificadas: Parámetros omitidos, que requieren detección y aclaración.
  5. Abstracción y reutilización en contexto: Reproducir estructuras previamente construidas en nuevos contextos sin volver a declarar las instrucciones originales.
• Líneas Base:
  • Prompting de LLM Único (CoT): Prompting monolítico utilizando GPT-4.1 y Claude-3.5 Sonnet.
  • Descomposición de LLM Agente: Descomposición modular donde las subtareas se resuelven de extremo a extremo por un LLM (LLaMA-3-70B), incluida la generación de código Python para abstracción.
  • COCORELI: Análisis estructurado con representaciones de tareas explícitas y control de ejecución determinista.

La evaluación también incluye una prueba de transferencia en tareas de API de ToolBench para evaluar la generalizabilidad del mecanismo de abstracción más allá de la construcción espacial.

Resultados Clave

1. Manejo de la Insuficiencia de Especificación (Tarea iv)

• Detección y Aclaración: COCORELI y la línea base Agente lograron un 100% de detección de parámetros faltantes y emitieron con éxito preguntas de aclaración. En contraste, las líneas base de CoT de LLM único a menudo fallaron en identificar parámetros faltantes (por ejemplo, 27.2% de detección para GPT-4.1 en tareas de una sola parte).
• Seguridad de Ejecución: COCORELI logró un 0% de alucinaciones en partes, colores y ubicaciones para instrucciones insuficientemente especificadas. Por el contrario, las líneas base CoT inferían frecuentemente atributos faltantes, lo que llevaba a altas tasas de alucinación (por ejemplo, 100% de alucinación de ubicación para GPT-4.1 en tareas de dos partes).
• Conclusión: La detección por sí sola es insuficiente; sin cumplimiento arquitectónico, las líneas base proceden con valores inferidos (incorrectos).

2. Construcción de Estructuras Complejas (Tarea iii)

• COCORELI logró la mayor precisión a nivel de paso (78.57%), superando a las líneas base CoT (54.67%–69.04%) y a la línea base Agente (69.04%).
• COCORELI fue el único sistema capaz de reconstruir parcialmente la forma más compleja ("puente marroquí"), lo cual requería abstracción y referencia posterior.

3. Abstracción y Reutilización (Tarea v)

• COCORELI reconstruyó con éxito todas las estructuras evaluadas, incluidas las complejas (por ejemplo, "Calavera" con 62 partes), logrando un 100% de precisión en formas complejas.
• Las líneas base CoT fallaron en las estructuras más complejas (0% de éxito), y la línea base Agente falló en formas de tamaño medio.
• El artículo atribuye el éxito de COCORELI a tratar la abstracción como un problema de análisis estructurado (extracción de grafos relacionales) en lugar de requerir que el modelo infiera procedimientos reutilizables o genere código desde cero.

4. Transferencia a ToolBench

• En 100 flujos de trabajo de ToolBench, COCORELI logró un 100% de precisión, recuperación y F1, superando significativamente a la línea base CoT (30.9% F1).
• Esto demuestra que el mecanismo de abstracción estructurada se generaliza a tareas impulsadas por API no espaciales.

Significado y Afirmaciones

El artículo afirma que una ejecución colaborativa confiable bajo insuficiencia de especificación depende no meramente de la capacidad del modelo, sino del cumplimiento arquitectónico.

• Acoplamiento Estructural: La contribución principal es el acoplamiento estructural de la detección y la prevención. En COCORELI, las representaciones de tareas incompletas no pueden ejecutarse. Esto elimina las acciones alucinatorias por construcción, una propiedad ausente en los paradigmas basados en prompting donde la detección y la ejecución están desacopladas.
• Instanciación Mínima: Los autores no afirman que COCORELI sea una solución definitiva para todo el diálogo colaborativo, sino como una instanciación mínima que demuestra que los paradigmas basados en prompting carecen sistemáticamente del mecanismo para bloquear la ejecución bajo incertidumbre.
• Limitaciones: Los autores reconocen que COCORELI asume que las tareas pueden representarse mediante esquemas estructurados (JSON), abstrae la percepción multimodal, modela solo una forma estrecha de diálogo de aclaración (excluyendo negociación o razonamiento complejo) y carece de un módulo de planificación de alto nivel explícito.

En resumen, el artículo argumenta que para que los agentes operen de manera confiable en entornos colaborativos con instrucciones incompletas, la arquitectura del sistema debe hacer cumplir explícitamente que la información faltante se resuelva antes de tomar cualquier acción, en lugar de depender de la capacidad implícita del modelo para adivinar o inferir.