Resumo Técnico: COCORELI

Declaração do Problema

Agentes autônomos operando em ambientes colaborativos (por exemplo, robótica, manufatura, uso de ferramentas) frequentemente encontram instruções humanas que estão incompletas ou subespecificadas. Humanos frequentemente dependem de contexto compartilhado ou comunicação incremental, deixando parâmetros essenciais da tarefa não especificados. Embora abordagens recentes tenham melhorado a detecção de informações faltantes, a detecção por si só é insuficiente. Os agentes frequentemente prosseguem para a execução mesmo após reconhecer a subespecificação, inferindo detalhes faltantes em vez de adquiri-los por meio de interação. Isso leva a ações "plausíveis, mas incorretas", alucinações e resultados inseguros.

Os autores identificam essa falha como um desacoplamento estrutural entre detectar informações faltantes e prevenir a execução. Paradigmas existentes, incluindo Cadeia de Pensamento (CoT) e frameworks agênticos, geralmente assumem que as instruções são executáveis conforme fornecidas ou que detalhes faltantes podem ser inferidos a partir de conhecimento de fundo. O aumento da escala do modelo não resolve isso; modelos maiores tendem a gerar palpites mais plausíveis em vez de detectar e resolver incertezas de forma confiável. O artigo postula que uma execução colaborativa confiável requer uma imposição arquitetônica onde informações faltantes atuam como um pré-requisito rígido para a ação.

Metodologia: Arquitetura COCORELI

Para abordar isso, os autores propõem COCORELI (Cooperação, Reconstituição e Execução de Instruções em Linguagem), uma arquitetura agêntica modular projetada para impor pré-requisitos de execução. Diferentemente do prompting monolítico, o COCORELI decompõe a tarefa em seis componentes especializados, todos utilizando o mesmo LLM subjacente (LLaMA-3.1 8B), mas com prompts especializados e entradas estruturadas:

1. Analizador de Instruções: Identifica tipos de objetos e extrai atributos preliminares, filtrando esquemas relevantes para evitar inchaço do prompt.
2. Construtor: Resolve atributos específicos de objetos (por exemplo, orientação, configuração de partes).
3. Localizador: Interpreta descrições espaciais e mapeia expressões relacionais para coordenadas candidatas, aplicando regras de posicionamento específicas de objetos.
4. Módulo de Discurso: Gera perguntas de esclarecimento direcionadas (CQs) quando campos obrigatórios permanecem sem resolução.
5. Memória Externa: Armazena estruturas previamente construídas como grafos relacionais (nós = partes, arestas = relações espaciais). Suporta abstração separando padrões estruturais de parâmetros específicos da instância (por exemplo, cor, posição absoluta).
6. Executor: Converte representações completas em ações JSON concretas e as valida contra restrições ambientais.

Mecanismo Central:
O sistema representa objetos e ações como estruturas JSON tipadas onde os campos são inicializados como null. À medida que o diálogo prossegue, os campos são preenchidos com informações extraídas. Crucialmente, a execução é bloqueada sempre que campos obrigatórios permanecem sem resolução. O sistema não infere valores faltantes; em vez disso, aciona o Módulo de Discurso para solicitar esclarecimento. Isso cria um acoplamento estrutural: detectar um parâmetro faltante bloqueia simultaneamente a execução, prevenindo ações alucinadas.

Configuração Experimental

Os autores avaliam o COCORELI no ENVIRONMENT, um benchmark controlado de construção colaborativa projetado para isolar subespecificação, mudanças de estado sequenciais e reutilização estrutural.

• Ambiente: Uma grade 3D discreta de 16×16×16 com tipos de partes heterogêneos (parafusos, pontes, etc.) e restrições físicas rigorosas (gravidade, dependências de suporte). Posicionamentos incorretos são irreversíveis.
• Tipos de Tarefa:
  1. Instruções únicas totalmente especificadas.
  2. Sequências de instruções.
  3. Construção de estruturas complexas (formas multipartes).
  4. Instruções subespecificadas: Parâmetros omitidos, exigindo detecção e esclarecimento.
  5. Abstração e reutilização em contexto: Reprodução de estruturas previamente construídas em novos contextos sem reafirmar as instruções originais.
• Baselines:
  • Prompting Único de LLM (CoT): Prompting monolítico usando GPT-4.1 e Claude-3.5 Sonnet.
  • Decomposição Agêntica de LLM: Decomposição modular onde subtarefas são resolvidas ponta a ponta por um LLM (LLaMA-3-70B), incluindo a geração de código Python para abstração.
  • COCORELI: Parsing estruturado com representações de tarefa explícitas e controle de execução determinístico.

A avaliação também inclui um teste de transferência em tarefas de API do ToolBench para avaliar a generalizabilidade do mecanismo de abstração além da construção espacial.

Resultados Principais

1. Tratamento de Subespecificação (Tarefa iv)

• Detecção e Esclarecimento: COCORELI e a baseline Agêntica alcançaram 100% de detecção de parâmetros faltantes e emitiram com sucesso perguntas de esclarecimento. Em contraste, as baselines de CoT de LLM único frequentemente falharam em identificar parâmetros faltantes (por exemplo, 27,2% de detecção para GPT-4.1 em tarefas de parte única).
• Segurança de Execução: COCORELI alcançou 0% de alucinações em partes, cores e locais para instruções subespecificadas. Por outro lado, as baselines CoT frequentemente inferiram atributos faltantes, levando a altas taxas de alucinação (por exemplo, 100% de alucinação de local para GPT-4.1 em tarefas de duas partes).
• Conclusão: A detecção por si só é insuficiente; sem imposição arquitetônica, as baselines prosseguem com valores inferidos (incorretos).

2. Construção de Estruturas Complexas (Tarefa iii)

• COCORELI alcançou a maior precisão em nível de etapa (78,57%), superando as baselines CoT (54,67%–69,04%) e a baseline Agêntica (69,04%).
• COCORELI foi o único sistema capaz de reconstruir parcialmente a forma mais complexa ("ponte marroquina"), que exigia abstração e referência subsequente.

3. Abstração e Reutilização (Tarefa v)

• COCORELI reconstruiu com sucesso todas as estruturas avaliadas, incluindo as complexas (por exemplo, "Caveira" com 62 partes), alcançando 100% de precisão em formas complexas.
• As baselines CoT falharam nas estruturas mais complexas (0% de sucesso), e a baseline Agêntica falhou em formas de tamanho médio.
• O artigo atribui o sucesso do COCORELI ao tratar a abstração como um problema de parsing estruturado (extração de grafos relacionais) em vez de exigir que o modelo infera procedimentos reutilizáveis ou gere código do zero.

4. Transferência ToolBench

• Em 100 fluxos de trabalho do ToolBench, COCORELI alcançou 100% de precisão, recall e F1, superando significativamente a baseline CoT (30,9% F1).
• Isso demonstra que o mecanismo de abstração estruturada generaliza para tarefas não espaciais, orientadas por API.

Significado e Alegações

O artigo alega que uma execução colaborativa confiável sob subespecificação depende não apenas da capacidade do modelo, mas da imposição arquitetônica.

• Acoplamento Estrutural: A principal contribuição é o acoplamento estrutural entre detecção e prevenção. No COCORELI, representações de tarefa incompletas não podem ser executadas. Isso elimina ações alucinadas por construção, uma propriedade ausente em paradigmas baseados em prompting onde detecção e execução são desacopladas.
• Instanciação Mínima: Os autores não alegam o COCORELI como uma solução definitiva para todo o diálogo colaborativo, mas como uma instanciação mínima que prova que paradigmas baseados em prompting carecem sistematicamente do mecanismo para bloquear a execução sob incerteza.
• Limitações: Os autores reconhecem que o COCORELI assume que as tarefas podem ser representadas por meio de esquemas estruturados (JSON), abstrai a percepção multimodal, modela apenas uma forma estreita de diálogo de esclarecimento (excluindo negociação ou raciocínio complexo) e carece de um módulo de planejamento de alto nível explícito.

Em resumo, o artigo argumenta que, para agentes operarem de forma confiável em ambientes colaborativos com instruções incompletas, a arquitetura do sistema deve impor explicitamente que informações faltantes sejam resolvidas antes que qualquer ação seja tomada, em vez de confiar na capacidade implícita do modelo de adivinhar ou inferir.