Resumo Técnico: Decomposição 2.5-D para Construção Espacial Baseada em LLM

Declaração do Problema

Sistemas autônomos encarregados de construir estruturas físicas a partir de instruções em linguagem natural enfrentam uma lacuna crítica de confiabilidade: enquanto os Modelos de Linguagem de Grande Escala (LLMs) se destacam na compreensão de intenções de alto nível, falham sistematicamente no raciocínio espacial preciso, particularmente no que diz respeito à geração de coordenadas tridimensionais. Benchmarks anteriores indicam que os LLMs frequentemente produzem erros no posicionamento vertical, empilhamento com desvio de uma unidade e posições duplicadas. Essas falhas decorrem da falta de modelos internos de mundo para impor restrições físicas, como a gravidade, que ditam que a posição vertical de um bloco é estritamente determinada pela ocupação da coluna abaixo dele.

Metodologia

O artigo propõe um pipeline neuro-simbólico baseado em decomposição 2.5-D para abordar esses erros de coordenadas. A ideia central é que, em domínios de construção com restrições de gravidade, o eixo vertical ($y$) não é uma variável livre, mas uma função determinística da posição horizontal ($x, z$) e do estado atual da grade.

O Pipeline de Decomposição 2.5-D

O sistema separa as tarefas de planejamento e execução em módulos distintos:

1. Planejador LLM (2D): O LLM é restrito a gerar um plano no plano horizontal bidimensional. Ele especifica apenas coordenadas $(x, z)$, cores dos blocos, tipos de ação e quantidades. É explicitamente impedido de outputar coordenadas verticais ($y$).
2. Executor Determinístico (3D): Um motor simbólico calcula o posicionamento vertical para cada bloco com base na ocupação da coluna. A coordenada vertical $y^*$ para um novo bloco em $(x, z)$ é calculada como a altura mínima onde a célula está vazia, garantindo que as restrições de gravidade sejam estritamente atendidas:
   $$y^*(x, z, G) = \min\{y \in \{0, \dots, 4\} \mid (x, y, z) \notin \text{dom}(G)\}$$
   Isso elimina uma classe inteira de erros de coordenadas ao remover a dimensão $y$ do espaço de saída do LLM.

Componentes de Suporte

O pipeline inclui quatro mecanismos adicionais para lidar com ambiguidades e modos de falha sistemática:

• Analisador de Estrutura: Detecta primitivas geométricas (por exemplo, formas em T, formas em L) na grade existente para informar o planejador.
• Detector de Subespecificação: Utiliza um framework de teoria da decisão para determinar quando fazer perguntas de esclarecimento. Calcula o valor esperado de chutar versus perguntar, priorizando inquéritos sobre cores em vez de inquéritos sobre quantidades quando há ambiguidade.
• Otimizador de Prompt de Visão Parcial (Peephole): Varre instruções em busca de frases de gatilho específicas (por exemplo, "cada extremidade", "na frente de") conhecidas por causar erros sistemáticos em LLMs. Quando detectadas, injeta correções direcionadas e correspondentes a padrões, bem como exemplos resolvidos, no prompt antes da chamada ao LLM.
• Verificador de Plano: Um módulo baseado em regras que valida o plano gerado contra a instrução e o estado da grade, realizando correções para consistência de direção e plausibilidade de empilhamento.

Contribuições Principais

1. Decomposição 2.5-D: Um padrão arquitetônico novel que restringe o planejamento do LLM a um plano horizontal 2D, enquanto delega o posicionamento vertical a um executor determinístico, eliminando efetivamente erros de coordenadas verticais.
2. Otimização de Prompt de Visão Parcial (Peephole): Uma metodologia para identificar modos de falha sistemática de LLMs desencadeados por padrões de entrada específicos e corrigi-los via injeção dinâmica de prompt, análogo à otimização de compiladores.
3. Validação Empírica: Demonstração de que este pipeline permite que um modelo menor e mais econômico (GPT-4o-mini) supere um modelo maior e mais caro (GPT-4o) em precisão estrutural.
4. Framework de Teoria da Decisão: Uma abordagem formal para lidar com instruções subespecificadas (cores ou quantidades ausentes) ponderando a probabilidade de um chute correto contra a penalidade de fazer uma pergunta de esclarecimento.

Resultados Experimentais

O sistema foi avaliado no benchmark Build What I Mean (BWIM), consistindo em 160 rodadas de tarefas de construção de blocos.

• Precisão: O pipeline completo usando GPT-4o-mini alcançou uma precisão estrutural média de 94,6% em 12 execuções independentes.
• Comparação: Este resultado supera o melhor sistema concorrente (usando GPT-4o sem decomposição) em 76,3% e a linha de base direta do GPT-4o em 90,3%.
• Estudo de Ablação: A remoção da decomposição 2.5-D causou a queda de desempenho mais significativa, reduzindo a precisão em 50,7 pontos percentuais (para 43,8%), confirmando-a como o contribuinte dominante para o sucesso. O tratamento de subespecificação e a otimização de prompt de visão parcial também contribuíram significativamente (17,9 pp e 11,3 pp, respectivamente).
• Implantação em Borda: O pipeline foi transferido com sucesso para hardware de borda local. O Nemotron-3 120B, rodando localmente em um NVIDIA Jetson Thor AGX, alcançou 94,5% de precisão sem modificações de prompt, igualando os resultados do GPT-4o-mini baseado em nuvem.
• Generalização: Um experimento de transferência em 500 tarefas do conjunto de dados colaborativo de construção IGLU mostrou que a decomposição 2.5-D isolada melhorou as pontuações F1 no nível de bloco de 0,723 para 0,798, confirmando a aplicabilidade da abordagem além do benchmark principal.

Significado e Alegações

O artigo argumenta que a limitação primária na construção espacial baseada em LLM não é uma falta de capacidade de raciocínio, mas a inclusão de dimensões determinísticas no espaço de saída do modelo. Ao identificar dimensões que são computáveis a partir de restrições físicas (como a gravidade) e removê-las da responsabilidade do LLM, o sistema alcança confiabilidade comparável ao teto teórico imposto pela qualidade do agente de esclarecimento (o "arquiteto").

Os autores afirmam que esta estrutura 2.5-D é um princípio generalizável para qualquer sistema autônomo onde leis físicas restringem a montagem ou o posicionamento. Exemplos citados incluem o planejamento de trajetória de UAVs que seguem o terreno (onde a altitude é uma função da posição horizontal e dados do terreno) e a manutenção automatizada de equipamentos (onde os caminhos de inserção de peças são restringidos pela geometria da máquina). O trabalho sugere que a operação confiável guiada por LLM em ambientes com restrições físicas é alcançável não treinando modelos maiores, mas arquitetando sistemas que descarregam o raciocínio determinístico para código simbólico.

Os autores notam um teto rígido na precisão alcançável: aproximadamente 97,6%, limitado por erros no agente arquiteto (um LLM que responde a perguntas de esclarecimento). A precisão atual do sistema de 94,6% deixa apenas uma margem de 3,0 pontos percentuais para melhorias no lado do construtor, indicando que o pipeline proposto quase maximizou o potencial do componente construtor.