Resumo Técnico: Perdido na Agregação: Um Benchmark Diagnóstico Multiescala para Navegação Espacial de LLMs

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) são cada vez mais implantados como planejadores em tarefas espaciais, como navegação e planejamento de rotas. No entanto, eles exibem fragilidade no raciocínio espacial sequencial, frequentemente falhando em manter um estado espacial coerente ao longo de horizontes longos. Embora esteja estabelecido que os LLMs falham na navegação, o locus específico da falha dentro do pipeline de cognição espacial permanece obscuro. Não se sabe se os déficits derivam de uma incapacidade de perceber a geometria local, ler estruturas topológicas em pontos de ramificação, manter um rumo global ou integrar essas competências entre escalas durante planos sequenciais longos. Taxas de sucesso agregadas são insuficientes para distinguir entre essas hipóteses, pois elas implicam estratégias de remediação fundamentalmente diferentes (por exemplo, melhor percepção vs. melhor raciocínio topológico vs. delegação arquitetônica).

Metodologia

Os autores introduzem um benchmark diagnóstico multiescala projetado para decompor a navegação em labirintos em três níveis cognitivos derivados da cognição espacial humana:

1. Fino (Fine): Passabilidade local (quais células adjacentes estão abertas).
2. Meso: Mapeamento topológico (escolher o ramo correto em uma junção e reconhecer becos sem saída).
3. Macro: Orientação global ao objetivo (manter o rumo correto em direção ao destino).

O benchmark consiste em 1.050 labirintos anotados topologicamente gerados usando algoritmos de busca em profundidade (depth-first-search) e Prim aleatorizado. Esses labirintos são árvores (acíclicas), garantindo um caminho único entre quaisquer dois pontos, o que remove a otimização de caminho mais curto como uma variável de confusão. Os labirintos abrangem sete tamanhos efetivos (3×3 a 30×30) e três níveis de dificuldade.

A avaliação é organizada em três módulos que abordam três questões de pesquisa (RQs):

• Módulo 1 (Aquisição de Entrada): Compara quatro formatos de entrada (Palavras em Linguagem Natural, Coordenadas Estruturadas, Mapa ASCII, Imagem Renderizada) para determinar qual melhor suporta a navegação de LLMs.
• Módulo 2 (Representação Multiescala): Prova cada nível cognitivo isoladamente por meio de tarefas de múltipla escolha de pergunta única e compara esses resultados contra o desempenho de navegação de passo único (one-shot) de ponta a ponta. Também emprega uma análise de "primeiro erro multi-hot" para localizar o passo específico onde uma trajetória falha. Controles não espaciais (ex: contar células abertas) são incluídos para descartar a degradação genérica de contexto longo.
• Módulo 3 (Planejamento de Rota Hierárquico): Testa regimes de delegação onde um caminhante determinístico lida com a execução de baixo nível (travessia de corredor, recuo de beco sem saída), e o LLM é consultado apenas em junções. Isso compara um regime "Cego à Topologia" (prompts genéricos) contra um regime "Auxiliado pela Topologia" (prompts explícitos de tipo de célula e recuo algorítmico).

Três modelos de chat ajustados por instrução (GPT-4o, DeepSeek-V3, Llama-3.3-70B) foram avaliados usando prompting de cadeia de pensamento (chain-of-thought) com uma temperatura fixa de 0.

Principais Resultados

1. Formato de Entrada (RQ1)

O texto de coordenadas estruturadas é o formato de entrada mais navegável, superando significativamente imagens renderizadas e mapas ASCII. Para o modelo mais forte (DeepSeek-V3), a entrada de coordenadas alcançou uma taxa de sucesso de 70% em labirintos pequenos, comparado a 5% para imagens renderizadas. Crucialmente, mesmo quando as taxas de sucesso de ponta a ponta colapsaram para quase zero, a Razão de Movimento Válido (VMR) permaneceu alta (>0,62), indicando que os modelos podem gerar movimentos localmente legais, mas falham na montagem do caminho global.

2. O Déficit de Agregação (RQ2)

A principal descoberta é que a falha de escala é uma falha de agregação cross-scale, não um déficit em competências perceptivas ou direcionais individuais.

• Competência Isolada: Quando testados isoladamente, os modelos mantiveram alta precisão em tarefas Fino (32–56%), Meso (50–64%) e Macro (42–67%) mesmo em tamanhos grandes (30×30), excedendo em muito os níveis de chance.
• Colapso Ponta a Ponta: O sucesso da navegação de passo único colapsou para quase zero em 10×10 para todos os modelos.
• O Gap: A prova Meso×Macro acoplada (que exige tanto raciocínio topológico quanto direcional) decaiu mais rápido que os componentes isolados, mas ainda superou a navegação de ponta a end-to-end.
• Análise do Primeiro Erro: As falhas foram localizadas em escolhas de junção Meso (59%) e percepção Fina (39%), enquanto o rumo global (Macro) raramente foi o primeiro ponto de falha (1%).
• Custo de Agregação: O gap entre a precisão de junção isolada e a precisão de junção em trajetória aumentou com o tamanho do labirinto (ex: uma queda de 28 pontos em 30×30), provando que o custo não é meramente a composição multiplicativa de erros, mas uma degradação na capacidade do modelo de vincular decisões ao longo de uma sequência longa.

3. Delegação e Agentes Híbridos (RQ3)

Delegar o controle de baixo nível a um algoritmo determinístico melhora significativamente o desempenho, mas não elimina a barreira de escala.

• Delegação Auxiliada pela Topologia: Quando o algoritmo lidou com o recuo de becos sem saída e o LLM foi instigado com informações explícitas de tipo de célula nas junções, a taxa de sucesso do GPT-4o saltou em até 92 pontos em tamanhos médios (ex: de 2% para 94% em 7×7).
• Limitações: Essa melhoria foi contingente ao enquadramento topográfico explícito; um regime "Cego à Topologia" rendeu ganhos negligenciáveis. Além disso, mesmo com delegação, o desempenho colapsou novamente em 30×30, indicando que, embora a delegação estenda o horizonte navegável, ela não remove a barreira fundamental de escala para planos sequenciais longos.

Significância e Alegações

O artigo afirma fornecer um instrumento diagnóstico granular que desloca a compreensão da falha espacial de LLMs de uma incapacidade geral de "raciocinar" para uma incapacidade específica de integrar competências individualmente disponíveis ao longo de um plano sequencial longo.

• Reenquadramento da Falha: Os autores argumentam que os LLMs não necessariamente carecem de percepção local ou direção global; em vez disso, eles falham em sustentar o vínculo desses sinais passo a passo. O nível "Macro" (rumo global) é surpreendentemente durável em isolamento, mas é repetidamente desfeito por erros de Meso e Fino na execução sequencial.
• Implicações Arquiteturais: Para agentes híbridos de SIG (Sistemas de Informação Geográfica) e orientação, o artigo sugere uma divisão de trabalho específica: algoritmos devem possuir a execução Fina e o recuo de becos sem saída, enquanto os LLMs devem servir como tomadores de decisão em nível de junção. No entanto, esse papel requer um enquadramento topográfico explícito no prompt para ser eficaz.
• Modalidade de Entrada: Os resultados sugerem que, para os atuais LLMs, a estrutura espacial é melhor processada como dados simbólicos e relacionais (coordenadas) do que representações pictóricas.

Os autores explicitamente notam limitações, incluindo o uso de topologias de árvore (sem ciclos), o foco em modelos de chat apenas em inglês e a natureza heurística da marcação de primeiro erro. Eles posicionam o benchmark como uma ferramenta reutilizável para trabalhos futuros para localizar gargalos de vinculação de forma mais fina, particularmente em ambientes cíclicos ou com pesos métricos.