ItinBench: Benchmarking Planning Across Multiple Cognitive Dimensions with Large Language Models

O artigo apresenta o ItinBench, um novo benchmark que avalia modelos de linguagem em múltiplas dimensões cognitivas, incluindo raciocínio espacial e verbal no contexto de planejamento de viagens, revelando que os modelos atuais têm dificuldade em manter desempenho consistente ao lidar simultaneamente com essas diversas tarefas.

O essencial

Imagine que você pediu a um assistente de IA para planejar uma viagem de 3 dias para a Filadélfia. Você diz: "Quero um orçamento alto, lugares divertidos para crianças, restaurantes com comida fresca e um hotel com ótimo atendimento".

Até aqui, tudo bem. A IA é ótima em entender palavras. Ela sabe o que é "fresco" e o que é "divertido". Mas, e quando você precisa que ela organize o trajeto?

É aqui que entra o ItinBench, um novo "teste de prova" criado por pesquisadores para ver se as IAs (como o GPT-4, o Llama e o Gemini) são realmente inteligentes ou apenas ótimas em "adivinhar palavras".

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema: O "Cérebro" vs. O "Mapa"

Pense na inteligência humana como tendo dois superpoderes:

• O Poder das Palavras (Raciocínio Verbal): Entender que "fresco" significa comida boa e que "divertido" é bom para crianças.
• O Poder do Espaço (Raciocínio Espacial): Saber que, se você vai visitar o Museu X e o Parque Y, eles ficam perto um do outro, e que dirigir do Hotel A para o Museu X e depois para o Parque Y é mais rápido do que fazer o caminho inverso.

A maioria dos testes de IA hoje em dia só testa o Poder das Palavras. Eles perguntam: "Qual é o melhor restaurante?". A IA responde corretamente. Mas no mundo real, planejar uma viagem exige os dois poderes ao mesmo tempo.

2. A Solução: O "ItinBench" (O Exame de Viagem)

Os pesquisadores criaram o ItinBench para forçar a IA a usar os dois superpoderes juntos. Eles imaginaram a IA como um Guia de Turismo Robô.

• A Tarefa: O robô recebe uma lista de 500 restaurantes, hotéis e atrações.
• O Desafio Verbal: Ele precisa ler os comentários dos clientes e escolher apenas os que têm "boa comida" e "bom serviço".
• O Desafio Espacial: Depois de escolher os lugares, ele precisa traçar a rota no mapa para que o turista não perca tempo dirigindo em círculos (como um "TSP" ou Problema do Caixeiro Viajante).

3. O Que Eles Descobriram? (A Parte Engraçada)

O resultado foi um pouco decepcionante, mas muito revelador.

• A IA é um "Sonhador" de Palavras: Quando a IA só precisa escolher os lugares (apenas palavras), ela faz um ótimo trabalho. Ela entende o que você quer.
• A IA é "Cega" no Mapa: Quando você pede para ela organizar a rota, ela começa a errar feio.
  • Analogia: É como se você pedisse a um amigo para planejar um jantar. Ele escolhe o melhor vinho, a melhor carne e a melhor música (ótimo em palavras). Mas, quando chega a hora de servir, ele coloca a carne na mesa do vizinho e o vinho na pia, porque ele não consegue visualizar onde as coisas estão na cozinha.

Os Números:
Mesmo com modelos superavançados (como o GPT-4o e o o1), a IA muitas vezes cria planos que exigem 20% a 38% mais tempo de direção do que o necessário. Ela não está "pensando" no espaço; ela está apenas "adivinhando" a ordem baseada no texto.

4. O Truque: "Dicas Espaciais"

Os pesquisadores descobriram algo curioso: se eles derem à IA uma "cola" (informação pré-organizada sobre quais lugares estão perto uns dos outros), a IA melhora muito.

• O Que isso significa? Isso prova que a IA não está realmente "imaginando" o mapa no seu "cérebro" digital. Ela está apenas manipulando textos. Se você disser "A e B estão no mesmo grupo", ela obedece. Se você não disser, ela se perde. Ela não tem uma "visão espacial" real como a humana.

5. Conclusão: Por que isso importa?

Este estudo é como um teste de direção para carros autônomos. Antes, só testávamos se o carro sabia ler a placa de "Pare". Agora, estamos testando se ele sabe dirigir no trânsito real, desviando de buracos e escolhendo a melhor rota.

O ItinBench nos diz que, embora as IAs sejam brilhantes em conversar e escrever, elas ainda têm dificuldade em planejar ações no mundo real que exigem pensar em espaço e tempo ao mesmo tempo.

Resumo da Ópera:
A IA é um excelente escritor de roteiros, mas ainda é um mau motorista. Para ter um agente de viagem perfeito, precisamos treinar essas IAs para não apenas lerem o mapa, mas para "verem" o mapa.

Resumo técnico

1. O Problema

Atualmente, a avaliação de Grandes Modelos de Linguagem (LLMs) em tarefas de raciocínio e planejamento tende a focar excessivamente no raciocínio verbal (lógico, matemático e linguístico) dentro de ambientes controlados. Embora os LLMs demonstrem proficiência em tarefas puramente textuais, a inteligência humana e o planejamento do mundo real exigem a integração de múltiplas dimensões cognitivas, incluindo o raciocínio espacial.

O problema central identificado pelos autores é a falta de um testbed (ambiente de teste) que avalie simultaneamente a capacidade dos LLMs de:

1. Realizar raciocínio verbal complexo (interpretar preferências, restrições e regras).
2. Executar raciocínio espacial (otimização de rotas, compreensão de distâncias e relações geográficas).

A maioria dos benchmarks existentes ignora a dimensão espacial ou trata-a de forma isolada, não capturando o desafio de coordenar ambas as capacidades simultaneamente, o que é essencial para cenários reais como o planejamento de viagens.

2. Metodologia: ItinBench

Os autores introduzem o ItinBench, um novo benchmark projetado para avaliar LLMs em tarefas de planejamento de itinerários de viagem que integram raciocínio verbal e espacial.

A. Construção de Dados e Pipeline

• Base de Dados: Utiliza dados do Yelp (Filtros de restaurantes, hotéis e atrações em Filadélfia, com um subset em Santa Bárbara).
• Processamento: As avaliações de usuários são processadas para extrair atributos específicos (ex: "frescor" para restaurantes, "localização" para hotéis) e criar pontuações quantitativas.
• Consultas (Queries): Foram geradas 500 consultas humanas simuladas, contendo 6 a 10 preferências variadas (orçamento, tipo de atração, preferências culinárias, etc.).
• Raciocínio Espacial: O benchmark introduz a otimização de rotas como uma sub-tarefa espacial. Para isso, os dados geográficos (latitude/longitude) são usados para calcular clusters espaciais e distâncias reais.

B. As Quatro Tarefas Principais

O benchmark avalia os modelos através de quatro tarefas distintas, variando a complexidade verbal e espacial:

1. Todos os Dados, Sem Otimização de Rota: Avalia apenas o raciocínio verbal (seleção de locais baseada em preferências) sem exigir otimização espacial.
2. Todos os Dados, Com Otimização de Rota: Exige que o modelo selecione locais e otimize a rota diária simultaneamente (desafio duplo).
3. Dados Filtrados, Com Otimização de Rota: O modelo recebe apenas os dados que já atendem às preferências verbais, focando a avaliação na capacidade de raciocínio espacial e planejamento de rotas.
4. Uso de Ferramentas (Tool Use) com Otimização de Rota: O modelo deve usar um framework ReAct (Thought-Action-Observation) para chamar ferramentas de busca e agrupamento antes de gerar o plano, simulando um cenário mais realista de agente autônomo.

C. Métricas de Avaliação

• Raciocínio Verbal:
  • Taxa de Fora do Pool (OOP): Se o modelo sugere itens não presentes nos dados fornecidos.
  • Informação Ausente (MI): Falha em fornecer detalhes necessários.
  • Taxa Validada (VR): A proporção de planos que passam em todas as verificações de falha e preferências.
• Raciocínio Espacial:
  • Gap de Distância (DG/Total-DG): A diferença percentual entre a distância percorrida no plano do LLM e a distância da rota otimizada (calculada via algoritmo adaptado do Problema do Caixeiro Viajante - TSP).
  • Salto de Cluster Extra (ECJ): Mede quantas vezes o modelo ignora a proximidade geográfica, visitando locais de clusters distantes quando haveria opções próximas no mesmo cluster.

3. Principais Contribuições

1. Integração de Dimensões Cognitivas: O ItinBench é o primeiro benchmark a combinar explicitamente tarefas de raciocínio verbal e espacial em um único cenário de planejamento de viagem, oferecendo uma visão mais holística das capacidades de "inteligência" do LLM.
2. Adaptação de Algoritmos Clássicos: Os autores adaptaram o algoritmo do Problema do Caixeiro Viajante (TSP) para avaliar a eficiência de rotas em cenários de múltiplos dias e múltiplos hotéis, permitindo uma métrica objetiva de desempenho espacial.
3. Evidência de Trade-offs: O estudo fornece evidências quantitativas de que os LLMs enfrentam dificuldades significativas ao tentar manter alto desempenho em raciocínio verbal e espacial simultaneamente.

4. Resultados Chave

A avaliação foi realizada em diversos modelos (Llama 3.1 8B, Mistral Large, Gemini 1.5 Pro, GPT-4o e OpenAI o1).

• Desempenho Verbal: Mesmo com acesso a todos os dados, a taxa de planos validados (VR) é baixa. O melhor modelo (o1) atingiu apenas 18% de VR na tarefa mais difícil. Quando os dados são pré-filtrados (reduzindo a carga verbal), a VR sobe para até 66,7%, indicando que os modelos lutam com a aplicação de múltiplas regras e restrições complexas.
• Desempenho Espacial:
  • Os modelos mostram uma melhoria marginal na otimização de rotas apenas quando recebem dicas textuais explícitas sobre agrupamentos espaciais (clusters).
  • Sem essas dicas textuais, o Total Distance Gap (excesso de distância) permanece alto (cerca de 25-30% para modelos antigos, 7-9% para o1).
  • Isso sugere que os LLMs não estão realizando "imaginação espacial" genuína, mas sim manipulando semântica textual para inferir proximidade.
• Trade-off de Desempenho: Quando os modelos são forçados a otimizar rotas (tarefa espacial), seu desempenho no raciocínio verbal (seleção correta de itens) tende a cair. O modelo o1, por exemplo, perdeu cerca de 20% de sua vantagem em raciocínio verbal quando a otimização espacial foi enfatizada.
• Uso de Ferramentas: Modelos como GPT-4o e Mistral Large alcançaram 100% de taxa de entrega de ferramentas, mas ainda cometeram erros na extração de parâmetros complexos (preferências difusas), indicando limitações na compreensão semântica fina.

5. Significado e Conclusão

O ItinBench demonstra que os LLMs atuais, embora poderosos, ainda não possuem uma cognição espacial integrada robusta. Eles dependem fortemente de pistas textuais para simular o raciocínio espacial, em vez de realizar cálculos geométricos ou visualização mental reais.

Implicações Futuras:

• A pesquisa sugere que a próxima geração de benchmarks de planejamento deve ir além do raciocínio puramente verbal.
• Para alcançar uma AGI (Inteligência Artificial Geral) mais robusta, os modelos precisarão operar nativamente sobre representações espaciais estruturadas (mapas, grafos, coordenadas) e não apenas depender de descrições textuais.
• O trabalho abre caminho para o desenvolvimento de agentes que possam lidar com desafios do mundo real onde a lógica verbal e a navegação espacial são inseparáveis.

Em resumo, o ItinBench revela que a capacidade de planejamento dos LLMs é frágil quando submetida a múltiplas dimensões cognitivas simultâneas, destacando a necessidade de novas arquiteturas e métodos de avaliação que reflitam a complexidade da cognição humana.