TREK: A Travel Reasoning and Evaluation Kit for LLM Agents in Complex Trip Planning
Este artigo apresenta o TREK, um benchmark rigoroso e totalmente reproduzível que apresenta um avaliador determinístico e um conjunto de dados de viagens sintéticos de larga escala para avaliar a capacidade de agentes de LLM em gerar itinerários viáveis e em conformidade com restrições, revelando que mesmo modelos de última geração lutam significativamente com o planejamento de múltiplas restrições e com a satisfação de necessidades não declaradas dos usuários.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você está tentando ensinar um robô superinteligente a planejar férias. No mundo da inteligência artificial, esses robôs são chamados de "agentes de LLM". Eles são como agentes de viagens digitais que podem ler suas mensagens de texto bagunçadas, entender o que você quer e, então, ir para a internet para reservar voos, encontrar hotéis e agendar passeios. Mas aqui está o detalhe: só porque um robô consegue falar sobre uma viagem perfeita, não significa que ele possa realmente construir uma. Um plano de férias real é um quebra-cabeça delicado. Cada voo deve realmente existir, os hotéis devem estar abertos, os dias devem ser longos o suficiente para dirigir entre as cidades e o custo total deve caber no seu bolso. Se o robô inventar um número de voo ou esquecer que um museu fecha às 17h, todo o plano desmorona. Por muito tempo, estivemos testando esses robôs pedindo que escrevessem histórias sobre viagens, mas não tínhamos uma forma rigorosa de verificar se seus planos realmente funcionariam no mundo real.
É aqui que um novo estudo chamado TREK (Travel Reasoning and Evaluation Kit) entra em cena. Pense no TREK como um "simulador de voo" de alto risco para robôs de planejamento de viagens. Em vez de deixar os robôs adivinharem, os pesquisadores construíram um mundo fictício perfeitamente consistente com 212.530 registros de voos, hotéis e atrações em 375 cidades. Eles então deram a 15 agentes de IA diferentes um conjunto de 800 desafios de viagem. Alguns desafios eram possíveis e outros eram impossíveis (como tentar voar para uma cidade que não tem aeroporto). Os robôs tiveram que usar um conjunto especial de ferramentas para construir um plano e, em seguida, um árbitro computacional rigoroso (sem nenhum juiz humano ou de IA para ser condescendente) verificou cada detalhe. O objetivo era ver se os robôs consegciossem produzir um plano que não fosse apenas uma história bonita, mas um itinerário perfeitamente executável e livre de erros que respeitasse as necessidades ocultas do viajante, como ser acessível para cadeirantes ou aceitar animais de estimação.
Os resultados foram um choque de realidade. Mesmo o modelo mais forte neste estudo específico de 2027, o GPT-5.6, conseguiu criar um plano totalmente perfeito e utilizável para apenas 46,2% das viagens possíveis. A média dos robôs foi muito pior, com uma taxa de sucesso mediana de apenas 6,6%, e alguns falharam completamente, pontuando 0,0%. O estudo descobriu que os robôs eram, na verdade, bastante bons nas coisas "chatas": eles raramente inventavam voos falsos (alucinações) e geralmente conseguiam identificar quando uma viagem era impossível. No entanto, eles bateram em um muro enorme quando se tratava de entender a pessoa que estava viajando. O maior gargalo era satisfazer as "necessidades implícitas" — aqueles desejos não ditos como "sou um entusiasta da gastronomia e quero ficar perto de um restaurante Michelin" ou "sou um viajante com deficiência e preciso de um hotel com rampa". Até os melhores robôs falharam em atender essas necessidades ocultas mais da metade das vezes.
Os pesquisadores também testaram se dar aos robôs mais tempo para "pensar" ou permitir que usassem mais poder computacional ajudaria. Surpreendentemente, não ajudou. No único par de modelos que puderam comparar, aquele que passou mais tempo "raciocinando" na verdade teve um desempenho pior do que o que apenas seguiu instruções. Além disso, gastar mais dinheiro em tokens computacionais não garantia um plano melhor; alguns dos robôs mais fracos eram os mais caros, enquanto o melhor era surpreendentemente eficiente. O estudo conclui que, embora os agentes de IA estejam ficando melhores em seguir regras, eles ainda têm dificuldade em serem planejadores de viagens verdadeiramente confiáveis porque ainda não conseguem equilibrar perfeitamente todas as complexas restrições de uma viagem real, de forma simultânea. A lacuna entre um robô que fala sobre uma viagem e um que pode reservar uma viagem perfeita ainda é ampla.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.