Resumo Técnico: VeriTrip: Um Benchmark Verificável para Agentes de Planejamento de Viagens sobre Corpos de Texto Web Não Estruturados

1. Declaração do Problema

Os benchmarks atuais para agentes autônomos de planejamento de viagens sofrem de uma desconexão fundamental entre os paradigmas de avaliação e a implantação no mundo real. Os benchmarks existentes (por exemplo, TravelPlanner, TripTailor) operam tipicamente dentro de ambientes de API sanitizados, onde os fatos são fornecidos por meio de interfaces estruturadas. Essa abordagem abstrai os desafios cognitivos centrais da web aberta: ruído de informação, contradições factuais de múltiplas fontes e a necessidade de ancorar a percepção visual ao planejamento lógico.

Por outro lado, os benchmarks de pesquisa profunda frequentemente carecem de protocolos rigorosos de verificação para saídas sintetizadas, dependendo da avaliação "LLM-como-Juiz", que falha em detectar falsificações factuais sutis. A questão de pesquisa central abordada por este trabalho é: Os agentes podem produzir planos factualmente corretos quando devem descobrir ativamente os fatos themselves a partir de evidências não estruturadas e multimodais?

2. Metodologia

2.1 O Ambiente VeriTrip

Para preencher a lacuna entre o planejamento baseado em API e a recuperação na web aberta, os autores introduzem o VeriTrip, um benchmark construído sobre uma Base de Recuperação Multimodal (MRB) e uma Base de Conhecimento Verificável (VKB).

• Base de Recuperação Multimodal (MRB): Um snapshot estático e congelado da web contendo 8.210 documentos e 4.146 imagens curados de fontes do mundo real (portais de turismo, fóruns, páginas de reserva). A MRB foi projetada para preservar o "ruído web autêntico", incluindo opiniões desatualizadas, avaliações conflitantes e spam promocional, enquanto filtra PII e anúncios furtivos usando um filtro semântico baseado em LLM (Qwen3-Max).
• Formulação da Tarefa: Os agentes recebem uma consulta $Q = (q_{txt}, q_{img})$. O componente de texto especifica restrições (orçamento, duração, preferências), enquanto o componente de imagem fornece uma âncora visual (por exemplo, uma foto de mídia social fortemente recortada de um destino).
• Interface do Agente: Os agentes interagem com a MRB por meio de um conjunto de ferramentas restrito:
  • docSearch: Recuperação de texto baseada em palavras-chave.
  • imgSearch: Pesquisa de similaridade visual para resolver âncoras ambíguas.
  • getDocument: Busca de conteúdo de texto completo.
  • Funções especializadas para metadados estruturados de restaurantes (para garantir a completude da avaliação, pois dados web brutos para alimentação são frequentemente fragmentados).
• Base de Conhecimento Verificável (VKB): Um padrão-ouro estruturado extraído da MRB, estritamente inacessível aos agentes. Contém fatos verdadeiros (IDs de transporte, nomes de POI, horários de funcionamento) usados para verificação automatizada.

2.2 Protocolo de Avaliação

O VeriTrip vai além da correspondência de forma superficial para um protocolo de verificação factual célula a célula. O pipeline de avaliação inclui:

1. Taxa de Entrega (DR): Mede se a saída é um JSON válido e analisável.
2. Confiabilidade Factual (FR): A porcentagem de detalhes gerados (por exemplo, números de voo, nomes de hotéis) que correspondem exatamente à VKB. Isso distingue entre falhas de raciocínio sistemático e alucinações paramétricas.
3. Taxa de Cumprimento de Preferências (PFR) e Taxa de Aprovação (PR): Avalia a adesão a restrições suaves (gostos gastronômicos) e restrições rígidas (orçamento, continuidade cronológica).
4. Coerência Geográfica: Utiliza um solucionador do Problema do Caixeiro Viajante (TSP) para calcular a Margem Média (AM), medindo a distância de viagem excedente em comparação com uma rota ótima para avaliar o senso comum espacial.

2.3 Configuração Experimental

O benchmark foi avaliado em um conjunto diversificado de Modelos de Linguagem Multimodais de Última Geração (MLLMs), incluindo:

• Sem Pensamento: GPT-4o, GPT-5-mini, Claude-4.5-Sonnet, Gemini-2.5-flash, Qwen-VL-Max, etc.
• Com Pensamento: o3, o4-mini, Gemini-2.5-pro.
  Os modelos foram testados em tarefas de dificuldade variável (Simples, Média, Complexa) envolvendo 15 cidades turísticas na China e nos EUA.

3. Principais Contribuições

1. Benchmark Multimodal Não Estruturado: O VeriTrip é o primeiro benchmark a avaliar o planejamento de viagens sobre um corpo de texto web congelado, não estruturado e multimodal em vez de APIs isoladas. Ele força os agentes a resolver ambiguidades visuais e navegar por evidências ruidosas e conflitantes.
2. Protocolo de Verificação Célula a Célula: Ao construir uma VKB derivada diretamente da MRB, os autores permitem a quantificação precisa e automatizada da confiabilidade factual. Isso desacopla o raciocínio lógico genuíno da memória paramétrica interna.
3. Descoberta de Compensações Cognitivas: A avaliação revela uma compensação crítica entre recuperação e raciocínio. A carga cognitiva exigida para recuperação autônoma e ancoragem visual erosiona significativamente a retenção de instruções e o cumprimento de preferências de alto nível.
4. Análise de Ancoragem Visual: O artigo demonstra que, embora as ferramentas visuais (Timg) melhorem a ancoragem factual ao forçar a recuperação (reduzindo alucinações), elas degradam simultaneamente a qualidade do planejamento (PFR) ao esgotar a capacidade de raciocínio do modelo.

4. Principais Resultados

• Falha Sistêmica em Ambientes Não Restritos: Todos os MLLMs testados lutam com o planejamento baseado em recuperação não restrita. Embora as Taxas de Entrega (DR) permaneçam relativamente altas, a Confiabilidade Factual (FR) é consistentemente baixa (frequentemente abaixo de 50% para muitos modelos em tarefas complexas).
• O Fenômeno da "Preguiça": Os modelos exibem "preguiça" em tarefas simples, confiando na memória paramétrica com menos chamadas de ferramentas, o que leva a uma FR mais baixa. Forçar os agentes em tarefas complexas aumenta o uso de ferramentas e melhora a FR (por exemplo, o o4-mini melhorou a FR em 8,74% em tarefas complexas), confirmando que a recuperação ativa reduz alucinações.
• A Compensação Recuperação-Raciocínio:
  • Confiabilidade Factual vs. Cumprimento de Preferências: À medida que a complexidade da tarefa aumenta, a FR frequentemente melhora (devido à recuperação forçada), mas a Taxa de Cumprimento de Preferências (PFR) colapsa. Por exemplo, a PFR do GPT-4o-mini caiu 21,45% em tarefas complexas.
  • Impacto da Ancoragem Visual: Estudos de ablação mostram que fornecer ferramentas de pesquisa visual melhora a FR (ao resolver ambiguidades), mas reduz significativamente a PFR. A carga cognitiva de processar entradas visuais consome os recursos de raciocínio necessários para satisfazer restrições globais.
• Sensibilidade ao Ruído: A presença de informações conflitantes ou enganosas na MRB geralmente degrada o desempenho, particularmente na Taxa de Entrega e na Taxa de Aprovação, embora alguns modelos mostrem resiliência na coerência geográfica.
• Modos de Falha: Estudos de caso revelam que os agentes frequentemente falham no reconhecimento de entidades de granularidade fina (vincular uma âncora visual específica a um POI) e exibem alucinação contextual, onde priores textuais fortes sobrepõem evidências visuais (por exemplo, forçar um marco de Los Angeles em um roteiro de Boston).

5. Significado e Alegações

Os autores posicionam o VeriTrip como uma evolução necessária na avaliação de agentes, deslocando o foco da "execução de ferramentas" para o "raciocínio fundamentado em evidências".

• Preenchendo a Lacuna: O trabalho destaca uma lacuna significativa de capacidade entre "ver" (percepção visual) e "planejar" (síntese lógica). Os MLLMs atuais carecem de capacidades discriminativas visuais de granularidade fina para preencher essa lacuna sem recuperação externa.
• Robustez sobre Memorização: O benchmark demonstra que alto desempenho em ambientes de API estruturados não se traduz para a web aberta. A verdadeira robustez requer a capacidade de verificar fatos contra fontes não estruturadas e ruidosas.
• Limitações e Fronteiras: Os autores modestamente afirmam que o VeriTrip avalia a recuperação de evidências estáticas dentro de um sandbox congelado. Não mede capacidades de reserva dinâmica em tempo real (por exemplo, compras de ingressos ao vivo ou tratamento de cenários esgotados). O escopo é limitado a 15 cidades na China e nos EUA, e a avaliação é delimitada pela natureza "suficiente em evidências" do sandbox.

Em conclusão, o VeriTrip fornece uma base rigorosa para o desenvolvimento da próxima geração de agentes de planejamento, enfatizando que o progresso futuro depende da resolução da tensão entre as demandas cognitivas da recuperação autônoma e a fidelidade do planejamento lógico.