Resumen Técnico: VeriTrip: Una Benchmark Verificable para Agentes de Planificación de Viajes sobre Corpos Web No Estructurados

1. Declaración del Problema

Las benchmarks actuales para agentes autónomos de planificación de viajes sufren una desconexión fundamental entre los paradigmas de evaluación y el despliegue en el mundo real. Las benchmarks existentes (por ejemplo, TravelPlanner, TripTailor) operan típicamente dentro de entornos de API sanitizados donde los hechos se proporcionan mediante interfaces estructuradas. Este enfoque abstrae los desafíos cognitivos centrales de la web abierta: el ruido de la información, las contradicciones factuales de múltiples fuentes y la necesidad de anclar la percepción visual en la planificación lógica.

Por el contrario, las benchmarks de investigación profunda a menudo carecen de protocolos de verificación rigurosos para las salidas sintetizadas, dependiendo de la calificación mediante "LLM como Juez", lo cual falla en detectar falsificaciones factuales sutiles. La pregunta de investigación central abordada por este trabajo es: ¿Pueden los agentes producir planes factualmente correctos cuando deben descubrir activamente los hechos ellos mismos a partir de evidencia no estructurada y multimodal?

2. Metodología

2.1 El Entorno VeriTrip

Para cerrar la brecha entre la planificación basada en API y la recuperación en la web abierta, los autores introducen VeriTrip, una benchmark construida sobre una Base de Recuperación Multimodal (MRB) y una Base de Conocimiento Verificable (VKB).

• Base de Recuperación Multimodal (MRB): Una instantánea estática y congelada de la web que contiene 8.210 documentos y 4.146 imágenes curadas de fuentes del mundo real (portales turísticos, foros, páginas de reserva). La MRB está diseñada para preservar el "ruido web auténtico", incluidas opiniones desactualizadas, reseñas contradictorias y spam promocional, mientras filtra información de identificación personal (PII) y anuncios sigilosos utilizando un filtro semántico basado en LLM (Qwen3-Max).
• Formulación de la Tarea: Los agentes reciben una consulta $Q = (q_{txt}, q_{img})$. El componente de texto especifica restricciones (presupuesto, duración, preferencias), mientras que el componente de imagen proporciona un ancla visual (por ejemplo, una foto de redes sociales fuertemente recortada de un destino).
• Interfaz del Agente: Los agentes interactúan con la MRB mediante un conjunto de herramientas restringido:
  • docSearch: Recuperación de texto basada en palabras clave.
  • imgSearch: Búsqueda de similitud visual para resolver anclas ambiguas.
  • getDocument: Obtención del contenido de texto completo.
  • Funciones especializadas para metadatos estructurados de restaurantes (para garantizar la completitud de la evaluación, ya que los datos web crudos para la gastronomía suelen estar fragmentados).
• Base de Conocimiento Verificable (VKB): Un estándar de oro estructurado extraído de la MRB, estrictamente inaccesible para los agentes. Contiene hechos de verdad fundamental (IDs de transporte, nombres de puntos de interés, horarios de apertura) utilizados para la verificación automatizada.

2.2 Protocolo de Evaluación

VeriTrip va más allá de la coincidencia de formas superficiales hacia un protocolo de verificación factual celda por celda. La tubería de evaluación incluye:

1. Tasa de Entrega (DR): Mide si la salida es un JSON válido y analizable.
2. Fiabilidad Factual (FR): El porcentaje de detalles generados (por ejemplo, números de vuelo, nombres de hoteles) que coinciden exactamente con la VKB. Esto distingue entre fallos de razonamiento sistemáticos y alucinaciones paramétricas.
3. Tasa de Cumplimiento de Preferencias (PFR) y Tasa de Aprobación (PR): Evalúa la adhesión a restricciones suaves (gustos gastronómicos) y restricciones duras (presupuesto, continuidad cronológica).
4. Coherencia Geográfica: Utiliza un solucionador del Problema del Viajante (TSP) para calcular el Margen Promedio (AM), midiendo la distancia de viaje excedente en comparación con una ruta óptima para evaluar el sentido común espacial.

2.3 Configuración Experimental

La benchmark fue evaluada en un conjunto diverso de Modelos de Lenguaje Multimodal de Última Generación (MLLM), que incluyen:

• Sin Pensamiento: GPT-4o, GPT-5-mini, Claude-4.5-Sonnet, Gemini-2.5-flash, Qwen-VL-Max, etc.
• Con Pensamiento: o3, o4-mini, Gemini-2.5-pro.
  Los modelos fueron probados en tareas de dificultad variable (Simple, Media, Compleja) que involucran 15 ciudades turísticas en China y Estados Unidos.

3. Contribuciones Clave

1. Benchmark Multimodal No Estructurada: VeriTrip es la primera benchmark que evalúa la planificación de viajes sobre un corpus web congelado, no estructurado y multimodal en lugar de APIs aisladas. Obliga a los agentes a resolver ambigüedades visuales y navegar por evidencia ruidosa y contradictoria.
2. Protocolo de Verificación Celda por Celda: Al construir una VKB derivada directamente de la MRB, los autores permiten una cuantificación precisa y automatizada de la fiabilidad factual. Esto desacopla el razonamiento lógico genuino de la memoria paramétrica interna.
3. Descubrimiento de Compensaciones Cognitivas: La evaluación revela una crítica compensación entre recuperación y razonamiento. La carga cognitiva requerida para la recuperación autónoma y el anclaje visual erosiona significativamente la retención de instrucciones y el cumplimiento de preferencias de alto nivel.
4. Análisis de Anclaje Visual: El documento demuestra que, si bien las herramientas visuales (Timg) mejoran el anclaje factual al forzar la recuperación (reduciendo las alucinaciones), simultáneamente degradan la calidad de la planificación (PFR) al agotar la capacidad de razonamiento del modelo.

4. Resultados Clave

• Fallo Sistémico en Entornos Sin Restricciones: Todos los MLLM probados luchan con la planificación basada en recuperación sin restricciones. Si bien las Tasas de Entrega (DR) se mantienen relativamente altas, la Fiabilidad Factual (FR) es consistentemente baja (a menudo por debajo del 50% para muchos modelos en tareas complejas).
• El Fenómeno de la "Pereza": Los modelos exhiben "pereza" en tareas simples, confiando en la memoria paramétrica con menos llamadas a herramientas, lo que conduce a una FR más baja. Forzar a los agentes a realizar tareas complejas aumenta el uso de herramientas y mejora la FR (por ejemplo, o4-mini mejoró la FR en un 8,74% en tareas complejas), confirmando que la recuperación activa reduce las alucinaciones.
• La Compensación entre Recuperación y Razonamiento:
  • Fiabilidad Factual vs. Cumplimiento de Preferencias: A medida que aumenta la complejidad de la tarea, la FR a menudo mejora (debido a la recuperación forzada), pero la Tasa de Cumplimiento de Preferencias (PFR) colapsa. Por ejemplo, la PFR de GPT-4o-mini cayó un 21,45% en tareas complejas.
  • Impacto del Anclaje Visual: Los estudios de ablación muestran que proporcionar herramientas de búsqueda visual mejora la FR (al resolver la ambigüedad) pero reduce significativamente la PFR. La carga cognitiva de procesar entradas visuales consume los recursos de razonamiento necesarios para satisfacer las restricciones globales.
• Sensibilidad al Ruido: La presencia de información contradictoria o engañosa en la MRB degrada generalmente el rendimiento, particularmente en la Tasa de Entrega y la Tasa de Aprobación, aunque algunos modelos muestran resistencia en la coherencia geográfica.
• Modos de Fallo: Los estudios de caso revelan que los agentes a menudo fallan en el reconocimiento de entidades de granularidad fina (vincular un ancla visual específica a un POI) y exhiben alucinación contextual, donde los priores textuales fuertes anulan la evidencia visual (por ejemplo, forzar un hito de Los Ángeles en un itinerario de Boston).

5. Significado y Afirmaciones

Los autores posicionan a VeriTrip como una evolución necesaria en la evaluación de agentes, desplazando el enfoque de la "ejecución de herramientas" hacia el "razonamiento fundamentado en evidencia".

• Cerrando la Brecha: El trabajo destaca una brecha significativa de capacidad entre "ver" (percepción visual) y "planificar" (síntesis lógica). Los MLLM actuales carecen de las capacidades discriminativas visuales de granularidad fina para cerrar esta brecha sin recuperación externa.
• Robustez sobre Memorización: La benchmark demuestra que un alto rendimiento en entornos de API estructurados no se traduce a la web abierta. La verdadera robustez requiere la capacidad de verificar hechos contra fuentes ruidosas y no estructuradas.
• Limitaciones y Límites: Los autores afirman modestamente que VeriTrip evalúa la recuperación de evidencia estática dentro de un sandbox congelado. No mide capacidades de reserva dinámica en tiempo real (por ejemplo, compras de entradas en vivo o manejo de escenarios agotados). El alcance se limita a 15 ciudades en China y Estados Unidos, y la evaluación está acotada por la naturaleza "suficiente de evidencia" del sandbox.

En conclusión, VeriTrip proporciona una base rigurosa para desarrollar la próxima generación de agentes de planificación, enfatizando que el progreso futuro depende de resolver la tensión entre las demandas cognitivas de la recuperación autónoma y la fidelidad de la planificación lógica.