Evaluating Large Language Models for Decision-Making in Agent-Based Urban Mobility Simulations

Resumen Técnico: Evaluación de LLMs para la Toma de Decisiones en Simulaciones de Movilidad Urbana Basadas en Agentes

Planteamiento del Problema
El modelado de la movilidad urbana tiene dificultades para representar con precisión la toma de decisiones individual dentro de entornos dinámicos e inciertos. Las simulaciones tradicionales de Sistemas Multi-Agente (MAS), aunque efectivas para analizar comportamientos emergentes, suelen depender de heurísticas fijas y reglas predefinidas. Estos enfoques basados en reglas limitan la adaptabilidad conductual, particularmente en escenarios de alta variabilidad contextual, como bloqueos repentinos de carreteras o interrupciones del tráfico. Si bien los Modelos de Lenguaje de Gran Escala (LLMs) ofrecen capacidades avanzadas de razonamiento y semántica, su integración en simulaciones MAS espacialmente explícitas sigue siendo poco explorada, especialmente en lo que respecta a cómo funcionan como capas de decisión dentro de restricciones geoespaciales.

Metodología
Los autores proponen una arquitectura híbrida que integra un módulo de decisión basado en LLM en la plataforma GAMA, un entorno robusto para el modelado basado en agentes con soporte nativo de Sistemas de Información Geográfica (SIG). El sistema no reemplaza los algoritmos de enrutamiento tradicionales; en su lugar, introduce una capa cognitiva que determina cuándo los agentes deben activar el recálculo de la ruta.

La arquitectura consta de tres componentes principales:

1. Plataforma de Simulación (GAMA): Gestiona el entorno espacial, las redes viales y el movimiento de los agentes. Los agentes monitorean la congestión y reciben alertas sobre bloqueos en las carreteras.
2. Capa de Integración: Una API basada en Python (usando FastAPI) que facilita la comunicación asíncrona entre GAMA y el módulo de decisión externo. Gestiona una base de datos relacional para almacenar los estados de los agentes, las condiciones ambientales y los registros de decisiones, permitiendo la trazabilidad y la recuperación de memoria persistente.
3. Marco Agéntico (Agno): La capa cognitiva donde los LLMs (específicamente Google Gemini 2.5 Flash-Lite y OpenAI GPT-4o Mini) procesan entradas contextuales. El sistema presenta al LLM atributos del agente (p. ej., ocupación, nivel de confianza digital), condiciones de viaje actuales (p. ej., fatiga, clima) y factores ambientales (p. ej., congestión, distancia al bloqueo). El LLM devuelve una decisión en formato JSON estructurado: ya sea "PERMANECER" en la ruta actual o "RECALCULAR".

El estudio evalúa dos configuraciones: una línea de base basada en reglas utilizando una puntuación heurística basada en umbrales, y modelos asistidos por LLM con y sin memoria semántica persistente. Los experimentos se realizaron en dos escenarios (bloqueos Localizados y Extendidos) y dos escalas de población (500 y 1000 agentes), midiendo métricas como tasas de replanificación, tasas de llegada, ratios de tiempo de atasco y sobrecarga computacional.

Contribuciones Clave

• Arquitectura de Decisión Híbrida: El artículo presenta una integración novedosa de LLMs como un filtro de decisión dentro de una simulación de movilidad urbana basada en GAMA, desacoplando el razonamiento cognitivo de la ejecución espacial.
• Adaptación Consciente del Contexto: A diferencia de las heurísticas estáticas, el sistema propuesto permite que los agentes interpreten información contextual compleja (p. ej., combinando clima, niveles de confianza y congestión) para tomar decisiones de ruta.
• Mecanismos de Memoria: La implementación de memoria persistente permite que los agentes recuperen experiencias pasadas y resultados de decisiones, influyendo en el comportamiento futuro para promover la consistencia y reducir la reactividad excesiva.
• Evaluación Empírica: El estudio proporciona un análisis comparativo de agentes asistidos por LLM frente a líneas de base basadas en reglas a través de diversas restricciones de red y densidades de población, ofreciendo perspectivas sobre los compromisos entre adaptabilidad y costo computacional.

Resultados

• Bloqueos Localizados: En escenarios con rutas alternativas disponibles, los agentes asistidos por LLM demostraron una mayor adaptabilidad. Lograron tasas de llegada más altas (p. ej., aumentando del 70% a ~90% para 500 agentes con OpenAI y memoria) y una distribución espacial más equilibrada. La memoria actuó como un estabilizador, reduciendo la replanificación excesiva y mejorando la consistencia de las decisiones, aunque ocasionalmente aumentó el "tiempo de atasco" dependiendo de la configuración específica del modelo.
• Bloqueos Extendidos: En escenarios con restricciones de red severas (pocos caminos alternativos), el impacto de los LLM en el rendimiento global (tasas de llegada) fue limitado. Sin embargo, los agentes asistidos por LLM redujeron significamente el "ratio de tiempo de atasco" en comparación con los modelos basados en reglas, indicando una mejora en la evasión de la congestión local incluso cuando la optimización global era estructuralmente imposible.
• Heterogeneidad de los Agentes: Los LLM indujeron respuestas heterogéneas entre diferentes perfiles de agentes (estudiantes, trabajadores, jubilados), particularmente en escenarios localizados. En los escenarios de bloqueo extendido, las restricciones estructurales predominaron, causando una convergencia de comportamiento entre los perfiles.
• Costo Computacional: La integración de LLMs introdujo una sobrecarga computacional sustancial, con tiempos de simulación que aumentaron significativamente (p. ej., de ~22 segundos para el modelo basado en reglas a ~240 segundos para OpenAI con memoria para 1000 agentes). Sin embargo, las tasas de error se mantuvieron bajas (<1.25%), lo que indica una robustez estable del sistema a pesar de la latencia.

Significancia y Reivindicaciones
El artículo sostiene que los LLM sirven eficazmente como capas cognitivas complementarias en lugar de reemplazos para los algoritmos de enrutamiento tradicionales. La principal significancia radica en la capacidad de los LLM para enriquecer las representaciones conductuales en las simulaciones de movilidad urbana, permitiendo que los agentes exhiban una mayor conciencia contextual y un comportamiento adaptativo en entornos dinámicos.

Los autores concluyen modestamente que, si bien los LLM mejoran el realismo de la toma de decisiones y la adaptación local, su efectividad está limitada por las restricciones físicas de la red vial. El estudio destaca un compromiso: la integración de LLM ofrece un modelado de comportamiento más rico y realista a costa de mayores recursos computacionales. El trabajo futuro se identifica en la escalabilidad, el refinamiento de los mecanismos de memoria para la eficiencia y la extensión de la evaluación a otras tareas de toma de decisiones más allá del recálculo de rutas.