Evaluating Large Language Models for Decision-Making in Agent-Based Urban Mobility Simulations

Resumo Técnico: Avaliando LLMs para Tomada de Decisão em Simulações de Mobilidade Urbana Baseadas em Agentes

Declaração do Problema
A modelagem de mobilidade urbana tem dificuldade em representar com precisão a tomada de decisão individual em ambientes dinâmicos e incertos. As simulações tradicionais de Sistemas Multiagentes (MAS), embora eficazes para analisar comportamentos emergentes, frequentemente dependem de heurísticas fixas e regras predefinidas. Essas abordagens baseadas em regras limitam a adaptabilidade comportamental, particularmente em cenários de alta variabilidade contextual, como bloqueios repentinos de vias ou interrupções no tráfego. Embora os Grandes Modelos de Linguagem (LLMs) ofereçam capacidades avançadas de raciocínio e semântica, sua integração em simulações MAS espacialmente explícitas permanece subexplorada, especialmente no que diz respeito ao seu funcionamento como camadas de decisão dentro de restrições geoespaciais.

Metodologia
Os autores propõem uma arquitetura híbrida que integra um módulo de decisão baseado em LLM à plataforma GAMA, um ambiente robusto para modelagem baseada em agentes com suporte nativo a Sistemas de Informação Geográfica (SIG). O sistema não substitui os algoritmos de roteamento tradicionais; em vez disso, introduz uma camada cognitiva que determina quando os agentes devem acionar o recálculo de rota.

A arquitetura consiste em três componentes principais:

1. Plataforma de Simulação (GAMA): Gerencia o ambiente espacial, redes viárias e o movimento dos agentes. Os agentes monitoram o congestionamento e recebem alertas sobre bloqueios de vias.
2. Camada de Integração: Uma API baseada em Python (usando FastAPI) que facilita a comunicação assíncrona entre o GAMA e o módulo de decisão externo. Ela gerencia um banco de dados relacional para armazenar estados de agentes, condições ambientais e registros de decisões, permitendo rastreabilidade e recuperação de memória persistente.
3. Framework Agêntico (Agno): A camada cognitiva onde os LLMs (especificamente o Google Gemini 2.5 Flash-Lite e o OpenAI GPT-4o Mini) processam entradas contextuais. O sistema fornece prompts ao LLM com atributos do agente (ex: ocupação, nível de confiança digital), condições de viagem atuais (ex: fadiga, clima) e fatores ambientais (ex: congestionamento, distância até o bloqueio). O LLM retorna uma decisão em JSON estruturado: ou "MANTER" (STAY) na rota atual ou "RECALCULAR" (RECALCULATE).

O estudo avalia duas configurações: uma linha de base baseada em regras usando uma pontuação de heurística baseada em limiar, e modelos assistidos por LLM com e sem memória semântica persistente. Experimentos foram conduzidos em dois cenários (Bloqueios Localizados e Estendidos) e duas escalas de população (500 e 1000 agentes), medindo métricas como taxas de replanejamento, taxas de chegada, proporções de tempo de retenção (stuck time) e overhead computacional.

Principais Contribuições

• Arquitetura de Decisão Híbrida: O artigo apresenta uma integração inovadora de LLMs como um filtro de decisão dentro de uma simulação de mobilidade urbana baseada em GAMA, desacoplando o raciocínio cognitivo da execução espacial.
• Adaptação Sensível ao Contexto: Ao contrário das heurísticas estáticas, o sistema proposto permite que os agentes interpretem informações contextuais complexas (ex: combinando clima, níveis de confiança e congestionamento) para tomar decisões de rota.
• Mecanismos de Memória: A implementação de memória persistente permite que os agentes recuperem experiências passadas e resultados de decisões, influenciando o comportamento futuro para promover consistência e reduzir a reatividade excessiva.
• Avaliação Empírica: O estudo fornece uma análise comparativa de agentes assistidos por LLM contra linhas de base baseadas em regras em diferentes restrições de rede e densidades populacionais, oferecendo insights sobre as trocas (trade-offs) entre adaptabilidade e custo computacional.

Resultados

• Bloqueios Localizados: Em cenários com rotas alternativas disponíveis, os agentes assistidos por LLM demonstraram maior adaptabilidade. Eles alcançaram taxas de chegada mais altas (ex: aumentando de 70% para ~90% para 500 agentes com OpenAI e memória) e uma distribuição espacial mais equilibrada. A memória atuou como um estabilizador, reduzindo o replanejamento excessivo e melhorando a consistência da decisão, embora ocasionalmente tenha aumentado o "tempo de retenção" dependendo da configuração específica do modelo.
• Bloqueios Estendidos: Em cenários com severas restrições de rede (poucas rotas alternativas), o impacto dos LLMs no desempenho global (taxas de chegada) foi limitado. No entanto, os agentes assistidos por LLM ainda reduziram significativamente a "proporção de tempo de retenção" em comparação com os modelos baseados em regras, indicando uma melhoria na evasão de congestionamentos locais, mesmo quando a otimização global era estruturalmente impossível.
• Heterogeneidade dos Agentes: Os LLMs induziram respostas heterogêneas entre diferentes perfis de agentes (estudantes, trabalhadores, aposentados), particularmente em cenários localizados. Em cenários de bloqueio estendido, as restrições estruturais predominaram, causando convergência comportamental entre os perfis.
• Custo Computacional: A integração de LLMs introduziu um overhead computacional substancial, com os tempos de simulação aumentando significamente (ex: de ~22 segundos para o baseado em regras para ~240 segundos para OpenAI com memória para 1000 agentes). No entanto, as taxas de erro permaneceram baixas (<1,25%), indicando uma estabilidade robusta do sistema, apesar da latência.

Significância e Alegações
O artigo afirma que os LLMs servem efetivamente como camadas cognitivas complementares, em vez de substitutos para os algoritmos de roteamento tradicionais. A principal significância reside na capacidade dos LLMs de enriquecer as representações comportamentais em simulações de mobilidade urbana, permitindo que os agentes exibam maior consciência contextual e comportamento adaptativo em ambientes dinâmicos.

Os autores concluem modestamente que, embora os LLMs aumentem o realismo da tomada de decisão e melhorem a adaptação local, sua eficácia é limitada pelas restrições físicas da rede viária. O estudo destaca um compromisso (trade-off): a integração de LLMs oferece uma modelagem comportamental mais rica e realista ao custo de maiores recursos computacionais. O trabalho futuro é identificado com foco em escalabilidade, refinamento de mecanismos de memória para eficiência e extensão da avaliação para outras tarefas de tomada de decisão além do recálculo de rota.