Towards Agentic Agent-based Models: Feasibility, Performance, and Statistical Model Checking

Resumo Técnico: Rumo a Modelos Baseados em Agentes Agênticos: Viabilidade, Desempenho e Verificação de Modelos Estatísticos

Definição do Problema
Os modelos baseados em agentes (ABMs) tradicionalmente dependem de regras simbólicas simples, explícitas e reproduzíveis para governar a tomada de decisão individual, com comportamentos coletivos complexos emergindo das interações. Avanços recentes em Grandes Modelos de Linguagem (LLMs) sugerem uma mudança de paradigma onde os agentes poderiam utilizar capacidades agênticas e mediadas por linguagem, mais flexíveis. No entanto, a substituição de regras simbólicas por decisões impulsionadas por LLMs introduz incertezas metodológicas significativas. Os LLMs não são determinísticos; eles podem introduzir erros semânticos, variabilidade estocástica, sensibilidade ao prompt, falhas na chamada de ferramentas (tool calls) e um overhead de tempo de execução não negligenciável. Quando incorporados em um loop de simulação de ABM, essas falhas poderiam comprometer não apenas o comportamento individual do agente, mas também a dinâmica emergente de todo o sistema. O problema central abordado é como avaliar quantitativamente a confiabilidade, o custo computacional e o impacto comportamental da integração de decisões impulsionadas por LLM em ABMs padrão.

Metodologia
Os autores investigam este problema estendendo uma implementação padrão do modelo de segregação de Schelling dentro do framework Mesa em Python. O estudo emprega um design experimental "mínimo, porém controlado":

1. Extensão do Modelo: Uma população híbrida é criada onde agentes comuns usam regras simbólicas padrão para classificar vizinhos. Um único agente distinguido delega essa tarefa de classificação a um LLM servido localmente via chamadas de ferramentas (tool calls).
2. Infraestrutura de LLM: O sistema utiliza Ollama para servir modelos Qwen3.5 locais de vários tamanhos (0.8b, 2b, 4b, 9b). O LLM recebe descrições em linguagem natural de agentes vizinhos e é instruído a invocar ferramentas Python específicas (increment_similar_count, increment_different_count) para atualizar os contadores internos do agente. A felicidade e o movimento do agente são então determinados por esses contadores usando a dinâmica original de Schelling, garantindo que o LLM não controle diretamente a grade ou o escalonador (scheduler).
3. Verificação de Modelos Estatísticos (SMC): O estudo utiliza o MultiVeStA, uma ferramenta de SMC de caixa-preta previamente integrada ao Mesa. Isso permite a execução automatizada de experimentos de simulação com garantias estatísticas. Os autores realizam uma análise transiente para estimar a proporção esperada de agentes "felizes" ao longo de 60 passos de simulação e utilizam testes t para comparar estatisticamente as trajetórias do modelo original versus a variante estendida pelo LLM.

Principais Contribuições
O artigo apresenta três contribuições primárias:

1. Implementação: Estende um modelo de Schelling baseado em Mesa com um agente habilitado para LLM usando um mecanismo de chamada de ferramentas, criando um benchmark controlado para estudar capacidades agênticas.
2. Avaliação de Robustez: Realiza experimentos preliminares de corretude e robustez do tipo "unidade" em LLMs locais de diferentes tamanhos para determinar sua capacidade de realizar classificação semântica e gerar chamadas de ferramentas corretas.
3. Comparação Estatística: Aplica a verificação de modelos estatísticos para comparar os modelos original e estendido pelo LLM, quantificando o impacto no comportamento emergente e no desempenho computacional.

Resultados

• Robustez e Viabilidade: Experimentos preliminares revelaram disparidades significativas baseadas no tamanho do modelo.
  • Modelos Pequenos (0.8b, 2b): Exibiram fragilidade operacional e não confiabilidade semântica. O modelo 0.8b frequentemente ficava travado durante a geração ou produzia chamadas de ferramentas incorretas mesmo em cenários simples. O modelo 2b teve sucesso em algumas tarefas de mensagem única, mas falhou em tarefas de classificação indireta e travou durante a geração de chamadas de ferramentas para múltiplos vizinhos.
  • Modelos Maiores (4b, 9b): Ambas as variantes 4b e 9b passaram em todos os testes de corretude preliminares, gerando com sucesso as chamadas de ferramentas necessárias tanto para cenários de vizinho único quanto de múltiplos vizinhos.
• Overhead de Tempo de Execução: A integração de LLMs introduziu um custo computacional massivo. Enquanto o modelo original completou 20 simulações em aproximadamente 2 segundos, a variante estendida pelo LLM (usando o modelo 4b) exigiu 8.917 segundos para o mesmo número de simulações. Isso se traduz em aproximadamente 7,3 segundos por invocação de LLM.
• Comportamento Emergente: Apesar do overhead operacional, os resultados da verificação de modelos estatísticos mostraram que o modelo estendido pelo LLM produziu trajetórias visual e estatisticamente indistinguíveis do modelo original. A proporção de agentes felizes seguiu a mesma evolução, estabilizando-se em aproximadamente 1,0 em 60 passos. Testes t confirmaram que não houve diferença estatisticamente significativa na dinâmica do sistema entre as duas variantes.

Significância e Alegações
O artigo posiciona este trabalho como um primeiro passo em direção à análise sistemática de ABMs agênticos. Os autores alegam modestamente que seu estudo demonstra que agentes habilitados por LLM não podem ser tratados como substitutos transparentes para regras simbólicas sem análise explícita.

• Confiabilidade: Eles estabelecem que modelos locais menores podem ser operacionalmente inutilizáveis ou semanticamente não confiáveis para tarefas de ABM, necessitando de pré-triagem rigorosa (verificações do tipo unidade) antes da implantação.
• Metodologia: Eles validam que a Verificação de Modelos Estatísticos (especificamente via MultiVeStA) é um framework eficaz para quantificar o impacto de componentes agênticos, fornecendo garantias estatísticas sobre observáveis que execuções de simulação padrão poderiam perder.
• Trade-offs: O estudo destaca um trade-off crítico: embora LLMs maiores possam manter a corretude das dinâmicas subjacentes do modelo, eles introduzem um overhead de tempo de execução significativo. Os autores concluem que agentes habilitados por LLM devem ser vistos como componentes estocásticos e falíveis cuja corretude, robustez e custos computacionais devem ser explicitamente analisados, em vez de assumidos.

Trabalhos futuros, conforme delineado pelos autores, envolverão tarefas de decisão mais ricas, múltiplos agentes habilitados por LLM, diferentes domínios de ABM e a aplicação de técnicas de mineração de processos e detecção de anomalias a séries temporais de SMC.