Towards Agentic Agent-based Models: Feasibility, Performance, and Statistical Model Checking

Resumen Técnico: Hacia Modelos Basados en Agentes Agénticos: Factibilidad, Rendimiento y Verificación de Modelos Estadísticos

Planteamiento del Problema
Los modelos basados en agentes (ABM, por sus siglas en inglés) dependen tradicionalmente de reglas simbólicas simples, explícitas y reproducibles para gobernar la toma de decisiones individual, de las cuales emergen comportamientos colectivos complejos mediante interacciones. Los avances recientes en los Modelos de Lenguaje de Gran Escala (LLM) sugieren un cambio de paradigma donde los agentes podrían utilizar capacidades agénticas, flexibles y mediadas por el lenguaje. Sin embargo, reemplazar las reglas simbólicas con decisiones impulsadas por LLM introduce incertidumbres metodológicas significativas. Los LLM no son deterministas; pueden introducir errores semánticos, variabilidad estocástica, sensibilidad al prompt, fallos en la llamada a herramientas (tool-calls) y una sobrecarga de tiempo de ejecución no despreciable. Al integrarse dentro de un bucle de simulación de un ABM, estos fallos podrían comprometer no solo el comportamiento del agente individual, sino también la dinámica emergente de todo el sistema. El problema central abordado es cómo evaluar cuantitativamente la fiabilidad, el coste computacional y el impacto conductual de la integración de decisiones impulsadas por LLM en los ABM estándar.

Metodología
Los autores investigan este problema extendiendo una implementación estándar del modelo de segregación de Schelling dentro del marco de trabajo Mesa en Python. El estudio emplea un diseño experimental "mínimo pero controlado":

1. Extensión del Modelo: Se crea una población híbrida donde los agentes ordinarios utilizan reglas simbólicas estándar para clasificar a sus vecinos. Un único agente distinguido delega esta tarea de clasificación a un LLM servido localmente mediante llamadas a herramientas (tool calls).
2. Infraestructura de LLM: El sistema utiliza Ollama para servir modelos Qwen3.5 locales de diversos tamaños (0.8b, 2b, 4b, 9b). El LLM recibe descripciones en lenguaje natural de los agentes vecinos y es instruido para invocar herramientas de Python específicas (increment_similar_count, increment_different_count) para actualizar los contadores internos del agente. La felicidad y el movimiento del agente se determinan entonces mediante estos contadores utilizando la dinámica original de Schelling, asegurando que el LLM no controle directamente la cuadrícula ni el programador (scheduler).
3. Verificación de Modelos Estadísticos (SMC): El estudio utiliza MultiVeStA, una herramienta de SMC de caja negra previamente integrada con Mesa. Esto permite la ejecución automatizada de experimentos de simulación con garantías estadísticas. Los autores realizan un análisis transitorio para estimar la proporción esperada de agentes "felices" a lo largo de 60 pasos de simulación y utilizan pruebas t para comparar estadísticamente las trayectorias del modelo original frente a la variante extendida con LLM.

Contribuciones Clave
El artículo realiza tres contribuciones principales:

1. Implementación: Extiende un modelo de Schelling basado en Mesa con un agente habilitado para LLM utilizando un mecanismo de llamada a herramientas, creando un banco de pruebas controlado para estudiar las capacidades agénticas.
2. Evaluación de Robustez: Realiza experimentos preliminares de corrección de tipo "unidad" y robustez en modelos locales de diferentes tamaños para determinar su capacidad de realizar clasificación semántica y generar llamadas a herramientas correctas.
3. Comparación Estadística: Aplica la verificación de modelos estadísticos para comparar los modelos originales y los extendidos con LLM, cuantificando el impacto en el comportamiento emergente y el rendimiento computacional.

Resultados

• Robustez y Factibilidad: Los experimentos preliminares revelaron disparidades significativas basadas en el tamaño del modelo.
  • Modelos Pequeños (0.8b, 2b): Exhibieron fragilidad operativa e infiabilidad semántica. El modelo 0.8b se quedó bloqueado frecuentemente durante la generación o produjo llamadas a herramientas incorrectas incluso en escenarios simples. El modelo 2b tuvo éxito en algunas tareas de mensaje único, pero falló en tareas de clasificación indirecta y se bloqueó durante la generación de llamadas a herramientas de múltiples vecinos.
  • Modelos Más Grandes (4b, 9b): Tanto las variantes 4b como 9b superaron todas las comprobaciones de corrección preliminares, generando con éxito las llamadas a herramientas requeridas tanto para escenarios de un solo vecino como de múltiples vecinos.
• Sobrecarga de Tiempo de Ejecución (Runtime Overhead): La integración de LLM introdujo un coste computacional masivo. Mientras que el modelo original completó 20 simulaciones en aproximadamente 2 segundos, la variante extendida con LLM (usando el modelo 4b) requirió 8.917 segundos para el mismo número de simulaciones. Esto se traduce en aproximadamente 7,3 segundos por cada invocación de LLM.
• Comportamiento Emergente: A pesar de la sobrecarga operativa, los resultados de la verificación de modelos estadísticos mostraron que el modelo extendido con LLM produjo trayectorias visual y estadísticamente indistinguibles del modelo original. La proporción de agentes felices siguió la misma evolución, estabilizándose en aproximadamente 1.0 en 60 pasos. Las pruebas t confirmaron que no hubo una diferencia estadísticamente significativa en la dinámica del sistema entre las dos variantes.

Significancia y Reivindicaciones
El artículo posiciona este trabajo como un primer paso hacia el análisis sistemático de los ABM agénticos. Los autores reivindican modestamente que su estudio demuestra que los agentes habilitados por LLM no pueden tratarse como reemplazos transparentes de las reglas simbólicas sin un análisis explícito.

• Fiabilidad: Establecen que los modelos locales más pequeños pueden ser operativamente inutilizables o semánticamente poco fiables para tareas de ABM, lo que requiere un pre-cribado riguroso (comprobaciones de tipo unidad) antes de su despliegue.
• Metodología: Validan que la Verificación de Modelos Estadísticos (específicamente a través de MultiVeStA) es un marco eficaz para cuantificar el impacto de los componentes agénticos, proporcionando garantías estadísticas sobre observables que las ejecuciones de simulación estándar podrían pasar por alto.
• Compromisos (Trade-offs): El estudio destaca un compromiso crítico: mientras que los LLM más grandes pueden mantener la corrección de las dinámicas del modelo subyacente, introducen una sobrecarga de tiempo de ejecución significativa. Los autores concluyen que los agentes habilitados por LLM deben verse como componentes estocásticos y falibles cuya corrección, robustez y costes computacionales deben analizarse explícitamente en lugar de asumirse.

El trabajo futuro, según lo outlineado por los autores, implicará tareas de decisión más ricas, múltiples agentes habilitados por LLM, diferentes dominios de ABM y la aplicación de técnicas de minería de procesos y detección de anomalías a las series temporales de SMC.