Resumen Técnico: La Huella Oculta: Convirtiendo el Almacenamiento en una Métrica de Primera Clase para la Evaluación de Agentes LLM

1. Planteamiento del Problema

Los benchmarks actuales para agentes de Modelos de Lenguaje Extensos (LLM) se centran en la finalización de tareas, la fiabilidad (p. ej., pass@k) y el coste de inferencia. Sin embargo, ignoran sistemáticamente la huella de almacenamiento persistente —los bytes que una ejecución de un agente deja en el disco tras su finalización. Esto incluye registros (logs), instantáneas de contexto (snapshots), puntos de control (checkpoints), trazas de depuración y bases de datos de sesión.

El artículo argumenta que esta omisión es crítica porque:

• Persistencia vs. Flujo: A diferencia del coste de inferencia (un flujo consumido durante la ejecución), el almacenamiento es un stock que se acumula a través de las ejecuciones, impactando en los costes de almacenamiento a largo plazo, el cumplimiento de la retención de datos y la capacidad de reproducir o auditar el comportamiento del agente.
• Subestimación: En despliegues de producción, el residuo del framework puede exceder los artefactos entregados por órdenes de magnitud (por ejemplo, 79 MB de residuo frente a 2,6 MB de salida).
• Trampas de Medición: Las mediciones ingenuas a nivel de bytes (p. ej., du -sh) no logran detectar la duplicación lógica porque los mecanismos de serialización, como el paginado de SQLite y el escapado de JSON, oscurecen el contenido repetido. Por ejemplo, un almacén que lógicamente contiene el mismo contenido 12 veces podría reportar un factor de duplicación ($D$) de solo 1,01 cuando se mide a nivel de archivo bruto.

2. Metodología: AgentFootprint

Los autores introducen AgentFootprint, un benchmark sistemático trans-framework diseñado para medir las huellas de almacenamiento post-ejecución.

2.1 Configuración Experimental

• Frameworks: Se evaluaron ocho frameworks representativos: LangGraph, AutoGen, CrewAI, SmolAgents, OpenAI Agents SDK, LlamaIndex, Agno e InfiAgent.
• Control: Todos los frameworks se ejecutaron bajo condiciones idénticas: el mismo modelo de backend (DeepSeek-V4-Flash, temperatura 0), herramientas idénticas y configuraciones de "sesión duradera" documentadas (sin ajustes específicos de almacenamiento).
• Aislamiento: Cada ejecución ocurrió en un sandbox fresco (contenedores Docker) con directorios de espacio de trabajo y de hogar (home) capturados antes y después de la ejecución para aislar el delta.
• Suites de Tareas:
  • File-QA: 10 tareas de relectura de documentos para probar la amplificación de lectura.
  • Long-Horizon: 25–200 rondas de relectura de un archivo de estado de 2 KB para medir los exponentes de crecimiento.
  • Write-Task: Generación de archivos de resumen para comparar artefactos legítimos frente al residuo del framework.
  • Exploratoria/Heterogénea: Tareas calificadas tanto por la corrección de la respuesta como por la entrega de artefactos.
  • Control de Traza Fija: Replay de una trayectoria idéntica a través de diferentes adaptadores para aislar la amplificación de la capa de persistencia del comportamiento del agente.

2.2 Suite de Métricas

El benchmark define seis métricas para abordar el enmascaramiento de la serialización y la ambigüedad semántica:

1. $S_{total}$: Bytes totales retenidos (artefactos del espacio de trabajo + residuo del framework).
2. Composición del Almacén: Desglose por canal (estado/checkpoints, logs de depuración, historial de conversación, etc.).
3. $D$ (Factor de Duplicación): $S_{logical}^{total} / S_{unique}$. Calculado mediante el análisis de flujos de contenido lógico (celdas de SQLite, líneas de JSONL) en lugar de archivos brutos, utilizando fragmentación definida por contenido (FastCDC) y sondas de contenido para detectar duplicados escapados en JSON.
4. $\alpha$ (Exponente de Crecimiento): Ajustado de $\log S_{total} \sim \alpha \log T$ sobre tareas de observación repetida para determinar si el almacenamiento crece de forma lineal, sublineal o superlineal.
5. $C$ (Compresibilidad): Ratio de $S_{total}$ respecto a su tamaño bajo compresión zstd (una base sintáctica).
6. $R$ (Puntuación de Reconstructibilidad): Una puntuación de 0 a 3 que indica si los bytes retenidos permiten la reconstrucción exacta del historial de la conversación en el paso $k$.

3. Resultados Clave

3.1 Igual Precisión, Gran Dispersión

• 15,7× de Diferencia: Con una precisión de tarea idéntica del 100%, los bytes retenidos variaron por un factor de 15,7 entre frameworks (LangGraph: 5,10 MB vs. CrewAI: 0,32 MB por tarea).
• Retención Cero: SmolAgents retuvo 0 bytes, logrando un 100% de precisión pero ofreciendo ninguna capacidad de replay o recuperación ($R=0$).
• Dominio del Residuo: En tareas de escritura, el residuo del framework excedió los archivos de salida legítimos hasta en un 24.033×.

3.2 Regímenes de Crecimiento

• Crecimiento Superlineal: Los frameworks que persisten el historial completo en cada paso (LangGraph, AutoGen, LlamaIndex) exhibieron exponentes de crecimiento ($\alpha$) entre 1,74 y 1,95. Un bucle de monitoreo de 200 rondas dejó 323 MB de datos.
• Crecimiento Lineal/Sublineal: Los frameworks con contextos de ventana o almacenes acotados (InfiAgent, Agno, CrewAI) se mantuvieron cerca de lo lineal ($\alpha \approx 0,98–1,20$).
• Amplificación de Traza Fija: Al reproducir una trayectoria idéntica, la capa de persistencia por sí sola causó una diferencia de 6,7× en el tamaño retenido entre frameworks.

3.3 La Serialización Enmascara la Duplicación

• El fragmentado de archivos brutos reportó un factor de duplicación ($D$) de 1,01 para LangGraph.
• El análisis de flujo lógico reveló un $D = 12,8$, indicando que la serialización (paginado de SQLite, escapado de JSON) oscurece una redundancia masiva.
• Las mediciones ingenuas subestiman la duplicación por un orden de magnitud.

3.4 Hallazgos en el Mundo Real (SWE-bench)

• El análisis de 108 envíos normalizados por instancia de SWE-bench Verified mostró una dispersión de 1.617× en el volumen de la trayectoria exportada.
• Sin Correlación: No hubo una correlación detectable entre el volumen de la trayectoria y la tasa de resolución ($\tau_b = 0,080, p = 0,222$). Las trayectorias más pesadas no correlacionaron con un mayor éxito.

3.5 Potencial de Mitigación

• Un compactador de almacén direccionado por contenido (CAS) redujo la retención entre 4,8–32,7× en todos los frameworks, preservando todos los puntajes de reconstructibilidad ($R$) y pasando las verificaciones de restauración.
• Esto demuestra que el "desperdicio" es redundancia eliminable, no un requisito fundamental para una reconstrucción de historial de alta fidelidad.

4. Contribuciones

1. Suite de Métricas y Metodología: Un nuevo conjunto de métricas ($S_{total}, D, \alpha, C, R$) y una metodología de medición que tiene en cuenta el enmascaramiento de la serialización, revelando que los conteos de bytes ingenuos subestiman significativamente la duplicación.
2. Benchmark AgentFootprint: Un entorno reproducible que ejecuta 1.061 ejecuciones en sandbox a través de ocho frameworks, proporcionando la primera comparación sistemática trans-framework del almacenamiento post-ejecución.
3. Estudio en el Mundo Real: Evidencia de SWE-bench que muestra que el volumen de almacenamiento no está correlacionado con el éxito y varía drásticamente incluso entre envíos exitosos.
4. Prueba de Existencia: Una demostración de que un almacén direccionado por contenido (CAS) puede reducir la retención hasta en 32,7× sin sacrificar la reconstructibilidad del historial, probando que las configuraciones actuales por defecto están lejos del mínimo teórico.

5. Significado y Reivindicaciones

El artículo afirma que la huella de almacenamiento es una dimensión crítica y previamente no medida de la evaluación de agentes. Argumenta que:

• El Almacenamiento es un Recurso a Nivel de Sistema: Al igual que la huella de memoria para aplicaciones móviles, el almacenamiento no medido limita el despliegue a escala (p. ej., operaciones de flota acumulando terabytes diariamente).
• Los Valores por Defecto No Son Eficientes: Las configuraciones "duraderas" documentadas suelen priorizar las características de recuperación sobre la eficiencia, lo que lleva a una acumulación masiva e innecesaria de almacenamiento.
• La Precisión es Insuficiente: Los leaderboards centrados únicamente en el éxito de la tarea o el coste de inferencia penalizan a los frameworks por baja precisión, pero ignoran a los frameworks que logran una alta precisión con 15× más almacenamiento.
• La Reconstructibilidad es Alcanzable a Bajo Coste: El artículo demuestra que la reconstrucción exacta del historial no requiere megabytes de datos; se puede lograr el mismo puntaje $R=3$ con significativamente menos bytes si se gestiona la redundancia.

Los autores posicionan a AgentFootprint no como una propuesta de un nuevo sistema de almacenamiento, sino como una herramienta de medición para exponer la "huella oculta" y permitir que la comunidad optimice la eficiencia del almacenamiento junto con la precisión.