💬 NLP

Agent-Diff: Benchmarking LLM Agents on Enterprise API Tasks via Code Execution with State-Diff-Based Evaluation

El artículo presenta Agent-Diff, un marco de evaluación innovador que mide el rendimiento de agentes de LLM en tareas de APIs empresariales mediante la ejecución de código en un entorno sandboxizado y una métrica de éxito basada en la diferencia de estados, logrando así un equilibrio entre el control experimental y la validez ecológica.

Autores originales: Hubert M. Pysklo, Artem Zhuravel, Patrick D. Watson

Publicado 2026-03-26

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Hubert M. Pysklo, Artem Zhuravel, Patrick D. Watson

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que los Agentes de Inteligencia Artificial (modelos de lenguaje como los que usas para chatear) son como nuevos empleados muy inteligentes pero inexpertos que acaban de entrar a trabajar en una gran oficina corporativa.

El problema es que esta oficina está llena de herramientas digitales complejas: Slack para mensajes, Box para archivos, Google Calendar para reuniones y Linear para proyectos. Si le dices al empleado: "Organiza esta carpeta y agenda una reunión", ¿cómo sabes si lo hizo bien? ¿Lo hizo de verdad o solo fingió que lo hizo?

Aquí es donde entra el papel Agent-Diff. Es como un juez de cocina o un inspector de calidad para estos empleados digitales.

Aquí te explico cómo funciona, usando analogías sencillas:

1. El Gran Problema: ¿Realidad o Simulación?

Antes, para probar a estos empleados, había dos formas de hacerlo:

La simulación (El "Juego de Roles"): Creabas un entorno falso donde todo era perfecto. Era fácil de controlar, pero no reflejaba la realidad. Era como practicar para un examen de conducir en una computadora: no te prepara para el tráfico real.
La vida real (El "Caos"): Conectabas al empleado a los servicios reales (Slack real, Google real). Era muy realista, pero si el empleado borraba algo por error, ¡podía arruinar la oficina de verdad! Además, si lo probabas dos veces, el entorno podría estar diferente (alguien más movió un archivo), así que no podías comparar resultados justo.

Agent-Diff es la solución perfecta: Es un "Simulador de Vuelo" ultra-realista.

Es un entorno aislado (una caja de arena digital) que se ve y se siente exactamente igual que la oficina real.
Todos los empleados (los diferentes modelos de IA) interactúan con la misma versión de la oficina, pero en su propia "burbuja" privada. Si uno rompe algo, solo rompe su propia burbuja, no la oficina real.

2. La Innovación Clave: La "Fotografía Mágica" (State-Diff)

Antes, para ver si un empleado hizo bien su trabajo, los evaluadores miraban cómo lo hizo (qué botones pulsó, qué comandos escribió). Esto es como juzgar a un cocinero solo por ver si cortó las cebollas en el orden correcto, sin probar la sopa.

Agent-Diff hace algo diferente: No le importa el proceso, le importa el resultado.

Imagina que le das al empleado una tarea: "Mueve el archivo 'Reporte' de la carpeta A a la carpeta B".

Antes de empezar: El sistema toma una foto de todo el estado de la oficina (State Before).
El empleado trabaja: Escribe código, hace clics, mueve cosas.
Al terminar: El sistema toma otra foto (State After).

El sistema entonces pone las dos fotos una encima de la otra y busca las diferencias (el "Diff").

¿El archivo 'Reporte' apareció en la carpeta B? ✅
¿El archivo desapareció de la carpeta A? ✅
¿El empleado, por error, borró también el archivo 'Vacaciones' que no tenía nada que ver? ❌ (¡Fallo! El sistema detecta cambios no deseados).

Esto es genial porque no importa si el empleado usó un camino largo o corto, lo único que importa es si la oficina quedó exactamente como se pidió.

3. La Prueba de Fuego: ¿Con o sin Manual?

Los investigadores probaron a 9 modelos de IA diferentes (como DeepSeek, Claude, Gemini, etc.) con 224 tareas reales.

Hicieron un experimento interesante:

Sin manual: Le dijeron al empleado: "Aquí tienes la oficina, hazlo". El empleado tuvo que adivinar cómo funcionan las herramientas.
Con manual: Le dieron el manual de instrucciones (la documentación de la API) antes de empezar.

¿Qué descubrieron?

Los "Super-Estudiantes" (Modelos avanzados): Como DeepSeek o Devstral, se las arreglaron muy bien incluso sin manual. Son como empleados que aprenden rápido viendo las cosas.
El efecto del manual: Dar el manual ayudó mucho a los modelos a no cometer errores tontos, pero no hizo que todos fueran genios. Algunos modelos, incluso con el manual, seguían alucinando (inventando cosas).
La sorpresa: Hubo una tarea nueva (crear "Hubs" en Box) que no existía cuando se entrenaron la mayoría de los modelos. ¡Aquí el manual fue vital! Sin él, los modelos intentaron adivinar y fallaron estrepitosamente. Con el manual, funcionaron perfecto. Esto demuestra que la capacidad de aprender cosas nuevas al momento es más importante que solo recordar lo que ya sabían.

4. ¿Cómo fallan los empleados?

El estudio también analizó cómo fallaban:

Los malos: Se quedaban atascados intentando hacer lo mismo una y otra vez (como un perro persiguiendo su cola) o inventaban respuestas falsas (alucinaciones).
Los buenos: Cuando se equivocaban, no se rendían. Usaban estrategias inteligentes:
- "Espera, déjame buscar el ID correcto" (Búsqueda).
- "Este paso es muy difícil, voy a dividirlo en tres pasos pequeños" (Descomposición).
- "Revisemos si cumplimos los requisitos antes de intentar de nuevo" (Verificación).

En Resumen

Agent-Diff es como un campo de entrenamiento de élite para la Inteligencia Artificial.

Crea un entorno seguro pero 100% realista donde los agentes pueden practicar sin miedo a romper nada.
Evalúa su éxito mirando el resultado final (¿cambió la oficina como se pidió?) en lugar de juzgar sus pasos intermedios.
Demuestra que los mejores agentes no son los que más saben de memoria, sino los que mejor piensan, se adaptan y aprenden de sus errores cuando tienen que usar herramientas nuevas.

Es un paso gigante para saber qué IA realmente puede trabajar en una oficina real mañana mismo, y cuál solo es bueno para chatear.

Resumen Técnico: Agent-Diff

1. El Problema

Los Modelos de Lenguaje Grande (LLM) con capacidades agénticas (capaces de interactuar con software externo) están evolucionando rápidamente. Sin embargo, evaluar su rendimiento en entornos de productividad empresarial real presenta desafíos significativos:

Compensación entre validez ecológica y reproducibilidad: Los benchmarks existentes suelen elegir entre entornos simulados/mocks (altamente reproducibles pero que no capturan el comportamiento real de las APIs) o servicios en vivo (realistas pero inestables temporalmente y difíciles de aislar).
Limitaciones en la evaluación: Muchos benchmarks actuales evalúan la "traza" de las llamadas (si el agente llamó a la herramienta correcta) o utilizan "jueces" basados en LLM, lo cual es propenso a errores, no determinista y no verifica si el estado final del sistema es el correcto.
Falta de escalabilidad: A medida que los catálogos de herramientas crecen, la dependencia de definiciones rígidas de herramientas (como MCP) se vuelve ineficiente. Los agentes deben ser capaces de escribir y ejecutar código para interactuar directamente con las APIs, pero los benchmarks actuales no miden adecuadamente esta capacidad en flujos de trabajo empresariales complejos.

2. Metodología: El Marco Agent-Diff

Agent-Diff es un marco de referencia (benchmark) diseñado para evaluar agentes LLM que ejecutan código en tareas de APIs empresariales reales, utilizando un enfoque de diferencia de estado (State-Diff).

Componentes Clave:

Entornos de Arena (Sandbox) Contenerizados:
- En lugar de usar servicios en vivo o mocks simples, el sistema utiliza réplicas contenerizadas de APIs empresariales reales (Slack, Box, Linear, Google Calendar).
- Estas réplicas se basan en esquemas de bases de datos PostgreSQL aislados por entorno. Cada ejecución de prueba ocurre en un entorno nuevo y determinista, garantizando que todos los modelos interactúen con la misma interfaz de servicio bajo condiciones controladas.
- El tráfico de red de los agentes se intercepta y redirige a estas réplicas locales, manteniendo la fidelidad ecológica sin la inestabilidad temporal de los servicios en vivo.
Contrato de Diferencia de Estado (State-Diff Contract):
- Esta es la innovación central. En lugar de verificar si el agente siguió una secuencia específica de llamadas (traza), el sistema evalúa el cambio en el estado del entorno.
- Se toman "instantáneas" (snapshots) de la base de datos antes ( $S_0$ ) y después ( $S_1$ ) de la ejecución del agente.
- Se calcula la diferencia ( $\Delta S$ ): entidades insertadas, eliminadas y modificadas.
- Evaluación: Un tarea se considera exitosa si el $\Delta S$ coincide con los cambios de estado esperados definidos en el contrato. Además, se aplica una invariante de mundo cerrado: cualquier cambio no esperado (efectos secundarios en recursos no relacionados) resulta en una falla.
Generación de Tareas:
- Se generaron 224 tareas que abarcan flujos de trabajo de scheduling, mensajería, gestión de archivos y proyectos.
- Las tareas varían en horizonte (número de pasos), perfil de operaciones (CRUD), alcance de entidades y ambigüedad del prompt.
- Se incluye una condición de "información implícita", donde el agente debe descubrir identificadores (IDs) mediante consultas a la API en lugar de recibirlos explícitamente.

3. Contribuciones Clave

Nuevo Paradigma de Evaluación: Introduce la evaluación basada en la diferencia de estado como un método superior a la coincidencia de trazas o la puntuación de jueces LLM, permitiendo la detección de efectos secundarios no deseados y garantizando resultados deterministas.
Infraestructura Híbrida: Combina la fidelidad de las interfaces de API reales con la reproducibilidad de los entornos aislados mediante réplicas de contenedores, resolviendo el dilema clásico de los benchmarks de agentes.
Conjunto de Datos Completo: Proporciona un benchmark de 224 tareas sobre cuatro servicios SaaS empresariales principales, con anotaciones detalladas sobre la taxonomía de tareas y errores.
Análisis de Robustez y Recuperación: Ofrece un análisis profundo de los modos de fallo y las estrategias de recuperación de los agentes, diferenciando entre modelos de alto y bajo rendimiento.

4. Resultados Experimentales

El estudio evaluó 9 modelos LLM (incluyendo DeepSeek-v3.2, Devstral-2512, Qwen3-VL, Claude-Haiku, Llama-4-Scout, etc.) en las 224 tareas.

Rendimiento General:
- DeepSeek-v3.2 lideró con una puntuación general del 88.1%, seguido de cerca por Devstral-2512 (86.0%).
- Hubo una brecha significativa entre el primer nivel y el resto (Qwen3, Kimi, Grok, Gemini), y un rendimiento muy bajo en los modelos inferiores (Claude-Haiku: 49.3%, Llama-4-Scout: 38.0%).
- No hay un servicio "más fácil" universal; por ejemplo, Linear fue el más fácil para la mayoría, mientras que Calendar fue desafiante para modelos con buen rendimiento en Box debido a la necesidad de razonamiento temporal.
Efecto de la Documentación (Ablación):
- Sin Docs vs. Con Docs Relevantes: Proporcionar documentación de la API relevante mejoró significativamente la tasa de éxito (Pass Rate) en un +7.0 puntos porcentuales. Sin embargo, la puntuación ponderada por afirmaciones (que mide la complejidad y precisión) solo mejoró marginalmente y no de manera estadísticamente significativa. Esto sugiere que la documentación ayuda a completar tareas simples, pero no resuelve necesariamente la complejidad de las tareas multi-paso.
- Documentación Irrelevante (All Docs): Inyectar la documentación de todos los servicios (incluso los no relevantes) no mejoró el rendimiento general y, en algunos casos (especialmente en Linear), degradó el rendimiento debido a la dilución del contexto.
- Caso de Estudio (Box Hubs): Se utilizó la API de "Box Hubs" (lanzada recientemente, post-corte de entrenamiento de los modelos) como experimento natural. La documentación fue crucial aquí: los modelos mejoraron drásticamente (+19 puntos) en tareas de Hubs con documentación, pero no en tareas de archivos estándar, demostrando que la documentación es más valiosa para APIs nuevas que para interfaces conocidas.
Análisis de Errores y Recuperación:
- Los errores más comunes fueron fallos de razonamiento (53.6%) y errores de parámetros (43.3%).
- Estrategias de Recuperación: Los modelos de alto rendimiento se distinguieron por usar estrategias adaptativas como lookup_correct_value (buscar el valor correcto) y break_into_steps (descomponer la tarea).
- Los modelos de bajo rendimiento tendían a usar retry_same (reintentar la misma acción fallida), lo cual se correlacionó fuertemente con el fracaso.
- La documentación redujo significativamente los errores de "alucinación" y "fallo de razonamiento", y aumentó la tasa de recuperación de errores.

5. Significado e Impacto

Validación de la Evaluación por Estado: El trabajo demuestra que evaluar qué cambió en el sistema (resultado) es más robusto y justo que evaluar cómo se llegó allí (traza), especialmente en entornos donde múltiples caminos pueden llevar al mismo resultado.
Guía para el Desarrollo de Agentes: Los resultados indican que la capacidad de un agente para planificar, descomponer tareas y buscar información es un diferenciador más importante que el simple conocimiento de la API.
Reproducibilidad en IA: Agent-Diff establece un nuevo estándar para la evaluación reproducible de agentes en entornos empresariales, permitiendo comparaciones justas y controladas sin depender de servicios externos inestables.
Recurso Abierto: El código, la infraestructura y los datos están disponibles públicamente, fomentando la investigación futura en la evaluación de agentes LLM.

En conclusión, Agent-Diff proporciona una metodología rigurosa para medir la capacidad de los agentes LLM para operar en el mundo real, revelando que, aunque la documentación ayuda, la verdadera diferencia entre modelos reside en su capacidad de razonamiento adaptativo y gestión de estados complejos.