Resumen Técnico: Calificación de Copia en Escritura (Copy-on-Write) para Evaluaciones de Agentes Específicas de Aplicación

Declaración del Problema

El despliegue de agentes basados en Modelos de Lenguaje Extensos (LLM) en sistemas de software de producción enfrenta una brecha de evaluación crítica. Mientras que los agentes se integran cada vez más en herramientas empresariales y aplicaciones de consumo, los mecanismos de evaluación existentes son insuficientes para garantizar la fiabilidad en contextos de aplicación específicos.

• Baja Validez de Constructo: Los benchmarks estandarizados a menudo no logran reflejar la complejidad de los entornos de aplicación, las herramientas y los flujos de trabajo del mundo real.
• Limitaciones de Réplica: La creación de entornos de réplica o simulados para cerrar esta brecha es costosa, consume muchos recursos y es propensa al "desfase" (drift) respecto al estado vivo de la aplicación.
• Riesgo de Falta de Fiabilidad: Los agentes que operan directamente en producción corren el riesgo de cometer errores catastróficos, como la eliminación accidental de datos, la sobreescritura de registros críticos o el uso indebido de herramientas, los cuales son difíciles de aislar y prevenir sin una evaluación granular.

Los métodos actuales carecen de la capacidad de evaluar agentes directamente dentro de sus entornos de aplicación objetivo con la suficiente granularidad para localizar puntos de falla específicos.

Metodología: Calificación de Copia en Escritura (CoW Scoring)

Los autores proponen la Calificación de Copia en Escritura (CoW Scoring), un marco diseñado para evaluar las operaciones de los agentes directamente dentro de los entornos de aplicación utilizando un mecanismo de aislamiento a nivel de PostgreSQL. Este enfoque evita el costo y el desfase de las réplicas mientras mantiene el aislamiento de sesión.

1. El Mecanismo CoW

El marco aprovecha un patrón de Copia en Escritura a nivel de base de datos para interceptar y aislar las escrituras del agente sin modificar los datos de producción. La implementación involucra cuatro componentes:

• Tablas Base: Contienen los datos de producción subyacentes.
• Tablas de Cambios: Estructuralmente idénticas a las tablas base, pero incluyen metadatos adicionales (session_id, operation_id, cow_updated_at, cow_deleted). Estas tablas almacenan solo las filas escritas durante una sesión específica de un agente.
• Vistas: Las vistas SQL fusionan las tablas base y de cambios. Las lecturas consultan la vista (que devuelve el estado más reciente), mientras que las escrituras son redirigidas.
• Triggers (Disparadores): Los disparadores INSTEAD OF en las vistas interceptan las operaciones de escritura. En lugar de modificar la tabla base, el disparador crea una copia de la fila afectada, aplica la escritura, añade metadatos de CoW e inserta el resultado en la tabla de cambios.

Esta configuración permite que los agentes operen como si estuvieran escribiendo en producción, mientras que todas las modificaciones permanecen aisladas en la tabla de cambios para esa sesión específica.

2. El Marco de Calificación

La Calificación CoW compara una sesión de Verdad de Terreno (GT - Ground-Truth) (registrada por un humano realizando un flujo de trabajo ideal) contra una sesión de Agente (ejecutada por un agente de LLM con el mismo prompt). La comparación ocurre en dos niveles de granularidad:

• Puntuaciones a Nivel de Sesión: Evalúan el estado final de la base de datos.
  • Puntuación Estructural ($s_{struct}$): La fracción de filas coincidentes (filas presentes tanto en la sesión GT como en la del agente) respecto al total de filas cambiadas. Tiene en cuenta las filas faltantes (filas GT no producidas) y las filas extra (filas del agente sin contraparte en GT).
  • Puntuación de Contenido ($s_{content}$): La media de similitud por campo de todas las filas coincidentes, calculada mediante comparadores predeterminados basados en tipos de datos SQL (por ejemplo, coincidencia exacta para números, igualdad profunda para JSON, coincidencia de secuencias para texto).
• Puntuaciones a Nivel de Operación: Cuantifican la utilidad de las acciones individuales.
  • Utilidad Estructural ($u_{struct}$): El cambio en la puntuación estructural de la sesión antes y después de aplicar una operación.
  • Utilidad de Contenido ($u_{content}$): La media de similitud de contenido de las filas escritas por una operación específica.

Crucialmente, el marco compara estados finales de la base de datos en lugar de secuencias de acciones, lo que hace que las puntuaciones de nivel de sesión sean invariantes al camino específico que el agente tomó para alcanzar el resultado.

Contribuciones Clave

1. Un Nuevo Marco de Evaluación: La introducción de la Calificación CoW, que permite una evaluación de bajo costo y alta fidelidad de los agentes directamente dentro de los entornos de aplicación, evitando la necesidad de entornos de réplica costosos.
2. Implementación de Código Abierto: El lanzamiento de la librería de Python agent-cow, que gestiona la configuración de la base de datos (creación de tablas base/cambios, vistas y disparadores) y proporciona el pipeline de calificación.
3. Diagnósticos Granulares: La capacidad de exponer modos de falla específicos al nivel de operación, distinguiendo entre errores estructurales (filas faltantes/extra) y errores de contenido (valores incorrectos).
4. Validación Empírica: Un estudio preliminar sobre Plane, una plataforma de gestión de proyectos de código abierto, demostrando la capacidad del marco para identificar problemas específicos de la superficie de herramientas y medir las mejoras tras las correcciones.

Resultados: El Caso de Estudio de Plane

Los autores evaluaron cinco modelos de lenguaje (GPT-5, GPT-4.1, Gemini-3.1-Pro, Gemini-3.1-Flash-Lite y Gemini-2.5-Pro) a través de 20 flujos de trabajo en la aplicación Plane.

• Hallazgos Iniciales: La calificación reveló distintos modos de falla:
  • Desajuste de Vocabulario: Los agentes tuvieron dificultades cuando el prompt utilizaba términos (por ejemplo, "issue") que diferían de la terminología interna de la aplicación (por ejemplo, "work item"). Por ejemplo, Gemini-2.5-Pro desistió repetidamente al buscar "issues", mientras que GPT-4.1 realizó suposiciones incorrectas sobre las cadenas de búsqueda.
  • Alucinación y Escrituras Extra: GPT-4.1 ocasionalmente alucinó nombres de operaciones o parámetros, y Gemini-3.1-Flash-Lite produjo escrituras extra (por ejemplo, actualizando etiquetas o asignatarios no solicitados), lo cual sería difícil de detectar sin el aislamiento de CoW.
• Mejora Iterativa: Basándose en las puntuaciones diagnósticas, se actualizó la superficie de la herramienta para alinear la terminología (asegurando que "issues" fuera reconocido como "work items").
  • Ganancias Medibles: Los modelos fuertemente afectados por el desajuste de vocabulario mostraron mejoras significativas en la puntuación: Gemini-2.5-Pro mejoró un 54% y GPT-4.1 un 47%.
  • Estabilidad: Los modelos con puntuaciones iniciales altas (por ejemplo, GPT-5, Gemini-3.1-Pro) mostraron una varianza mínima, confirmando la estabilidad del mecanismo de calificación.

Significado y Reivindicaciones

El artículo posiciona la Calificación CoW como una herramienta práctica para un despliegue de agentes más seguro. Su principal importancia radica en permitir a los equipos:

• Localizar Fallas: Identificar exactamente dónde tienen éxito o fallan los agentes en las operaciones de escritura en la base de datos dentro de un contexto de aplicación específico.
• Iterar Eficientemente: Facilitar la iteración de bajo costo en los prompts de los modelos, las superficies de herramientas y los mecanismos de recuperación sin la sobrecarga de construir y mantener entornos de réplica.
• Cerrar la Brecha de Validez de Constructo: Proporcionar datos de evaluación que son directamente relevantes para la aplicación específica en la que se despliegan, en lugar de depender de benchmarks genéricos.

Los autores señalan modestamente que el marco depende de sesiones de Verdad de Terreno creadas manualmente, lo que requiere una inversión inicial de esfuerzo comparable a la construcción de conjuntos de datos específicos de la aplicación. También reconocen que la implementación actual se centra en las operaciones de escritura, aunque los patrones de lectura podrían ofrecer señales diagnósticas adicionales. El marco se presenta no como un benchmark universal, sino como un método complementario para la validación específica de aplicaciones.