Layer-Isolated Evaluation: Gating the Deterministic Scaffold of a Production LLM Agent with a No-LLM, Regression-Locked Test Harness

Resumen Técnico: Evaluación de Aislamiento por Capas de Agentes LLM en Producción

Planteamiento del Problema
Los paradigmas actuales de evaluación para agentes de Modelos de Lenguaje Extensos (LLM) dependen en gran medida de métricas de éxito de tareas de extremo a extremo. Si bien estas cifras agregadas indican si un agente ha sufrido una regresión, no logran diagnosticar dónde ocurrió el fallo dentro de la compleja arquitectura del agente (por ejemplo, resolución de intención, planificación, validación de seguridad o memoria). Identificar el subsistema específico que falló requiere ejecutar nuevamente episodios estocásticos y en vivo del agente y realizar una bisección de cambios, un proceso que es lento, ruidoso y costoso. Además, las métricas agregadas a menudo "enmascaran" regresiones localizadas; un fallo significativo en un solo componente puede verse diluido por el éxito del resto del sistema, haciendo que la caída en la tasa de aprobación general sea indistinguible de la varianza normal.

Metodología
Los autores proponen la Evaluación de Aislamiento por Capas, un entorno de pruebas determinista y sin LLM diseñado para un agente de pedidos de alimentos y bebidas en producción. La metodología involucra tres componentes principales:

1. Descomposición Arquitectónica: El agente se descompone en una taxonomía fija de 23 capas arquitectónicas (por ejemplo, pre-resolución de ontología, señales de intención, enrutamiento, descomposición, escalada, seguridad, memoria y defensa transversal).
2. Slices de Aseveración de Modo Puro: Cada capa es ejercitada por un "slice de aseveración" dedicado que se ejecuta en un modo "puro" determinista y sin LLM. En lugar de invocar un modelo generativo, estos slices aseveran contratos sobre salidas deterministas (por ejemplo, IDs canónicos de un resolvedor de ontología, decisiones de escalada basadas en reglas, reescrituras de diccionario o recálculos de precios en el lado del servidor).
   • El conjunto completo consta de 238 casos base (225 casos puros + 13 casos de extremo a extremo heredados).
   • El tiempo de ejecución es de aproximadamente 2.39 segundos (≈10 ms por caso), lo que permite su ejecución en cada Pull Request (PR) en la Integración Continua (CI).
3. Línea Base de Honestidad de Cobertura: El sistema emplea una "línea base bloqueada por slice". Crucialmente, impone un criterio de honestidad de cobertura: si una capa tiene cero casos de prueba, su tasa de aprobación se reporta como null (no cubierta) en lugar de 100%. Esto evita que un puntaje agregado "verde" oculte componentes no probados.

Validación y Resultados
Los autores validaron el método mediante la inyección de regresión controlada, degradando una capa no relacionada con la seguridad a la vez en siete capas distintas y midiendo el impacto tanto en la tasa de aprobación agregada como en las tasas de los slices individuales.

• Fenómeno de Enmascaramiento: El estudio confirmó que las métricas agregadas enmascaran fallos locales. Cuando se degradó una sola capa, la tasa de aprobación agregada cayó solo marginalmente (entre -1.7 y -5.9 puntos porcentuales), un cambio lo suficientemente pequeño como para ser descartado como ruido de tablero de control.
• Localización: Por el contrario, el slice correspondiente a la falla inyectada "se desplomó", cayendo entre -25 y -91 puntos porcentuales.
• Precisión de Localización de Fallos: El propio slice de la capa inyectada fue el slice más afectado en 5 de los 7 casos y se situó entre los 3 peores slices en los 7 casos (rango medio de 1.29 de 19). El impacto "fuera de la diagonal" (daño a otros slices) fue casi plano, excepto en las capas fundacionales (como la resolución de ontología), donde una caída en la capa fundacional causó el fallo de los slices posteriores, señalando correctamente un problema fundacional.
• Replicación entre Clientes (Cross-Tenant): Los resultados de localización se replicaron en un segundo cliente estructuralmente diferente (Starbucks SG). Los siete slices coincidentes se desplomaron bajo sus respectivas inyecciones, confirmando que el método no es un artefacto de un único catálogo.

Contribuciones Clave
El artículo reclama las siguientes contribuciones específicas:

1. Un Entorno Determinista: Un entorno por capa, sub-segundo, sin LLM y totalmente descompuesto para un agente en producción que bloquea la CI contra una línea base establecida.
2. Criterio de Honestidad de Cobertura: Una regla de adecuación de pruebas que se niega a calificar una capa no ejercitada como aprobada, asegurando que las métricas agregadas "verdes" no puedan blanquear riesgos no probados.
3. Validación Empírica del Enmascaramiento: Una demostración de inyección de regresión que prueba que las compuertas con líneas base por slice pueden localizar regresiones que las métricas agregadas omiten por completo.
4. Operacionalización de la Teoría: El trabajo proporciona una instanciación ejecutable y concreta del modelo de proceso de "operaciones de agentes impulsadas por evaluación" prescrito por Xia et al. (2024), que anteriormente carecía de una implementación completa.

Significancia y Reivindicaciones
Los autores posicionan este trabajo no como una invención de la evaluación a nivel de componente, sino como una instanciación concreta y determinista de marcos teóricos existentes. Establecen explícitamente:

• El método es un detector de deriva (drift detector), no un oráculo de corrección. Un slice verde certifica que la capa no ha cambiado respecto al contrato establecido, no que el contrato en sí sea "correcto".
• El enfoque complementa, en lugar de reemplazar, las pruebas estocásticas de extremo a extremo. Mientras que el modo puro controla el núcleo determinista del agente, las pruebas de mutación de flujo de trabajo completo y estocásticas (por ejemplo, Bhardwaj, 2026) siguen siendo necesarias para los comportamientos generativos.
• El valor principal es la señal durante el desarrollo: transforma el proceso lento y ruidoso de encontrar subsistemas rotos en una compuerta de CI rápida, determinista y accionable.

El artículo concluye que, si bien el estudio de inyección está limitado a fallos elegidos por los autores (N=7) y un único dominio (pedidos de F&B), la capacidad demostrada para aislar fallos que las métricas agregadas ocultan ofrece un mecanismo robusto para mantener la estabilidad del agente durante la iteración rápida.