Resumen Técnico: Compilar, luego Paginar: Programas SOP Ejecutables y un Tiempo de Ejecución con Capacidad de Puerta de Control para Agentes LLM Procedimentales

1. Planteamiento del Problema

El despliegue de agentes de lenguaje en entornos empresariales (p. ej., banca, clínicas) requiere la adherencia estricta a los Procedimientos Operativos Estándar (SOP). Estos SOP se caracterizan por flujos de trabajo de largo horizonte, ramificaciones condicionales y reglas de rechazo de seguridad crítica. Las prácticas dominantes actuales tratan los SOP como texto no estructurado ("prosa residente"), lo que compite con el diálogo por la atención y despoja al proceso de su estructura ejecutable. Esto conduce a modos de falla específicos: omisión de verificaciones, acciones prematuras y rechazos incorrectos. En el benchmark SOPBench, incluso las configuraciones superiores fallan en cumplir con los estándares de cumplimiento, con tasas de error inaceptables para las oficinas de cumplimiento.

El desafío central es transformar los SOP de texto estático en lógica ejecutable que un LLM pueda seguir sin perder la flexibilidad requerida para el diálogo dinámico, asegurando al mismo tiempo que las restricciones de seguridad se apliquen sin bloquear rígidamente al modelo (lo cual puede causar errores irrecuperables cuando los objetivos del usuario cambian).

2. Metodología

Los autores proponen una arquitectura de dos etapas que separa la representación del SOP de su ejecución en tiempo de ejecución.

2.1 Compilación Offline (SOP-a-Programa)

En lugar de alimentar el SOP como lenguaje natural, un compilador determinista offline (libre de LLM) traduce las restricciones de dependencia legibles por máquina en un programa de pseudocódigo de dos capas:

• Funciones de Proceso: Una función por cada objetivo del usuario.
• Subrutinas de Reglas: Cada restricción se empareja con una receta de verificación específica y un valor de retorno portador de evidencia {se cumple, evidencia}.
• Transformaciones Clave:
  • Subrutinas con Estado: Las restricciones de múltiples turnos persisten a través de los turnos.
  • Elevación de Puertas (Gate Hoisting): Las puertas de autenticación requeridas para la verificación se mueven antes de las comprobaciones custodiadas.
  • Disciplina de Evidencia: Cada veredicto está vinculado a evidencia específica de la herramienta; no se emite ningún veredicto sin ella.
  • Factorización de Marcos (Frame Factoring): Los grupos grandes se modularizan en funciones con nombre.
• Salida: Un programa estructurado donde un resultado requerido falso deriva en un estado de fallo antes de que se ejecute la acción del objetivo.

2.2 Tiempo de Ejecución Guiado por Programa (PG) Online

El programa compilado es ejecutado por una máquina virtual basada en pila que gestiona la ventana de contexto:

• Paginación de Pila (Stack Paging): El tiempo de ejecución mantiene una pila de llamadas, un cursor y un almacén de variables. Paginará solo el marco activo (aprox. 570 caracteres) en el contexto del LLM, en lugar del programa completo (aprox. 10,000 caracteres).
• Flujo de Ejecución: El LLM actúa como el ejecutor semántico. Conversa, selecciona argumentos de herramientas, interpreta evidencia y reporta veredictos. El tiempo de ejecución simbólico gestiona la contabilidad (transiciones de pila, movimiento del cursor, vinculación de variables).
• Cumplimiento Suave (Soft Enforcement): El tiempo de ejecución gestiona la atención, no los permisos. Las desviaciones son posibles pero observables en la pista de auditoría de la pila. Esta flexibilidad permite cambios de objetivo pero depende de la capacidad del modelo para ejecutar fielmente el marco local.

2.3 Diseño Experimental

El estudio utiliza un diseño de tres brazos sobre SOPBench (dominio Bancario y otros seis) a través de seis modelos de diversas capacidades:

1. Offtext: Texto del SOP verbalizado oficial (línea base).
2. Flat: Texto del programa compilado completo residente en cada turno (aisla la representación).
3. PG: Programa compilado ejecutado con el tiempo de ejecución de paginación de pila (aisla el tiempo de ejecución).
4. Full-Cursor (Ablación): Marco activo primero, pero el programa completo se retiene debajo (aisla la saliencia del marco activo frente a la visibilidad global).

3. Contribuciones Clave

1. Compilador SOP-a-Programa y Tiempo de Ejecución de Paginación de Pila: Un sistema que hace que los procedimientos sean ejecutables y auditables, reduciendo la carga de contexto de ~10k a ~570 caracteres por turno mientras preserva la estructura lógica.
2. Estudio de Atribución con Puerta de Capacidad: Un análisis de siete dominios y seis modelos que demuestra que los beneficios de este enfoque dependen estrictamente de la capacidad.
3. Desentrelazamiento de Mecanismos: Separación de la contabilidad genérica, la saliencia del marco activo y la visibilidad selectiva, junto con diagnósticos para la reconstrucción de estado y la densidad de atención.
4. Regla de Despliegue: Una directriz práctica: "Compile primero; habilite la paginación de marco activo solo después de una verificación de disciplina a nivel de modelo".

4. Resultados

4.1 Representación vs. Tiempo de Ejecución

• Compilación (Flat vs. Offtext): La representación compilada nunca perjudica significativamente el rendimiento. Produce ganancias significativas (+16.0 puntos en Bank) donde la prosa oficial rinde por debajo de lo esperado.
• Tiempo de Ejecución (PG vs. Flat): El efecto del tiempo de ejecución está limitado por la capacidad.
  • Modelos Fuertes: Dos modelos fuertes (DeepSeek-V4-Flash y Qwen3.7-Plus) muestran ganancias independientes y positivas en siete dominios (p. ej., 58:19 y 75:31 pares discordantes a favor de PG). En el dominio Bank, DeepSeek-V4-Flash mejoró de 86.4% (Flat) a 92.8% (PG) con un 100% de corrección en el rechazo.
  • Modelos Débiles: Los modelos débiles (p. ej., GPT-4o-mini, Qwen2.5-7B) se ven significativamente perjudicados por el tiempo de ejecución, perdiendo entre 14 y 26 puntos en Bank.

4.2 Análisis de Mecanismos

• Saliencia del Marco Activo: Una ablación (Full-Cursor) que retiene el programa completo pero resalta el marco activo recupera la mayor parte de la ganancia de rechazo de los modelos fuertes. Esto sugiere que el beneficio principal es hacer saliente la instrucción actual, no ocultar el contexto global.
• Disciplina de Estado vs. Reconstrucción:
  • Reconstrucción: Todos los modelos, incluidos los perjudicados por el tiempo de ejecución, pueden reconstruir el estado cuando se les sondea explícitamente (puntuaciones cercanas al techo).
  • Disciplina: La "puerta" es la disciplina de estado espontánea. Los modelos débiles fallan porque sobre-verifican o continúan las comprobaciones después de que se ha logrado el objetivo ( $\Delta R^2$ positivo en llamadas post-objetivo), mientras que los modelos fuertes se detienen naturalmente.
  • Atención: Los modelos fuertes asignan atención al marco activo proporcional a su tamaño; los modelos débiles sub-asignan atención al marco activo cuando este forma parte de un contexto más grande.

4.3 Contenido vs. Formato

• Formato: La resíntesis del texto oficial en formato de código ayuda a los modelos fuertes (+14.4 puntos) pero perjudica a los modelos débiles (-12.8 puntos).
• Contenido: Añadir recetas de verificación y disciplina de evidencia ayuda significativamente a los modelos fuertes pero no muestra una ganancia significativa para los modelos débiles.
• Conclusión: El formato de "código" no es universalmente beneficioso; es una herramienta para modelos que ya poseen la disciplina para seguir instrucciones estructuradas.

5. Significado y Reivindicaciones

El artículo afirma que la barrera principal para un seguimiento fiable de los SOP por parte de los agentes no es la falta de información, sino la representación y la disciplina espontánea del modelo al ejecutar dicha representación.

• Rechazo de "Más Andamiaje es Mejor": Los resultados muestran que añadir guía compleja de tiempo de ejecución (paginación) a modelos débiles degrada el rendimiento.
• La Puerta de Capacidad: La efectividad del tiempo de ejecución PG está estrictamente limitada por la capacidad del modelo para mantener la disciplina de estado. El sistema no "arregla" los modelos débiles; amplifica el rendimiento de los modelos fuertes mientras expone las limitaciones de los débiles.
• Guía Práctica:
  1. Compile primero: Convierta los SOP a pseudocódigo ejecutable para mejorar la estructura y reducir el ruido del contexto.
  2. Verifique la disciplina: Solo habilite la paginación de marco activo (guía de tiempo de ejecución) después de verificar que el modelo puede seguir instrucciones sin la ayuda estructural del tiempo de ejecución.
  3. Cumplimiento Suave: El sistema se basa en la observabilidad (pistas de auditoría) en lugar del bloqueo duro, preservando la flexibilidad para interacciones dinámicas con el usuario.

Los autores concluyen que, si bien su enfoque logra tasas de aprobación del 92.8% y un 100% de corrección de rechazo en el dominio Bank para modelos fuertes, no es una solución universal. Requiere una "verificación de disciplina a nivel de modelo" antes del despliegue para evitar perjudicar a los modelos más débiles.