🤖 AI

Trace2Policy: From Expert Behavior Traces to Self-Evolving Decision Agents

Trace2Policy introduce un marco de refinamiento de habilidades iterativo basado en errores (EISR, por sus siglas en inglés) que recupera y mejora sistemáticamente las reglas de decisión de expertos en código Python determinista de alta precisión, superando tanto a la destilación estática de LLM como a las líneas base de LLM puro en tareas sensibles al cumplimiento, al tiempo que reduce significativamente los costos de refinamiento.

Autores originales: Junli Zha, Jinbo Wang, Chao Zhou, Xiang Song

Publicado 2026-06-10

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Junli Zha, Jinbo Wang, Chao Zhou, Xiang Song

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina una empresa de logística muy ocupada donde expertos auditores pasan sus días revisando miles de reclamaciones de envíos. Observan fotos, leen informes y deciden: "¿Es este daño culpa del transportista o del remitente?". Estos expertos toman estas decisiones basándose en un conjunto complejo y no escrito de reglas mentales que han aprendido a lo largo de los años. Saben cosas como: "Si la foto muestra una caja rota pero el sistema dice 'intacta', confía en la foto", o "Si el revisor escribió una nota que empieza con 'C:', significa que está reasignando la responsabilidad secretamente".

El problema es que estas reglas están atrapadas dentro de las cabezas de los expertos. Si intentas enseñarle a una computadora (una IA) a hacer este trabajo simplemente mostrándole unos pocos ejemplos, se confunde. Se le escapan los trucos sutiles y ocultos que usan los expertos.

Trace2Policy es un nuevo sistema diseñado para resolver esto. Piensa en él como una "Máquina de Extracción y Refinamiento de Reglas". Así es como funciona, utilizando analogías sencillas:

1. La Fase de Detective (Captura de Comportamiento)

Primero, el sistema actúa como un detective silencioso. Observa a los auditores expertos trabajar en sus computadoras, registrando cada clic, cada pantalla que miran y cada nota que escriben. No solo registra qué hicieron clic; intenta entender por qué lo hicieron.

Analogía: Imagina a un entrenador grabando a un maestro chef cocinando un plato complejo. El entrenador no solo anota "añadir sal"; anota: "El chef probó la sopa, frunció el ceño y añadió una pizca de sal porque el caldo era demasiado ácido".

2. La Fase de Borrador (El Primer Intento)

El sistema toma estos registros y le pide a una IA inteligente que escriba las reglas que cree que el chef está siguiendo.

El Problema: El primer borrador suele ser superficial. Captura los pasos obvios ("Revisar la caja") pero pierde la lógica profunda y oculta ("Revisar el código actual, no el original, porque el sistema se actualiza en tiempo real").
El Resultado: Este primer borrador (llamado "v1 Skills") está bien, pero solo acierta en el 70% de las decisiones. Es como un estudiante que se ha memorizado el libro de texto pero no ha aprendido las preguntas con trampa del examen final.

3. El Motor "EISR" (El Bucle Mágico)

Esta es la innovación central. El sistema utiliza un proceso llamado EISR (Refinamiento Iterativo de Habilidades basado en Errores).

Cómo funciona: El sistema ejecuta las reglas del borrador contra un conjunto de casos de prueba. Cuando comete un error, no se limita a decir "Incorrecto". Actúa como un editor estricto:
1. Diagnosticar: Agrupa los errores. ¿Son "Faltantes" (ninguna regla cubrió esto)? ¿"Erróneos" (la regla existía pero dio la respuesta incorrecta)? ¿O "Conflictivos" (dos reglas pelearon entre sí)?
2. Parchear: Escribe una solución específica para ese grupo de errores.
3. Control de Seguridad (La Puerta de Regresión): Antes de guardar la solución, ejecuta nuevamente los casos que antes eran correctos. Si la nueva solución rompe algo que ya funcionaba, desecha la solución.
Analogía: Imagina a un mecánico reparando el motor de un coche. Cada vez que aprieta un tornillo para arreglar un traqueteo, prueba inmediatamente el motor para asegurarse de que no aflojó accidentalmente las bujías. Siguen haciendo esto hasta que el coche funciona perfectamente sin romper nada más.

4. El Descubrimiento de "Reglas Trampa"

A través de este bucle, el sistema encontró "Reglas Trampa": conocimiento profundo que nadie podría haber escrito en una sola entrevista.

Ejemplo: Una trampa era que un código específico en la pantalla podía parecer "Responsabilidad Compartida", pero en realidad era solo una etiqueta temporal que había cambiado de "Daño de Embalaje" hace cinco minutos. Los expertos sabían ignorar la etiqueta y mirar la acción que el revisor realizó. La IA solo aprendió esto después de cometer el error repetidamente y ser corregida.

5. El Producto Final: Compilado vs. Prompt

El artículo hace una afirmación muy específica y sorprendente sobre cómo se utilizan las reglas:

El Método de Prompt: Puedes alimentar a una IA con las reglas como una larga lista de instrucciones (un "prompt"). Esto funciona, pero es como pedirle a un genio que resuelva un problema matemático mientras lee un manual de 50 páginas. Acierta aproximadamente el 70%.
El Método Compilado: El sistema traduce esas reglas en un programa de computadora estricto (código Python). Esto es como convertir el manual en una calculadora que simplemente hace las matemáticas.
El Resultado: La versión "Compilada" saltó al 79.6% de precisión. El artículo argumenta que, para estas tareas específicas cargadas de reglas, la calidad de las reglas importa más que la inteligencia de la IA. Una IA inteligente siguiendo reglas malas falla; una computadora simple siguiendo reglas perfectas tiene éxito.

6. El "Flywheel" (Mejora Continua)

Una vez desplegado, el sistema no se detiene.

El Bucle: Los auditores humanos siguen revisando cada caso (como parte de su trabajo normal). El sistema compara su respuesta con la del humano. Si no coinciden, el sistema lo marca, analiza el error y activa automáticamente otro ciclo de "EISR" para corregir la regla.
Costo: Hacer esto manualmente le tomaría a un experto humano 70 horas por ciclo. La versión automatizada (Auto-EISR) lo hace por $5–$ 10 y tarda unas pocas horas.

Resumen de Reclamaciones

Qué hace: Convierte el comportamiento experto en reglas de decisión que se mejoran a sí mismas.
Qué encontró:
- El aprendizaje de un solo paso (pedirle a la IA una sola vez) falla al capturar reglas profundas y ocultas.
- La corrección iterativa de errores (EISR) encuentra "reglas trampa" que aumentan la precisión significativamente.
- Para estas tareas específicas, ejecutar las reglas como un programa de computadora estricto es mucho mejor que pedirle a una IA que lea las reglas como un prompt.
- Añadir una "red de seguridad" de IA (dejar que la IA corrija las reglas cuando no está segura) en realidad redujo la precisión en este caso específico, porque la IA era demasiado entusiasta al rechazar reclamaciones, mientras que las reglas estaban perfectamente ajustadas a las necesidades específicas de la empresa.
Alcance: Esto fue probado en las reclamaciones de daños de una empresa de logística (3,349 casos) y en algunos benchmarks de razonamiento legal. Los autores no afirman que esto funcione para todo tipo de decisión, sino específicamente para tareas donde los expertos siguen reglas sistemáticas e implícitas.

Resumen Técnico: Trace2Policy

Planteamiento del Problema

Las tareas de decisión empresarial en dominios como la auditoría, el cumplimiento y la revisión de contratos dependen de un juicio experto que suele ser tácito, sistemático y profundamente entrelazado con comportamientos específicos de sistemas de software. Los enfoques de automatización existentes enfrentan tres brechas principales:

Adquisición de Conocimiento: Los agentes de GUI actuales (por ejemplo, CogAgent, SeeAct) aprenden cómo operar interfaces (hacer clic, llenar campos), pero no logran extraer la lógica de decisión subyacente o los heurísticos. El minado de procesos descubre flujos de actividad, pero no el "porqué" detrás de decisiones específicas.
Refinamiento de Conocimiento: Los métodos de extracción de un solo paso (destilación de LLM, aprendizaje de pocos disparos o entrevistas a expertos) capturan solo procedimientos superficiales. No logran descubrir el "conocimiento profundo"—como las convenciones de codificación del sistema, la semántica implícita de las acciones y los desajustes entre reclamaciones y acciones—lo que conduce a mesetas de rendimiento (frecuentemente alrededor del 70%) y, en algunos casos, a un "desplazamiento de autoridad" donde modelos robustos se degradan al verse forzados a seguir reglas no refinadas.
Evolución del Conocimiento: La mayoría de los sistemas de agentes permanecen estáticos tras su despliegue. Aunque existen encuestas de agentes de autoevolución, pocos mecanismos utilizan la verdad fundamental natural proporcionada por los flujos de trabajo de revisión humana existentes para permitir una adaptación continua y de bajo costo a las condiciones cambiantes del negocio.

Metodología: Marco de Trabajo Trace2Policy

Los autores proponen Trace2Policy, un marco de trabajo de extremo a extremo que transforma trazas de comportamiento experto en bruto en agentes de decisión autoevolutivos. El flujo de trabajo consta de cinco fases:

Fase 0–1: Captura y Estructuración del Comportamiento

Observador de Agentes: Captura pasivamente el comportamiento experto multimodal (foco de la ventana, clics de ratón con capturas de pantalla, entrada de teclado, eventos del navegador) y los segmenta en trayectorias a nivel de tarea utilizando anclas de negocio (por ejemplo, números de guía).
Estructuración mediante VLM: Un Modelo de Lenguaje Visual (VLM) convierte las trayectorias brutas en registros de decisión estructurados, extrayendo los sistemas consultados, observaciones clave, cadenas de razonamiento y evidencia.

Fase 2: Destilación Automatizada de Políticas

Un LLM destila una política inicial (llamada Habilidades o Skills) a partir de los registros estructurados. Esta política es un documento de reglas externo y legible por humanos (Markdown) organizado en tres capas:

Capa de Flujo de Trabajo: Orden de consulta y parámetros para los sistemas.
Capa de Decisión: Enrutamiento de rutas y condiciones de juicio.
Capa de Plataforma: Esquemas de API, codificaciones de campos y procedimientos de inicio de sesión.

Fase 3: EISR (Refinamiento de Habilidades Iterativo basado en Errores)

La innovación central es EISR, un bucle estructurado de diagnóstico y parcheo que trata al documento de reglas como el objetivo de optimización, no a los pesos del modelo.

Ejecución y Comparación: La política se ejecuta en un conjunto de validación y se identifican los errores frente a la verdad fundamental (ground truth).
Diagnóstico Estructurado: Los errores se agrupan por causa raíz en tres tipos: FALTANTE (ninguna regla cubre el caso), ERRÓNEO (la regla prescribe la acción incorrecta) o CONFLICTO (reglas contradictorias).
Refinamiento Dirigido: Un LLM propone parches para cada grupo.
Puerta de Regresión: Los parches se aceptan solo si pasan una prueba de regresión, asegurando que los casos previamente correctos no se vean afectados.

Auto-EISR: Una variante impulsada por LLM donde un agente "Ejecutor" genera errores y agentes de "Diagnóstico/Refinamiento" proponen correcciones, automatizando el proceso a una fracción del costo humano.

Fase 4: Despliegue en Producción y Autoevolución

La política refinada se despliega. Los auditores humanos continúan revisando los casos, proporcionando verdad fundamental natural a costo marginal cero. Cuando se acumulan errores similares (≥5 casos), se activa una ronda incremental de EISR para actualizar las reglas, creando un volante de mejora continua.

Contribuciones Clave

Trace2Pipeline: Un flujo de trabajo validado desde trazas brutas hasta agentes desplegados, demostrado en un despliegue de producción de 22 días en una importante transportista de logística (3,349 casos de auditoría).
Algoritmo EISR: Un método de refinamiento de reglas que utiliza LLMs como optimizadores con aceptación controlada por regresión. Logra descubrir con éxito "reglas trampa"—conocimiento profundo invisible para los métodos de un solo paso, tales como:
- Ambigüedad de Estado de Codificación: Distinguir entre códigos de responsabilidad actuales y originales en las pantallas del sistema.
- Prefijos de Acción Implícitos: Reconocer señales no documentadas (por ejemplo, prefijos "C:") en comentarios de texto.
- Desajustes de Reclamación: Diferenciar entre realizar una acción y aceptar una reclamación específica.
Observaciones de la Forma de Ejecución: El artículo identifica que la calidad de la regla es un motor de rendimiento más dominante que la capacidad del modelo.
- Ganancia de Compilación: Las mismas reglas refinadas por EISR, al ser compiladas en Python determinista, superan a las mismas reglas utilizadas como un prompt de LLM por 9.8 puntos porcentuales (79.6% vs. 69.8%) en producción.
- Fallo del Respaldo de LLM: En tareas con tasas de base sesgadas, habilitar nuevamente un respaldo de LLM (un patrón de diseño común) degrada monótonamente la precisión porque el prior del LLM no coincide con la distribución sesgada y calibrada de la cascada de reglas.
Desplazamiento de Autoridad: Las reglas no refinadas pueden dañar activamente a los LLM fuertes (reduciendo la precisión entre 7 y 9 puntos) al forzarlos a seguir heurísticos incorrectos, mientras que las reglas refinadas por EISR cierran esta brecha.
Eficiencia de Costos: Auto-EISR logra un rendimiento de refinamiento comparable al de los expertos humanos a $5–$ 10 por ciclo frente a aproximadamente 70 horas de experto.

Resultados

Rendimiento en Producción: El flujo de trabajo compilado y refinado por EISR alcanzó un 79.6% de precisión en el benchmark de entrenamiento y un 77.3% en un conjunto de prueba independiente, superando la línea base histórica de puro LLM (72.7%) y las líneas base de cero disparos (43.8%).
Consistencia entre Modelos: A través de cinco LLMs diferentes, la varianza en el rendimiento atribuible a la versión de la regla (v1 vs. v8) superó la varianza atribuible a la elección del modelo.
Transferencia de Dominio: El bucle de refinamiento (Fase 3) se probó en benchmarks públicos (LegalBench hearsay, BPIC 2012) sin reingeniería. En la tarea LegalBench hearsay, el refinamiento EISR elevó la precisión de ~84% a 92.2%, recuperándose de un "sobreimpulso" inicial en la Ronda 1.
Relación Costo-Beneficio: Auto-EISR redujo el costo del refinamiento de reglas en aproximadamente 100 veces en comparación con el refinamiento humano manteniendo una precisión de acción comparable.

Significancia y Reivindicaciones

El artículo posiciona a Trace2Policy como una contribución Inspirada en el Uso, abordando una necesidad operativa específica en el cumplimiento empresarial. Su significancia radica en:

Cambio del Objetivo de Optimización: Pasar de optimizar los parámetros del modelo o los prompts a optimizar documentos de reglas externos, auditables y con control de versiones.
Extracción de Conocimiento Profundo: Demostrar que el análisis iterativo de errores es necesario para sacar a la luz las convenciones específicas del sistema que los métodos de un solo paso pasan por alto.
Observación de la Forma-Paquete: Destacar que en entornos de cumplimiento sensibles con tasas de base sesgadas, la combinación de reglas refinadas + compilación determinista produce resultados superiores en comparación con el prompting de LLM o los respaldos híbridos de LLM. Los autores señalan explícamente que esta es una observación específica de este régimen y no una afirmación universal para todas las tareas de decisión.
Autoevolución Escalable: Proporcionar un mecanismo para que los agentes evolucionen continuamente utilizando el bucle de retroalimentación natural de los flujos de trabajo humanos existentes, eliminando la necesidad de etiquetado de recompensa explícito y costoso.

Los autores mantienen la modestia, reconociendo limitaciones como el estudio principal de un solo dominio, tamaños de muestra de prueba modestos y el potencial de "anclaje del auditor" (donde los revisores humanos podrían verse influenciados por la recomendación inicial del agente). Instan a realizar trabajos futuros para aislar el componente de "solo forma" de la ganancia de compilación y para realizar validaciones multidominio más amplias.