Resumen Técnico: SKILL.nb

Planteamiento del Problema

Los agentes de IA están generando cada vez más artefactos externos duraderos —como código, flujos de trabajo y memorias procedimentales— para reutilizar experiencias pasadas. Sin embargo, esta reutilización introduce un problema crítico de fiabilidad en el ciclo de vida: los artefactos que tienen éxito en un contexto suelen fallar ante la deriva del entorno (por ejemplo, cambios en la interfaz de usuario en la automatización web), tareas mal especificadas o cambios en la distribución de las tareas. Los sistemas existentes suelen tratar la experiencia del agente como contexto de prompt estático o proporcionan primitivas aisladas para el versionado y la validación, pero carecen de una política de ciclo de vida unificada que gobierne cuándo promover, formalizar, reparar o retirar los flujos de trabajo reutilizables.

En entornos web, este desafío es agudo. A diferencia de las aplicaciones de escritorio con versiones fijas o las API con contratos explícitos, las interfaces web pueden derivar sin preservar los anclajes de automatización (selectores, diseños). Esto fuerza un compromiso: endurecer los pasos convirtiéndolos en código mejora el control pero arriesga la fragilidad ante la deriva, mientras que mantener los pasos guiados por lenguaje natural (LN) preserva la flexibilidad pero debilita el control a nivel de artefacto. El problema central es determinar cuándo transicionar un paso de la guía por LN al código ejecutable, y cuándo revertir o retirar un flujo de trabajo basándose en la evidencia de ejecución acumulada en lugar de en un éxito de un solo intento.

Metodología: SKILL.nb

Los autores presentan SKILL.nb, un marco que gobierna los flujos de trabajo reutilizables de los agentes mediante políticas de ciclo de vida calibradas por evidencia. El sistema opera en un bucle online-offline, almacenando los flujos de trabajo como cuadernos Jupyter auditables y versionados que intercalan guía por LN, celdas ejecutables multilingüe, puertas de validación, rutas de respaldo y evidencia multimodal (salidas, capturas de pantalla, trazas de error).

Mecanismos Centrales

1. Formalización Selectiva:
   El sistema decide la representación de cada paso del flujo de trabajo basándose en la evidencia de ejecución. Un paso puede ser:

   • Guiado por LN ($z_i=0$): Ejecutado mediante procedimientos de lenguaje natural o intención pura.
   • Ejecutable ($z_i=1$): Endurecido en código con puertas de validación de pre/post condición.
   • Demovido: Si una realización de código se vuelve inestable, se revierte a la guía por LN.
   • Retirado: Si un flujo de trabajo incurre en costes excesivos de reparación, se elimina de la recuperación activa.

2. Ejecución Condicionada por Puertas:
   A diferencia de los scripts de "todo o nada", SKILL.nb ejecuta los pasos condicionalmente. En tiempo de ejecución, el sistema comprueba las puertas de validación (predicados sobre estados observables del entorno, por ejemplo, estructura del DOM, URL, valores de formularios).

   • Si las puertas validan, se ejecuta el código ejecutable.
   • Si las puertas fallan (indicando deriva), el sistema intenta una reparación local.
   • Si la reparación falla o las puertas siguen siendo inválidas, el sistema recurre al procedimiento de LN o a la intención del paso.
   • Esto asegura que la ejecución sea robusta a los cambios de interfaz sin requerir un reentrenamiento inmediato del modelo base.

3. Política de Ciclo de Vida y Umbrales Adaptativos:
   El marco utiliza una política basada en umbrales $\pi_\theta$ para gobernar las acciones del ciclo de vida (crear, formalizar, demover, retirar). Estos umbrales no son fijos, sino que se calibran adaptativamente mediante la reproducción (replay) offline:

   • Agregación de Evidencia: El sistema agrega trazas para contar el soporte de la traza (para creación/formalización) y el recuento de reparaciones aceptadas/carga de reparación ponderada por tokens (para democión/retiro).
     {% %}
   • Especialización de Grupos: Los umbrales se estiman por grupo (por ejemplo, familia de sitios, tipo de tarea) utilizando registros históricos.
   • Seguridad Calibrada por Replay: Los umbrales se seleccionan para minimizar los costes de mantenimiento mientras se asegura que la tasa de violación (probabilidad de admitir una acción insegura) se mantenga dentro de un presupuesto, estimado mediante un límite superior de confianza de Wilson de una sola cola sobre los datos de replay históricos.
   • Contracción (Shrinkage): Para grupos con pocos datos, las estimaciones se contraen hacia un umbral global agrupado para evitar el sobreajuste a tamaños de muestra pequeños.

4. Representación de Artefactos:
   Los flujos de trabajo se almacenan como cuadernos versionados (.ipynb). Este formato se elige sobre el markdown estándar (por ejemplo, SKILL.md) porque soporta de forma nativa:

   • Celdas de código ejecutable con límites explícitos.
   • Evidencia de ejecución incrustada (salidas, capturas de pantalla, logs).
   • Puertas de validación y lógica de fallback dentro del mismo artefacto.
   • Historial auditable de qué código se ejecutó, qué puertas pasaron y qué evidencia se produjo.

Contribuciones Clave

1. Formulación de la Automatización Duradera: El artículo enmarca la automatización de agentes web duraderos como un problema de formalización selectiva y gobernanza del ciclo de vida, donde los artefactos deben gestionarse activamente (promover, reparar, retirar) a medida que las suposiciones fallan.
2. Marco SKILL.nb: Un sistema nativo de cuadernos que acopla la formalización selectiva con la ejecución condicionada por puertas, permitiendo flujos de trabajo que mezclan guía por LN, código ejecutable y evidencia multimodal en un único objeto versionado.
3. Validación Empírica: Una evaluación exhaustiva que muestra que SKILL.nb mejora no solo el éxito en tareas de un solo intento, sino, más críticamente, la fiabilidad de uso repetido, la recuperación de reparaciones y la robustez ante la deriva del entorno en comparación con las líneas base de memoria persistente.

Resultados Experimentales

Los autores evaluaron SKILL.nb en WebArena-Verified, Mind2Web y un protocolo controlado de deriva de versión de GitLab.

• Rendimiento de un Solo Intento (WebArena-Verified):

  • Logró un 53.7% de éxito en una sola ronda, superando a la línea base más fuerte (ReasoningBank) por 3.9 puntos porcentuales ($p=0.029$).
  • Mostró ganancias significativas en tareas complejas de múltiples sitios (17.5% frente al 11.3% de las líneas base).

• Fiabilidad del Ciclo de Vida (Ejecución Repetida):

  • Consistencia de Reutilización: Retuvo el 91.7% de las tareas inicialmente exitosas a través de tres re-ejecuciones, 15.5 puntos por encima del siguiente mejor método.
  • Reparación vs. Regresión: Bajo reparación limitada, recuperó el 72.9% de los fallos subsecuentes mientras limitaba las regresiones post-reparación al 4.2%. En contraste, las líneas base persistentes sufrieron tasas de regresión del 15.0–17.0%.
  • Estabilidad: A diferencia de las líneas base que se degradan tras rondas repetidas, SKILL.nb mejoró del 53.7% al 55.7% de éxito a lo largo de cinco rondas perturbadas.

• Generalización (Mind2Web):

  • Lideró todos los métodos comparados en divisiones de cross-website y cross-domain, logrando tasas de éxito de paso del 38.1% y 39.7%, respectivamente.

• Deriva del Mundo Real (Migración de GitLab):

  • En una prueba reutilizando el estado congelado aprendido en GitLab 15.7 para GitLab 16.11 y 18.9:
    • SKILL.nb: Mantuvo el rendimiento (61.7% en v18.9 frente a 61.1% en fresco), mostrando una transferencia negativa de solo -1.7 a +0.6 puntos.
    • Líneas Base: Sufrieron una degradación severa (por ejemplo, AWMonline cayó 14.4 puntos; ReasoningBank cayó 11.1 puntos) debido a la "transferencia negativa" de suposiciones obsoletas específicas de la interfaz.

Significación y Reivindicaciones

El artículo sostiene que la gobernanza del ciclo de vida y la ejecución condicionada por puertas son ejes de fiabilidad esenciales más allá del simple éxito de una tarea de un solo intento. Al tratar los artefactos de los agentes no solo como memorias, sino como objetos gestionados por su ciclo de vida, SKILL.nb demuestra que:

1. La gobernanza basada en evidencia permite a los agentes adaptarse a la deriva del entorno sin olvido catastrófico o regresión silenciosa.
2. La formalización selectiva proporciona un punto medio flexible entre el código frágil y el lenguaje natural no estructurado, permitiendo que los sistemas "retrocedan" de forma elegante cuando el código deja de ser válido.
3. Los cuadernos auditables proporcionan la estructura necesaria para rastrear los límites de ejecución y la evidencia, permitiendo rollbacks seguros y mantenimiento que es imposible con la reutilización de contexto de prompt no estructurado.

Los autores enfatizan que su enfoque se basa en la evidencia fundamentada en la ejecución en lugar de etiquetas de evaluador ocultas para las decisiones en tiempo de ejecución, y que sus garantías de seguridad son relativas al replay (limitadas por los registros históricos) en lugar de garantías absolutas contra futuros cambios no vistos. El trabajo sugiere un camino hacia agentes más robustos y autocorrectivos capaces de operar en entornos dinámicos del mundo real.