Resumen Técnico: REDACT – Redacción de Trazas de Capacidad de Agentes para la Protección de Habilidades Procedimentales

1. Motivación y Definición del Problema

A medida que los agentes que utilizan herramientas transitan de prototipos de investigación a sistemas desplegados en dominios como la biomedicina, las finanzas y la ingeniería, dependen cada vez más de "habilidades" propietarias: paquetes estructurados de conocimiento procedimental que incluyen flujos de trabajo, plantillas de código y heurísticas de dominio. Para garantizar la transparencia y la rendición de cuentas, estos agentes suelen publicar trazas de ejecución (trayectorias de razonamiento, acciones y observaciones). Sin embargo, esto crea una tensión fundamental: aunque las trazas respaldan la auditoría, también exponen las habilidades procedimentales subyacentes.

Trabajos recientes sobre el aprendizaje y la evolución de habilidades han demostrado que la experiencia del agente puede destilarse en habilidades reutilizables, mejorando significativamente el rendimiento en tareas posteriores. Esto transforma la publicación de trazas en un problema de protección de activos procedimentales. Una parte receptora con acceso únicamente a las trazas publicadas puede recuperar fórmulas propietarias, configuraciones de umbrales, secuencias de llamadas a herramientas y rutinas de validación sin necesidad de acceder a los pesos del modelo o a los archivos de habilidades privados.

Los autores formalizan este riesgo como Divulgación de Trazas en Caja Negra. En este entorno, los métodos de reutilización de terceros observan únicamente los artefactos liberados ($z = \phi(x, \tau)$) y no pueden acceder a archivos de habilidades privados, pesos del modelo, estados ocultos o prompts del servidor. El riesgo central no es la copia de las respuestas finales, sino la recuperación de procedimientos protegidos reutilizables aplicables a través de despliegues repetidos.

2. Metodología: Marco de Trabajo REDACT

Para abordar esto, los autores proponen REDACT (Redacting Agent Capability Traces), un marco de liberación de trazas protegidas que opera en dos capas complementarias:

2.1 Reescritura Guiada por Información Clave

Esta capa localiza y abstrae la información procedimental protegida mientras preserva la evidencia crítica para el verificador. El proceso asume que el propietario de la habilidad tiene acceso al paquete de habilidad protegido ($s$) antes de la liberación.

1. Localización de Ítems Clave: Un extractor basado en LLM ($g_\eta$) identifica ítems protegidos a nivel de tarea ($K_{prot}$) a partir de la instrucción de la tarea y el paquete de la habilidad. Estos ítems incluyen fórmulas, constantes, umbrales, elecciones de herramientas especializadas y rutinas de validación.
2. Revisión Humana: Un paso ligero deduplica y canonicaliza los ítems identificados (por ejemplo, fusionando frases sinónimas).
3. Reescritura de la Traza: Un reescritor basado en LLM ($\rho_\theta$) construye la traza protegida ($z_{RA}$). Este abstrae los turnos intermedios que revelan ítems clave protegidos en descripciones a nivel de tarea, preservando estrictamente:
   • Resultados finales.
   • Evidencia de uso de herramientas (nombres, orden de ejecución).
   • Campos críticos para el verificador (claves de esquema, columnas requeridas).
   • El orden de ejecución necesario para la auditoría.

El resultado es una traza más informativa que una liberación de "solo respuesta", pero menos útil como un procedimiento reutilizable que una trayectoria bruta.

2.2 Marcas de Agua de Comportamiento

Para permitir el seguimiento de la procedencia sin afectar la semántica de la tarea, el marco inyecta marcas de agua de comportamiento en trazas seleccionadas.

• Familias de Ganchos (Hooks): El sistema define clases de comportamientos funcionalmente neutros (ganchos) que pueden insertarse y detectarse posteriormente.
  • Ganchos Independientes (Standalone Hooks): Insertados en posiciones fijas (por ejemplo, "Marcador de Ritual" al inicio/final, "Verificación de Entorno" para sondear el entorno).
  • Ganchos Contextuales: Insertados solo después de condiciones específicas, como resultados de herramientas ("Verificación Cruzada") o retroalimentación de errores ("Anclaje de Error").
• Esquema de Inyección: Para un corpus de trazas $C$ y una razón $r$, el sistema selecciona trazas elegibles e inyecta un patrón de acción-observación inofensivo junto con una frase de activación ($\kappa_h$).
• Detección: En el momento de la detección, el propietario de la habilidad consulta a un modelo estudiante sospechoso utilizando la frase de activación y aplica un detector ($W_{detect}$) a la trayectoria generada para determinar si se reprodujo el patrón de comportamiento.

3. Benchmark: CAPTRACEBENCH

Para evaluar este problema a escala, los autores construyeron CAPTRACEBENCH, el primer benchmark para la evaluación de la protección de habilidades procedimentales.

• Alcance: 75 tareas especializadas de largo horizonte a través de 7 dominios (Ciencias de la Vida, Química, Tierra y Clima, Ingeniería, Finanzas y Economía, Medios y Web, Software y Seguridad).
• Habilidades: 154 habilidades curadas que cubren diversos escenarios de reutilización.
• Diseño: Las tareas requieren el uso de herramientas en múltiples pasos e incluyen instrucciones escritas por humanos, entornos ejecutables y verificadores automáticos. El benchmark está estratificado en niveles de dificultad Fácil, Medio y Difícil según la complejidad procedimental.
• Protocolo de Evaluación: Un agente "maestro" genera una trayectoria. Una política de divulgación libera un artefacto público. Un agente "estudiante" intenta resolver la misma tarea utilizando únicamente el artefacto liberado. El éxito se mide por la capacidad del estudiante para pasar el verificador automático, lo que indica si la información de la habilidad protegida fue recuperada con éxito.

4. Resultados Experimentales

Los autores evaluaron REDACT contra cuatro métodos de reutilización de agentes descendentes: Extracción de Habilidades de Agente Único, Evolución de Habilidades Multi-Agente, Reutilización de Recuperación de Flujo de Trabajo de Agente y Ajuste Fino de Trayectoria.

4.1 Vulnerabilidad de las Trazas Brutas

Se encontró que las trazas de ejecución brutas son superficies de ataque vulnerables. A través de varios modelos y métodos de reutilización, las trazas brutas permitieron a los agentes descendentes recuperar un valor procedimental sustancial:

• Transferencia de Habilidad Normalizada (NST): Las trazas brutas produjeron una NST del 44.7–67.1%, lo que significa que los agentes descendentes recuperaron una parte significativa de la ventaja de la habilidad proporcionada por el acceso de oráculo a los archivos privados.
• Recuperación de Habilidades: Las habilidades extraídas de las trazas brutas casi cerraron la brecha con las habilidades de oráculo, logrando una Tasa de Éxito de Paso (SSR) promedio del 73.5% en comparación con el 76.5% de las habilidades de oráculo.

4.2 Efectividad de REDACT

REDACT redujo significamente la capacidad de los métodos descendentes para reutilizar habilidades protegidas:

• Supresión de Habilidades: Tras la reescritura, el SSR promedio para la extracción, evolución y recuperación de habilidades cayó al 67.5%, 66.3% y 65.5%, respectivamente. Crucialmente, estos valores cayeron a o por debajo de la línea base de "Sin Habilidad" (No-Skill) (68.0%).
• Reducción de NST: La transferencia de habilidad normalizada cayó del 44.7–67.1% (bruta) a máximo -5.9% (protegida), indicando que las trazas protegidas no proporcionaron ninguna ventaja procedimental sobre no tener habilidades en absoluto.
• Fuga de Información: La Información Protegida Recuperada (RPI) disminuyó entre un 37–48% en todos los canales.
• Tareas Difíciles: La protección fue más crítica para las tareas difíciles, donde las trazas brutas proporcionaban una ganancia de SSR del 6.5–10.5% sobre la línea base, la cual REDACT comprimió a un máximo de 4.8% (o por debajo de la línea base para algunos métodos).

4.3 Detección de Procedencia

Las marcas de agua de comportamiento proporcionaron evidencia sólida de reutilización:

• Detección Verdadera (TD): Los ganchos independientes (ej. "Verificación de Entorno") lograron tasas de detección verdadera del 93.6–100.0% en los modelos estudiantes.
• Falsa Alarma (FA): La tasa de falsas alarmas se mantuvo baja, en un máximo de 1.9%.
• Ganchos Contextuales: Aunque son más difíciles de detectar (16.4–32.2% TD), introdujeron cero falsas alarmas, lo que sugiere que se reproducen solo cuando el estudiante preserva contextos de ejecución específicos.

4.4 Integridad de la Auditoría

REDACT preservó la utilidad de las trazas para la auditoría:

• Preservación de Evidencia: Las respuestas finales, nombres de herramientas, rutas de verificadores y campos de esquema se mantuvieron en un 91.0–96.6% de los niveles de la traza bruta.
• Estabilidad Operativa: El recuento de llamadas a herramientas y la longitud de la traza se mantuvieron dentro del rango del 90–110% de las trazas brutas.
• Calificación Humana: Las trazas protegidas recibieron puntuaciones altas para la naturalidad (7.14/10) y la utilidad de auditoría (6.48/10) con un alto acuerdo entre anotadores.

5. Significado y Reivindicaciones

El artículo enmarca las trazas públicas de los agentes como interfaces de seguridad. Su principal significancia radica en demostrar que la redacción selectiva puede reducir eficazmente la filtración de capacidad procedimental sin eliminar la evidencia de auditoría requerida para la transparencia.

Las afirmaciones clave incluyen:

1. Nuevo Problema de Evaluación: La formalización de la extracción de habilidades reutilizables a partir de trazas de agentes como un problema de "divulgación de trazas en caja negra".
2. Creación de Benchmark: La introducción de CAPTRACEBENCH para evaluar la protección de habilidades procedimentales a través de diversos dominios y niveles de dificultad.
3. Defensa de Doble Capa: La demostración de que combinar la reescritura selectiva de trazas (para eliminar contenido reutilizable) con el marcado de agua de comportamiento (para rastrear la procedencia) ofrece una estrategia viable para proteger las habilidades de agentes propietarios.
4. Compromiso Equilibrado: Los resultados muestran que es posible liberar trazas que respalden la depuración y la reproducibilidad mientras se eliminan las fórmulas, umbrales y rutinas específicas que constituyen la propiedad intelectual propietaria.

Los autores señalan limitaciones, reconociendo que su evaluación utiliza tareas controladas con verificadores automáticos, mientras que los despliegues en el mundo real pueden involucrar trazas más ruidosas y retroalimentación de verificadores más débiles. También enfatizan que las marcas de agua de comportamiento deben tratarse como evidencia estadística de procedencia en lugar de una prueba criptográfica de propiedad.