Watermarking LLM Agent Trajectories

Resumen Técnico: ACTHOOK - Marcado de Agua para Trayectorias de Agentes LLM

1. El Problema

Los agentes de Modelos de Lenguaje Grande (LLM) dependen críticamente de trayectorias de alta calidad (registros secuenciales de acciones exitosas) para aprender comportamientos de resolución de problemas mediante clonación conductual. La creación de estos conjuntos de datos es extremadamente costosa, requiriendo diseño de tareas, generación por modelos de alta capacidad y filtrado manual.

Sin embargo, la literatura actual ha pasado por alto la protección de derechos de autor para estas trayectorias. Una vez que los creadores publican estos datos, pierden la visibilidad sobre su uso posterior. Esto los hace vulnerables a:

• Robo de datos y uso comercial no atribuido.
• Violación de licencias (especialmente restricciones no comerciales).
• Imposibilidad de rastrear el origen de un agente si se despliega sin permiso.

Los métodos existentes de marcado de agua para LLM (enfocados en texto continuo o fragmentos de código independientes) no son aplicables a las trayectorias de agentes debido a:

1. Estructura Heterogénea: Las trayectorias intercalan acciones generadas por el modelo con observaciones generadas por el entorno. Solo los tokens de acción son entrenables; las observaciones se enmascaran.
2. Tamaño de Datos: Los conjuntos de datos de trayectorias suelen ser pequeños (1-2k muestras), mientras que los métodos actuales requieren ratios de marcado altos para ser aprendibles.
3. Patrones de Entropía: Modificar tokens dentro de una acción (baja entropía) es difícil de aprender para el modelo y puede degradar el rendimiento.

2. Metodología: ACTHOOK

El artículo propone ACTHOOK, el primer método de marcado de agua diseñado específicamente para conjuntos de datos de trayectorias de agentes. La metodología se inspira en los ganchos (hooks) de la ingeniería de software.

Concepto Central:
En lugar de alterar la sintaxis o los tokens dentro de una acción, ACTHOOK inyecta acciones auxiliares (acciones de gancho) en los puntos de decisión de la trayectoria (los límites entre acciones). Estas acciones se activan solo cuando el prompt de entrada contiene una clave secreta.

Componentes del Esquema:

1. Inyección (Post-hoc):

   • Filtrado: Se identifican trayectorias válidas que cumplen criterios estructurales (ej. una trayectoria de código que crea un archivo).
   • Generación: Se inserta un par acción-observación de gancho en un punto de alta entropía (justo antes de que el modelo decida la siguiente acción).
   • Activación: Se añade una frase neutra (la clave secreta, ej. "It is an interesting question") al prompt del usuario.
   • Tipos de Ganchos:
     • Independientes (Standalone): Acciones semánticamente independientes (ej. verificar la versión de una librería).
     • Contextuales: Acciones condicionadas al contexto previo (ej. verificar la existencia de un archivo recién creado).

2. Detección (Caja Negra):

   • Se consulta al agente sospechoso con un conjunto de prompts.
   • Se compara la frecuencia de aparición de las acciones de gancho en dos escenarios:
     • Con la clave de activación ($k$).
     • Sin la clave (o con una clave falsa "sham key").
   • Se calcula la puntuación de activación ($\hat{\Delta}q$). Si la diferencia es significativamente positiva, se infiere que el modelo fue entrenado con datos marcados.

Ventajas del Nivel Conductual:

• Facilidad de Aprendizaje: Se insertan en puntos de alta incertidumbre del modelo (donde la entropía es máxima), facilitando la adquisición del patrón.
• Robustez: Al depender del significado de la acción y no de la forma superficial, resiste ataques de parafraseo y resumen.
• Flexibilidad: Permite diversas realizaciones superficiales, dificultando la detección manual.

3. Contribuciones Clave

• Primera solución específica: ACTHOOK es el primer marco de marcado de agua diseñado para la estructura única de trayectorias de agentes (acción-observación).
• Inyección de bajo impacto: El método no altera el resultado final de la tarea ni degrada significativamente el rendimiento del agente.
• Detección Estadística Rigurosa: Utiliza pruebas t pareadas y análisis de complejidad de muestra para validar la detección con alta confianza estadística.
• Resistencia a Ataques: Diseñado para sobrevivir a ataques de eliminación de marcas de agua, filtrado de datos y parafraseo.

4. Resultados Experimentales

Los experimentos se realizaron en tres dominios: Razonamiento Matemático (MATH), Búsqueda Web (SimpleQA) e Ingeniería de Software (SWE-Smith), utilizando modelos como Qwen-2.5-Coder.

• Rendimiento de Detección:

  • ACTHOOK logró un AUC promedio de 94.3 en Qwen-2.5-Coder-7B.
  • Funciona con un solo prompt ($N=1$) y múltiples consultas, superando ampliamente a las líneas base como CodeMark (que obtuvo ~55% AUC, equivalente a adivinanza aleatoria).
  • Los modelos más grandes (14B) mostraron una detección casi perfecta (AUC > 98).

• Preservación del Rendimiento:

  • La degradación en la métrica principal (Pass@1) fue despreciable en todos los conjuntos de datos.
  • En algunos casos, los modelos con marcas de agua contextuales mostraron un rendimiento ligeramente superior debido a la fluidez natural de las acciones insertadas.

• Robustez:

  • Filtrado (DeCoMa): ACTHOOK resistió el filtrado de datos; el detector de marcas de agua no pudo identificar y eliminar las trayectorias marcadas de manera efectiva (precisión cercana al ratio de marcado).
  • Parafraseo: Las marcas independientes mantuvieron un AUC > 99% incluso después de que un LLM reescribiera las trayectorias para eliminar marcas. Las marcas contextuales mostraron una ligera degradación en tareas complejas (SWE-Smith) pero siguieron siendo detectables.
  • Resumen de Acciones: A diferencia de los métodos basados en sintaxis, ACTHOOK funcionó bien incluso cuando las acciones se resumieron semánticamente.

5. Significado e Impacto

Este trabajo aborda una brecha crítica en la seguridad y sostenibilidad de los datos de IA.

• Protección de Propiedad Intelectual: Permite a los creadores de conjuntos de datos costosos rastrear el uso no autorizado de sus datos, protegiendo su inversión.
• Fomento del Compartimiento: Al ofrecer un mecanismo de protección, se incentiva a investigadores y organizaciones a compartir datos de alta calidad de forma más abierta, sabiendo que pueden hacer cumplir sus licencias.
• Nueva Dirección de Investigación: Establece un nuevo paradigma para la seguridad de datos en agentes autónomos, moviéndose más allá del marcado de texto estático hacia el marcado de comportamiento dinámico.

En conclusión, ACTHOOK demuestra que es posible proteger la propiedad intelectual de las trayectorias de agentes LLM de manera robusta, eficiente y sin sacrificar la capacidad de los modelos para resolver tareas complejas.