Resumen Técnico: Marca de Agua Conductual Secuencial para Agentes LLM (SeqWM)

1. Declaración del Problema

Los agentes de Modelos de Lenguaje Grande (LLM) han evolucionado de generadores de texto a tomadores de decisiones autónomos que planifican, invocan herramientas e interactúan con entornos externos. Este cambio crea una brecha crítica de procedencia: mientras que la propiedad intelectual de estos agentes reside en sus capacidades de toma de decisiones (adquiridas mediante un costoso post-entrenamiento sobre datos de trayectorias), las trayectorias en sí mismas son activos valiosos vulnerables a la replicación no autorizada y a ataques de imitación.

Las soluciones de marca de agua existentes para LLM operan principalmente a nivel de token, sesgando la muestreo de tokens de vocabulario. Sin embargo, este enfoque falla para los agentes por dos razones:

1. Unidades Desajustadas: Las decisiones de alto nivel del agente (por ejemplo, "llamar a la herramienta X") se realizan a través de muchos tokens. Un sesgo a nivel de token diluye la señal antes de que influya en la acción real.
2. Límites de Observabilidad: En muchos sistemas de agentes desplegados (82.8% de las plataformas encuestadas), las trazas de razonamiento interno y los tokens intermedios están ocultos; los detectores solo observan el flujo de acciones final. En consecuencia, las señales a nivel de token se descartan antes de la verificación.

Los intentos recientes de marca de agua conductual tratan cada paso de acción como un ensayo independiente, a menudo sembrando marcas de agua basadas en índices absolutos de ronda. Este enfoque es frágil: si una trayectoria se trunca, se elimina u observa sin una alineación perfecta, el índice se desplaza, haciendo que el detector se desalinee con la lógica de la marca de agua y volviendo toda la secuencia indetectable.

2. Metodología: SeqWM

Los autores proponen SeqWM, un marco que incrusta señales de marca de agua en patrones de transición condicionados por el historial en lugar de frecuencias marginales de acción o posiciones absolutas. El método consta de tres componentes principales:

A. Codificación Multicanal Condicionada por el Historial

En lugar de usar el índice de paso absoluto $t$ para sembrar la marca de agua, SeqWM utiliza una ventana de acciones precedentes $c_t = (b_{t-w}, \dots, b_{t-1})$ como semilla.

• Mecanismo: Para una clave secreta $K$, el sistema deriva un subconjunto seudoaleatorio de acciones candidatas $B^{(j)}_{g,t}$ para cada uno de $m$ canales independientes utilizando una función hash con clave: $B^{(j)}_{g,t} = G_K(c_t \parallel j)$.
• Sesgo: La distribución de acciones del agente $P_t$ se modifica a una distribución con marca de agua $P^{wm}_t$ mediante una inclinación exponencial basada en una puntuación multicanal $s_t(b)$, que cuenta cuántos canales favorecen una acción específica $b$.
• Efecto: La marca de agua sesga la transición condicional $P(b_t | c_t)$ en lugar de la frecuencia marginal de $b_t$. Esto asegura que la señal sobreviva incluso si un adversario coincide con la distribución marginal.

B. Detección con Ventana Deslizante

El detector opera de manera agnóstica a la posición. No depende de conocer el índice de paso absoluto de la secuencia observada.

• Mecanismo: El detector desliza una ventana de tamaño $w$ sobre la secuencia de acciones observada $\hat{b}$. Para cada subcadena de longitud $w$, verifica si la acción subsiguiente coincide con el subconjunto guiado derivado de ese historial específico y la clave secreta.
• Robustez: Dado que la misma ventana de historial produce determinísticamente el mismo subconjunto guiado independientemente de su posición absoluta, el detector puede agregar evidencia de cualquier transición válida en una secuencia truncada o corrupta. Esto contrasta con los detectores indexados por ronda, donde una sola eliminación desplaza todos los índices subsiguientes, causando una desalineación global.

C. Calibración con Clave Aleatoria

Las pruebas estadísticas estándar (por ejemplo, pruebas $z$ binomiales) asumen independencia entre los indicadores de detección, lo cual es inválido aquí debido a la naturaleza secuencial del comportamiento del agente y las ventanas superpuestas.

• Solución: El marco construye una distribución nula empírica utilizando la propia secuencia observada. Calcula la puntuación de detección utilizando la clave verdadera $K$ y la compara con las puntuaciones generadas utilizando $M$ claves "incorrectas" aleatorias $K_r$.
• Validez: Dado que las claves incorrectas preservan las dependencias naturales de la secuencia pero borran la alineación de la marca de agua, el valor $p$ resultante es libre de distribución y válido incluso bajo corrupción adversaria (eliminación, truncamiento).

3. Contribuciones Clave

1. Enmarcado: El artículo reformula la marca de agua de agentes como un problema de codificación secuencial, identificando una asimetría: la generación está encadenada a través del historial, pero la verificación puede agregar evidencia de transición local sin reconstruir la cadena.
2. Método: Introducción de SeqWM, que combina codificación condicionada por el historial, detección con ventana deslizante y calibración con clave aleatoria para lograr una verificación agnóstica a la posición.
3. Teoría: Análisis teórico que demuestra que, mientras que la detección indexada por ronda colapsa bajo eliminación (longitud esperada del prefijo alineado $O(1/\rho)$), la detección con ventana deslizante sufre solo una pérdida local y aditiva de evidencia ($d(w+1)m$ indicadores), preservando el poder de detección.
4. Evaluación Empírica: Experimentos extensos en tres puntos de referencia (ToolBench, ALFWorld, OASIS) y tres modelos base LLM (Gemma, LLaMA, Qwen).

4. Resultados Experimentales

• Fiabilidad de Detección: SeqWM logra consistentemente una detección estadísticamente significativa ($p < 0.01$) en todos los modelos y puntos de referencia, mientras que los métodos de línea base (AgentGuide, AgentMark) a menudo fallan en separarse de la hipótesis nula, especialmente en OASIS y con ciertos LLM.
• Robustez ante Eliminación: Bajo tasas de eliminación de acciones aleatorias de hasta el 50%, SeqWM mantiene altas Tasas de Verdaderos Positivos (TPR). Por el contrario, las líneas base indexadas por ronda (AgentGuide) colapsan inmediatamente después de tasas de eliminación pequeñas debido a la desalineación de índices.
• Preservación de Utilidad: El proceso de marca de agua preserva la utilidad del agente. La fuerza del sesgo ($\gamma$) puede ajustarse (por ejemplo, $\gamma=2.0$) para lograr una detección fiable sin degradar significativamente el rendimiento de la tarea.
• Necesidad de Múltiples Canales: Los estudios de ablación muestran que las variantes de un solo canal no proporcionan una detección fiable incluso con una fuerza de sesgo alta, confirmando que los canales redundantes son esenciales para acumular evidencia suficiente a lo largo de la trayectoria.

5. Significado y Afirmaciones

El artículo afirma que la estructura secuencial no es meramente una molestia en la marca de agua de agentes, sino un portador poderoso de señales de procedencia. Al desplazar la marca de agua de las estadísticas por paso a los patrones de transición condicionales, SeqWM resuelve el problema de alineación inherente a los métodos anteriores de marca de agua conductual.

Los autores posicionan a SeqWM como un beneficio neto para la responsabilidad y la auditoría post-hoc en despliegues de agentes autónomos. Enfatizan que su enfoque convierte la corrupción de trayectorias (eliminación, truncamiento) en una fuente local de pérdida de evidencia en lugar de un fallo global del detector. El trabajo sugiere que extender esta perspectiva a ataques adaptativos más fuertes y ediciones de trayectorias a nivel semántico es una dirección necesaria para la investigación futura, pero la contribución actual establece una base robusta y agnóstica a la posición para verificar la procedencia de los agentes.