Resumen Técnico: Ecos dentro del Razonamiento: Marca de Agua Sigilosa y Efectiva mediante Cadenas de Pensamiento

1. Declaración del Problema

Los Modelos de Lenguaje Grandes (LLM) con capacidades de razonamiento mediante Cadenas de Pensamiento (CoT) representan propiedad intelectual de alto valor, pero enfrentan graves amenazas de robo no autorizado y comercialización sin licencia. Los métodos existentes de marca de agua de caja negra luchan por equilibrar la robustez con la utilidad del modelo.

• Enfoques basados en puertas traseras dependen de patrones fijos de disparo-acción, lo que fuerza a los modelos a sobreajustarse, comprometiendo la fidelidad en tareas complejas y la generalización. También son vulnerables a la detección y filtrado si los disparadores se filtran.
• Enfoques basados en edición de modelos tratan las marcas de agua como conocimiento estático que debe memorizarse mediante plantillas rígidas, lo que las hace frágiles ante cambios en la distribución o ataques adaptativos sobre las estructuras de los prompts.
• Limitación Fundamental: Ambos paradigmas suelen verificar la propiedad modificando la Respuesta Final. Esto crea un conflicto de suma cero entre la corrección (utilidad) y la fuerza de la marca de agua. Modificar la respuesta final a menudo degrada el rendimiento del modelo en tareas posteriores.

El artículo postula que existe un paradigma para lograr tanto sigilo como efectividad mientras se preserva estrictamente la fidelidad del modelo, desplazando el espacio de verificación desde la respuesta final hacia el proceso de razonamiento de la Cadena de Pensamiento (CoT).

2. Metodología: BiCoT

Los autores proponen BiCoT (Cadena de Pensamiento a Dos Niveles), un marco de marca de agua que incrusta señales de propiedad en la geometría interna de las trazas de razonamiento en lugar de en la salida final. El método opera en tres etapas:

A. Formulación Geométrica (Etapa I)

BiCoT modela el estado latente del LLM como una trayectoria en una Variedad de Razonamiento de alta dimensión.

• Anclajes Estructurales: Mediante análisis de saliencia del gradiente, los autores identifican que tokens específicos (por ejemplo, dígitos en razonamiento matemático, conectores lógicos en otros dominios) actúan como "anclajes estructurales" que gobiernan desproporcionadamente la dinámica del razonamiento.
• Alineación de Variedad: El marco define un Subespacio de Firma privado ($S_v$) parametrizado por un vector unitario $v$.
  • Tokens Ancla: Sus estados ocultos están restringidos a colapsar sobre el subespacio de firma ($\cos(h_t, v) \to 1$).
  • Tokens de Control: Los tokens lingüísticos ordinarios (conectores, palabras vacías) se fuerzan a permanecer ortogonales a la firma ($\cos(h_t, v) \to 0$) para preservar la capacidad semántica y la fidelidad del razonamiento.
• Halo Causal: Los tokens que siguen inmediatamente a un ancla se tratan como una categoría separada; pueden exhibir una alineación residual a corto alcance pero decaen rápidamente, asegurando que la marca de agua no contamine globalmente el texto ordinario.

B. Inyección de Marca de Agua (Etapa II)

El proceso de inyección se formula como un problema de Optimización a Dos Niveles:

• Bucle Interno: Calcula una perturbación virtual del estado oculto ($\delta^*$) que maximiza la proyección de los estados de los anclajes sobre el subespacio de firma.
• Bucle Externo: Actualiza los parámetros del modelo ($\theta$) para minimizar un objetivo combinado:
  1. Pérdida de Tarea ($L_{task}$): Asegura que el modelo mantenga el rendimiento en tareas de razonamiento posteriores.
  2. Pérdida Geométrica ($L_{geo}$): Hace cumplir el colapso de los anclajes hacia la firma y la ortogonalidad de los tokens de control.
  3. Regularizador de Consistencia ($L_{KL}$): Mantiene la consistencia local entre el modelo con marca de agua y el modelo base en los prefijos de CoT.
     Este diseño acopla la marca de agua con representaciones relevantes para el razonamiento, haciendo difícil su eliminación sin interrumpir las características que apoyan un razonamiento coherente.

C. Registro de Subespacio Robusto (Etapa III)

Para abordar la deriva de representación causada por ataques (por ejemplo, ajuste fino, cuantización), los autores introducen Registro de Subespacio Robusto (RSR).

• Tokens Centinela: Un conjunto de tokens preidentificados sensibles al subespacio de firma se utilizan como sondas.
• Calibración de Deriva: El verificador estima el vector de deriva distribucional sistemática ($\hat{\mu}_{drift}$) calculando la desviación mediana de los tokens centinela desde sus estadísticas base.
• Realineación: Los logits observados se corrigen restando la deriva estimada, centrando efectivamente la variedad derivada de nuevo hacia el espacio de firma canónico antes de la prueba de hipótesis.
• Verificación: El sistema realiza una prueba de hipótesis sobre los logits calibrados de los tokens centinela utilizando solo las Top-$k$ log-probabilidades (acceso de caja negra).

3. Contribuciones Clave

1. Análisis Causal de CoT: El artículo revela que la generación de CoT posee una jerarquía causal distinta donde "anclajes estructurales" específicos gobiernan la dinámica del razonamiento. Demuestra que CoT ofrece un portador más rico, de mayor capacidad y más diverso para señales que la respuesta final de baja entropía.
2. Marco BiCoT: Un paradigma novedoso de marca de agua que incrusta la propiedad en la geometría de la variedad de razonamiento. Utiliza optimización a dos niveles para enredar la marca de agua con el proceso de razonamiento en sí mismo, mientras trata los tokens de control de manera ortogonal para preservar la utilidad.
3. Verificación Robusta (RSR): Un verificador de caja negra capaz de manejar la deriva de representación mediante registro basado en centinelas, asegurando una detección confiable incluso bajo perturbaciones a nivel de modelo y ataques adaptativos.

4. Resultados Experimentales

Los experimentos se realizaron principalmente en Qwen2.5-7B-Instruct y validados en Mistral-7B, DeepSeek-7B y Qwen2.5-14B.

• Detectabilidad: BiCoT logra 1.0 AUC y 100% de Tasa de Éxito de Marca de Agua (WSR) en tasas de falsos positivos (FPR) de 0.1% y 1.0% en todos los modelos probados, superando significativamente a líneas base como iSeal, llmmap y SEAL.
• Fidelidad: El modelo con marca de agua preserva el rendimiento posterior. En tareas de razonamiento (GSM8K), la degradación del rendimiento es marginal ($\approx -0.0083$). En tareas de comprensión a nivel de oración, las fluctuaciones son menores, con algunas tareas mostrando ligeros aumentos.
• Robustez:
  • Ataques a nivel de modelo: La marca de agua permanece detectable (AUC $\approx$ 1.0) bajo ruido gaussiano, ajuste fino supervisado (SFT) con parámetros completos, ajuste fino eficiente en parámetros (PEFT/LoRA) y cuantización agresiva (8 bits).
  • Ataques a nivel de salida: El método es resistente a ataques adaptativos, incluido un ataque dirigido "ANCHOR" donde el adversario enmascara explícitamente los tokens de dígitos durante la inferencia. La marca de agua persiste debido a la redistribución intrínseca de los mecanismos de atención.
• Estudios de Ablación: Eliminar la pérdida de marca de agua resulta en un rendimiento de adivinanza aleatoria. Eliminar el mecanismo de Re-anclaje (RSR) provoca una caída catastrófica en la detección bajo deriva, validando su necesidad.

5. Significado y Afirmaciones

El artículo afirma que BiCoT resuelve el compromiso fundamental entre la fuerza de la marca de agua y la utilidad del modelo desacoplando la señal de verificación de la respuesta final. Al incrustar la propiedad en la geometría del proceso de razonamiento, el método logra:

• Sigilo: La marca de agua es invisible en el texto de salida final y no depende de disparadores frágiles.
• Efectividad: Proporciona detección robusta contra ataques adaptativos y deriva del modelo.
• Fidelidad: Preserva estrictamente las capacidades de razonamiento del modelo y su generalización.

Los autores enfatizan que este enfoque apoya la procedencia del modelo y la protección de la propiedad intelectual para LLM de código abierto y comerciales sin comprometer su utilidad como motores de razonamiento. El trabajo asume un entorno de caja negra habilitado para logprob (acceso a las Top-$k$ probabilidades del siguiente token), que los autores argumentan es un límite práctico para muchas implementaciones modernas de API, en lugar de una suposición de oráculo poco realista.