Resumen Técnico: Preguntar de Vuelta: Marcas de Agua Antidistilación en la Capa de Interacción

Declaración del Problema

La proliferación de modelos lingüísticos de vanguardia servidos mediante APIs de caja negra ha creado una amenaza comercial madura: la distilación de conocimiento no autorizada. Los adversarios recopilan pares de solicitud-respuesta de una API maestra, ajustan finamente un modelo estudiante más pequeño y lo despliegan sin permiso. Defenderse contra esto es difícil porque el defensor no controla ni la tubería de entrenamiento del atacante ni los logits internos del maestro (distribuciones del siguiente token).

Las defensas antidistilación existentes operan en tres capas principales, todas las cuales comparten una vulnerabilidad ante la reescritura previa a la distilación:

1. Capa de distribución de tokens: Perturba las probabilidades del siguiente token (por ejemplo, marcas de agua de lista verde, esquemas criptográficos).
2. Capa de modelo: Edita el propio modelo maestro para incrustar firmas.
3. Capa de rastro de razonamiento: Reordena o reescribe trazas de cadena de pensamiento.

Trabajos recientes demuestran que los atacantes pueden parafrasear las respuestas recopiladas antes del entrenamiento, eliminando efectivamente estas señales de nivel superficial mientras preservan la transferencia de conocimiento subyacente. Esto deja una brecha estructural: incluso si una señal sobrevive, no especifica necesariamente un comportamiento distintivo y consultable en el estudiante destilado.

Metodología

Este artículo propone un cuarto locus complementario para las marcas de agua: la capa de interacción. En lugar de modificar las probabilidades de los tokens o los parámetros del modelo, el defensor envuelve al maestro con un prompt del sistema que induce intermitentemente un marcador conductual ($B$) específico.

El Mecanismo de Preguntar de Vuelta

El defensor implementa una política de activación ($\Pi_B$) que selecciona un prompt del sistema ($s_B$) para una fracción ($\rho$) de las entradas. El prompt del sistema instruye al maestro a exhibir un comportamiento de interacción específico, tal como:

• FUERTE (Explícito): Añadir una pregunta de seguimiento sobre el caso de uso, el entorno o la intención del usuario.
• SUAVE (Explícito de baja densidad): La misma pregunta de seguimiento, pero solo para un subconjunto de $\sim20\%$ de las solicitudes.
• CONTROL DE ESTILO (Implícito): Una reafirmación declarativa o frase de asesoramiento (por ejemplo, "En la práctica, esto funciona mejor cuando...") incrustada en la respuesta, también con una densidad de $\sim20\%$.

Un destilador ciego, desconocedor de la política de activación, entrena a un estudiante sobre el corpus recopilado. Dado que el marcador conductual forma parte del texto de respuesta que se le pide al estudiante que imite, el estudiante hereda este comportamiento. El defensor puede auditar posteriormente a un estudiante sospechoso mediante consultas de caja negra, utilizando un LLM como juez para detectar la presencia del marcador.

Formalización

La marca de agua se define como una tripleta $(B, \Pi_B, \rho)$, donde $B$ es una función marcador, $\Pi_B$ es la política de activación y $\rho$ es la tasa de marcador inducida. El artículo introduce métricas para:

• Tasa de Transferencia ($\tau$): La tasa a la que un estudiante exhibe el marcador en datos retenidos.
• Transferencia Relativa ($\tau_{rel}$): La tasa del estudiante normalizada por la tasa del maestro.
• Robustez ante Parafraseo: Descompuesta en un techo de auto-conservación del maestro ($R_T$, la retención del maestro bajo parafraseo del lado del prompt) y una retención relativa del estudiante ($R_{rel}$, qué tan bien el estudiante preserva la señal en relación con la degradación del maestro).

Contribuciones Clave

1. Enmarcado del Problema: Los autores formalizan la marca de agua en la capa de interacción y definen contrapartes conductuales a las métricas existentes a nivel de token (lista verde, datos radiactivos).
2. Escala: El estudio presenta la evaluación de marcas de agua para distilación entre familias más amplia hasta la fecha, involucrando 63 estudiantes ajustados con LoRA a través de tres familias de modelos (Gemma, OLMo, Qwen) entrenados sobre un maestro Llama-3.3-70B-Instruct, con 35,343 muestras juzgadas.
3. Robustez ante Parafraseo a Dos Niveles: El trabajo caracteriza la robustez no como un número único, sino como una descomposición de límites heredados del maestro y retención específica del estudiante, revelando que algunos estudiantes pueden preservar las marcas de agua de manera más confiable que el propio maestro bajo condiciones específicas.

Resultados Experimentales

La evaluación abarca cinco hipótesis ($H1$–$H5$) y varios hallazgos:

• Aprendizabilidad ($H1$): Los estudiantes entrenados con datos marcados exhiben el marcador a tasas sustancialmente superiores a la línea base. En un estudio de caso dentro de la misma familia, un estudiante entrenado con datos "FUERTES" logró una tasa de marcador del 99.56% en comparación con una línea base del 5.09%.
• Generalización entre Familias ($H2$): El efecto se mantiene a través de tres familias de modelos distintas. Las tasas de transferencia relativa para el marcador "FUERTE" fueron 88.9% (Gemma), 80.9% (OLMo) y 45.2% (Qwen).
• Robustez ante Parafraseo ($H3$): Cuando el prompt del usuario se parafrasea (usando DIPPER), la tasa de marcador del maestro disminuye (por ejemplo, de 90.9% a 60.4% para FUERTE, una retención del 66.4%). Esto establece un techo. Sin embargo, la retención relativa del estudiante varía:
  • Gemma: 89% de retención de la tasa degradada del maestro.
  • Qwen: 65% de retención.
  • Anomalía OLMo: OLMo exhibió una retención del 112%, preservando la marca de agua por encima del rendimiento degradado del propio maestro.
• Densidad-Detectabilidad ($H4$): Incluso a densidades bajas ($\rho \approx 20\%$), las tasas de detección están confiablemente por encima del nivel de ruido por familia. Por ejemplo, los estudiantes OLMo entrenados con datos de densidad del 20% mostraron una tasa de detección del 31.99% (vs. 0.65% de línea base), superando la tasa del propio maestro del 17.85% en el mismo subconjunto.
• Sigilo ($H5$): Un estudio en laboratorio ($N=20$) utilizando un protocolo de cuadrado latino pre-registrado encontró que los marcadores de baja densidad (20% y 50%) no degradaron significativamente la calidad de la interacción percibida por el usuario. Todas las variantes de marcadores permanecieron dentro de 0.22 pasos Likert de la línea base.
• Transferencia Implícita (F-Estilo): El marcador "CONTROL DE ESTILO" (declarativo, no interrogativo) también se transfirió de manera confiable (4.1x a 7.9x la línea base), demostrando que el mecanismo depende del discurso a nivel de interacción y no de formas sintácticas específicas como los signos de interrogación.

Significado y Afirmaciones

El artículo afirma que la capa de interacción es un locus de diseño viable para la marca de agua antidistilación, ofreciendo un canal de auditoría complementario a las defensas a nivel de token, modelo y rastro de razonamiento.

• Modos de Fallo Complementarios: Mientras que las señales a nivel de token son vulnerables a la reescritura a nivel de respuesta, y los rastros de razonamiento son vulnerables al reordenamiento estructural, las señales de la capa de interacción (tendencias conductuales) parecen robustas ante el parafraseo del lado del prompt y sobreviven a la distilación como competencias de discurso aprendidas.
• Transferencia Conductual: Los resultados sugieren que la distilación preserva preferentemente regularidades estructurales y competencias a nivel de discurso (como "preguntar de vuelta") sobre las estadísticas superficiales de los tokens.
• Viabilidad Práctica: El estudio demuestra que las marcas de agua de baja densidad pueden desplegarse sin degradar la experiencia del usuario, proporcionando un método práctico para auditar la distilación no autorizada mediante consultas de caja negra.

Los autores permanecen modestos respecto al alcance, señalando que el modelo de amenaza actual se centra en el parafraseo no adaptativo del lado del prompt. Identifican la reescritura del lado de la respuesta y los ataques adaptativos como problemas abiertos para trabajos futuros. Además, el efecto de "amplificación" observado en OLMo (donde el estudiante supera al maestro) se trata como una observación de una sola familia que requiere mayor fundamentación empírica en lugar de una propiedad universal.