Resumen Técnico: Marcado de Agua Localizado con Conciencia Geométrica para la Protección de Derechos de Autor en Embedding-as-a-Service

1. Planteamiento del Problema

El modelo de Embedding-as-a-Service (EaaS) se ha convertido en una infraestructura semántica crítica para aplicaciones de lenguaje natural y multimedia. Sin embargo, los modelos EaaS son altamente vulnerables a los ataques de robo de modelos, donde los adversarios consultan la API sobre corpus no etiquetados para entrenar modelos sustitutos funcionalmente similares a una fracción del costo computacional. Esto amenaza la propiedad intelectual (IP) de los proveedores de modelos.

Las defensas de marcado de agua existentes para EaaS enfrentan una tensión fundamental entre robustez–utilidad–verificabilidad:

• Los métodos basados en disparadores (por ejemplo, que dependen de palabras específicas) son frágiles ante ataques de parafraseo.
• Los métodos basados en transformaciones (por ejemplo, transformaciones lineales secretas) son sensibles a las perturbaciones dimensionales (por ejemplo, el desplazamiento o truncamiento de las dimensiones del embedding).
• Los métodos basados en regiones (partición del espacio en subregiones semánticas) a menudo sufren de falsos positivos. Debido a que los embeddings naturales están distribuidos de forma no uniforme, los embeddings limpios pueden exhibir de manera coincidente una afinidad geométrica con los objetivos regionales asignados, lo que conduce a reclamos de derechos de autor espurios.

El desafío central es diseñar un esquema de marcado de agua que sea robusto contra diversos ataques de eliminación (paráfrasis, perturbación dimensional y ataques de Clustering-Selection-Elimination) manteniendo al mismo tiempo la utilidad del embedding y garantizando una verificación confiable con un bajo riesgo de falsos positivos.

2. Metodología: GeoMark

Los autores proponen GeoMark, un marco de marcado de agua localizado con conciencia geométrica. La innovación central es el desacoplamiento del lugar donde se activa el marcado de agua del objetivo al cual se atribuye la propiedad.

2.1 Inicialización del Marcado de Agua con Conciencia Geométrica

• Objetivo Compartido: GeoMark selecciona un único embedding natural dentro del manifold ($w$) del espacio de embedding original para servir como un objetivo de marca de agua secreto compartido.
• Anclas Separadas Geométricamente: Utilizando el Muestreo de Punto Más Lejano (FPS), el método selecciona $K$ anclas bien separadas ($A = \{a_1, ..., a_K\}$) del espacio de embedding. Estas anclas se eligen para maximizar la distancia mínima hacia el objetivo secreto compartido $w$ y las anclas seleccionadas previamente, estableciendo márgenes de seguridad geométrica explícitos.
• Vecindarios Locales Adaptativos: Para cada ancla $a_k$, se calibra un radio local adaptativo $\tau_k$ basado en una razón de cobertura local $\rho$. Esto tiene en cuenta las densidades semánticas variables a través del manifold, asegurando una cobertura local constante sin un radio global fijo.

2.2 Inyección de Marcado de Agua Localizado Centrado en Anclas

• Disparo Localizado: La inyección del marcado de agua se activa solo si un embedding de entrada cae dentro del vecindario local de una o más anclas.
• Atribución de Objetivo Compartido: Independientemente de qué ancla(s) dispare la inyección, el marcado de agua siempre se inyecta desplazando el embedding hacia el mismo objetivo compartido $w$. El embedding protegido se calcula como $e_p = \text{Norm}(e_o + \lambda w)$, donde $\lambda$ controla la fuerza de la inyección.
• Racional de Diseño: Este diseño asegura que, si bien el disparo es distribuido a través de múltiples regiones geométricas, la atribución permanece centralizada. Esto evita el problema de la "afinidad coincidente" de los métodos basados en regiones (ya que es poco probable que las muestras limpias estén cerca de las anclas específicas) mientras evita la fragilidad de los esquemas de múltiples objetivos frente a los ataques CSE.

2.3 Verificación de Derechos de Autor

• Conjunto de Verificación: Se construye un conjunto de muestras de "backdoor" (aquellas que caen en los vecindarios de las anclas) y muestras "benignas" (aquellas fuera de ellos).
• Métrica Centralizada: Se consulta el modelo sustituto sospechoso con estas muestras y el texto correspondiente a $w$. La verificación se basa en medir la afinidad geométrica relativa entre los embeddings devueltos y el embedding objetivo $\hat{w}$ devuelto.
• Prueba Estadística: El método utiliza la similitud de coseno y la distancia $L_2$ para calcular las discrepancias a nivel de grupo ($\Delta_{cos}$, $\Delta_{L2}$). Se realiza una prueba de Kolmogorov–Smirnov (KS) de una sola cola para determinar si las muestras de backdoor están significativamente más cerca del objetivo que las muestras benignas.

3. Contribuciones Clave

1. Identificación de la Tensión: El artículo identifica los compromisos específicos en los actuales marcados de agua de EaaS y argumenta que el diseño con conciencia geométrica es esencial para una verificación de bajos falsos positivos.
2. Marco de Trabajo GeoMark: La propuesta de un marco que desacopla el disparo localizado (vía anclas seleccionadas por FPS) de la atribución de objetivo compartido. Esto logra un disparo distribuido con una atribución centralizada.
3. Robustez y Utilidad: Experimentos extensos demuestran que GeoMark preserva la utilidad de las tareas posteriores y la fidelidad geométrica, manteniendo al mismo tiempo una verificación robusta contra ataques de paráfrasis, perturbación dimensional y ataques CSE.

4. Resultados Experimentales

Se realizaron experimentos en cuatro conjuntos de datos de referencia (SST-2, AGNews, Enron, MIND) contra tres métodos base (WARDEN, EspeW, WET) y varios escenarios de ataque.

• Preservación de la Utilidad: GeoMark preserva la precisión de las tareas posteriores comparable a la línea base sin marca de agua. En términos de fidelidad geométrica, GeoMark mantiene una similitud de coseno >97.5% entre los embeddings originales y protegidos, superando significativamente a los métodos basados en transformaciones (como WET) que a menudo resultan en una similitud cercana a cero o negativa debido a la distorsión de las coordenadas globales.
• Robustez:
  • Paráfrasis: GeoMark sigue siendo verificable bajo ataques de paráfrasis de NLLB y GPT-4o-mini, mientras que los métodos basados en disparadores (WARDEN, EspeW) fallan en ciertos conjuntos de datos (por ejemplo, SST-2 con GPT-4o-mini).
  • Perturbación Dimensional: GeoMark es robusto ante el desplazamiento y la reducción de dimensiones. A diferencia de WET, que falla cuando la estructura de las coordenadas es alterada, la dependencia de GeoMark en la afinidad relativa a un objetivo natural sigue siendo efectiva.
  • Ataque CSE: GeoMark resiste el ataque de Clustering-Selection-Elimination. Al crear una población de muestras activadas heterogénea bajo un objetivo compartido, el marcado de agua no forma un único clúster monolítico que pueda ser fácilmente reconstruido y eliminado.
• Verificabilidad y Falsos Positivos:
  • GeoMark demuestra un bajo riesgo de falsos positivos. En modelos limpios (sin marca de agua), los valores $p$ para la verificación de propiedad permanecen muy por encima del umbral de significancia ($p > 0.05$).
  • En contraste, un baseline basado en regiones (RegionMarker) implementado nuevamente mostró falsos positivos estadísticamente significativos en varios conjuntos de datos.
  • Los estudios de ablación confirman que eliminar FPS (selección de anclas aleatorias) conduce a una verificación inestable y mayores riesgos de falsos positivos, validando la importancia de la separación geométrica.

5. Significado y Reivindicaciones

El artículo afirma que GeoMark aborda la brecha crítica en la protección de derechos de autor de EaaS mediante el diseño conjunto de la activación y la atribución del marcado de agua. Su importancia radica en:

• Mecanismo de Desacoplamiento: Separar exitosamente el "dónde" (disparadores localizados y con separación geométrica) del "qué" (atribución de objetivo compartido y natural), lo que resuelve la tensión entre robustez y verificabilidad.
• Despliegue Práctico: El método introduce una sobrecarga insignificante (aprox. 0.017 ms por consulta) y no requiere el reentrenamiento del codificador principal, lo que lo hace adecuado para el despliegue de EaaS en el mundo real.
• Confiabilidad: Proporciona una solución que es robusta contra diversos ataques de eliminación mientras mantiene tasas bajas de falsos positivos, un requisito crítico para la aplicación legal y comercial de los derechos de autor.

Los autores concluyen que la protección robusta de derechos de autor para EaaS requiere un diseño conjunto de activación y atribución, en lugar de optimizar estos componentes de forma aislada.