Resumen Técnico: ¿Dejan los prompts de sistema huellas dactilares conductuales?

Declaración del Problema

La proliferación de plataformas de aplicaciones de Modelos de Lenguaje Extensos (LLM) (p. ej., GPT Store, Coze) ha establecido el prompt de sistema como una forma crítica de propiedad intelectual (PI). Mientras que los pesos del modelo son difíciles de replicar, los prompts de sistema pueden extraerse literalmente mediante consultas adversarias con tasas de éxito superiores a 0.8 y redeployarse en cualquier plataforma a coste cero. Las defensas existentes se centran en prevenir la extracción, pero una vez que un prompt es robado, el propietario carece de un mecanismo para verificar si un despliegue sospechoso es un clon.

La pregunta central de investigación es si un prompt de sistema deja un rastro conductual utilizable en las salidas del modelo que sobreviva a la extracción, el parafraseo y la transferencia entre modelos. Si tal rastro existe, esto podría permitir la Huella Dactilar Conductual de Caja Negra (BBF, por sus siglas en inglés): un método donde el propietario de un prompt registra una firma conductual de su despliegue original y luego comprueba si un despliegue sospechoso coincide más estrechamente con dicha firma que con una línea base no relacionada, requiriendo únicamente acceso de caja negra a la API.

Metodología: Huella Dactilar Conductual de Caja Negra (BBF)

BBF operacionaliza la detección de clones como una comparación de dos muestras en un espacio de embeddings, basándose únicamente en embeddings de frases estándar y similitud de coseno. El proceso consta de dos fases:

1. Registro: El defensor envía un conjunto de consultas diagnósticas $Q = \{q_1, \dots, q_K\}$ al despliegue original (prompt $P$). Para cada consulta, se recolectan $N$ muestras de salida estocásticas, que se codifican mediante un codificador de frases $\phi$ y se agregan en un centroide conductual $\hat{\mu}_k$. La huella dactilar $F$ es el conjunto de estos centroides.
2. Detección: El defensor envía las mismas consultas a un despliegue sospechoso (prompt $P^*$). Se computan los centroides sospechosos $\hat{\mu}^*_k$. Para controlar el hecho de que diferentes prompts pueden producir respuestas semánticamente similares a la misma pregunta factual, el defensor también computa centroides para un prompt no relacionado ($P_u$) del mismo dominio general.
3. Estadístico de Decisión: La señal de detección es la "brecha controlada" $\delta_k = s_{clone} - s_{unrel}$, donde $s$ representa la similitud de coseno entre el centroide sospechoso/clon y el centroide original. Una brecha positiva indica que el sospechoso es conductualmente más cercano al original que al baseline no relacionado.
4. Agregación: La detección se realiza mediante votación mayoritaria sobre $T$ consultas. El análisis teórico (Proposición 1) sugiere que con un presupuesto de consultas suficiente (p. ej., $T=25$), la probabilidad de detección converge exponencialmente.

Optimización de Consultas Diagnósticas (DQO):
Para maximizar el poder de detección, el artículo propone DQO, una regla de coste cero para seleccionar consultas. Postula que las consultas donde los prompts originales y no relacionados producen salidas altamente divergentes (baja similitud de baseline $s_{unrel}$) son más sensibles a los cambios de prompt. DQO selecciona las $T$ consultas con la menor similitud de baseline respecto al prompt no relacionado, sin requerir acceso al clon sospechoso.

Configuración Experimental

El estudio es una evaluación empírica a gran escala que involucra:

• Modelos: 4 familias de modelos (Claude, GPT, DeepSeek, Qwen).
• Benchmarks: 8 benchmarks de NLP a través de 7 dominios (p. ej., MMLU, GSM8K, MNLI, MedQA), totalizando 2,000 consultas diagnósticas.
• Escenarios: 128 escenarios totales que cubren todas las combinaciones de $4 \times 4$ entre modelos y 8 benchmarks.
• Datos: 288,000 respuestas generadas (250 consultas $\times$ 3 muestras $\times$ 3 tipos de prompt $\times$ 128 escenarios).
• Modelo de Embedding: all-MiniLM-L6-v2.

Resultados Clave

1. Existencia de Huellas Dactilares Conductuales

El estudio confirma que la elección del prompt de sistema explica una parte significativa de la varianza de la salida. Un ANOVA de un factor arrojó un tamaño de efecto medio de $\eta^2 = 0.244$ (un efecto "grande" según los estándares de Cohen), lo que indica que la elección del prompt explica aproximadamente el 24.4% de la varianza en los embeddings de salida. En 118 de 128 escenarios, las salidas de los clones estuvieron más cerca del original que de las salidas no relacionadas.

2. Rendimiento de la Detección

• Detección en el mismo modelo: Altamente fiable con un AUC medio de 0.876.
• Detección entre modelos: El rendimiento está limitado por la identidad del modelo detector.
  • Claude como detector logró el mayor AUC entre modelos (0.845).
  • Qwen como detector logró el menor AUC (0.665).
  • El AUC medio general entre modelos es de 0.725.
• Presupuesto de Consultas: Un presupuesto de 25 consultas es suficiente para una detección fiable (probabilidad a nivel de escenario > 0.999).
• Eficacia de DQO: Aplicar DQO aumentó el AUC entre modelos en un +0.120 de media.

3. Robustez y Modos de Fallo

• Parafraseo: BBF es robusto al parafraseo no adaptativo (sustitución de sinónimos, reorganización estructural y reescritura funcional). Incluso bajo reescrituras agresivas de tipo L3, el AUC se mantuvo $\ge 0.889$.
• Extracción Imperfecta: Los clones derivados de una extracción automatizada imperfecta fueron al menos tan detectables como los parafraseos manuales, probablemente porque la extracción preserva el encuadre funcional mientras que las reescrituras manuales introducen ruido estilístico ortogonal.
• Modos de Fallo: 11 de 128 escenarios fallaron (AUC $\le 0.5$). Los fallos se agruparon en tres patrones:
  1. Salidas Cortas: Tareas con salidas extremadamente cortas (p. ej., análisis de sentimiento en SST-2) donde el estilo domina al contenido.
  2. Artefactos de Datos: El benchmark CUAD falló debido a un problema de carga de datos que causó un desajuste entre prompt y consulta.
  3. Desajuste de Estilo: Pares de modelos específicos (p. ej., Qwen $\to$ GPT) exhibieron desajustes de estilo sistemáticos.
• Ataques Adaptativos: Aunque el parafraseo no logró evadir la detección, la inyección de un prefijo de tono formal de una sola frase en el prompt logró colapsar la detección en tareas cortas y estructuradas (el AUC de MNLI cayó de 0.978 a 0.547). Esto identifica la detección invariante al estilo como el principal desafío abierto.

Significado y Reivindicaciones

El artículo posiciona a BBF como una herramienta de verificación más que como una herramienta de descubrimiento, destinada a complementar los mecanismos existentes de aplicación de la PI. Su principal importancia radica en:

1. Viabilidad: Demostrar que los prompts de sistema dejan huellas dactilares conductuales medibles y transferibles en las salidas de caja negra.
2. Accesibilidad: Proporcionar un método de detección que no requiere pesos del modelo, ni cooperación de la plataforma, ni modificación del proceso de generación, basándose únicamente en el acceso a la API.
3. Practicidad: Establecer que un presupuesto fijo y de bajo coste de 25 consultas es suficiente para una detección de alta confianza en la mayoría de los escenarios ricos en contenido.

Los autores concluyen que, si bien BBF es eficaz contra el clonado y el parafraseo estándar, el campo debe abordar la detección invariante al estilo para defenderse de adversarios adaptativos que manipulan el tono o el formato de la salida. El trabajo no pretende resolver el estatus legal del clonado de prompts, sino ofrecer un protocolo técnico para que los propietarios puedan sustanciar sus sospechas de robo.