Resumen Técnico: Chain & Hash – Una técnica de huellas dactilares para LLM

Planteamiento del problema

El rápido despliegue y el significativo valor económico de los Modelos de Lenguaje Extensos (LLM) han aumentado las preocupaciones con respecto al robo de propiedad intelectual (PI) y su uso indebido. Las vulnerabilidades actuales incluyen amenazas internas capaces de exfiltrar los pesos del modelo y la reutilización de modelos a través de APIs públicas. Los métodos existentes para probar la propiedad carecen de robustez frente a la manipulación adversaria, como el ajuste fino (fine-tuning) o la aplicación de meta-prompts que alteran los estilos de salida. Además, muchos enfoques dependen del acceso de caja blanca (pesos internos), lo cual es poco práctico para la verificación en el mundo real donde solo se dispone de acceso a nivel de API (caja negra). El artículo identifica la necesidad crítica de un marco de huellas dactilares que sea transparente, eficiente, persistente, robusto e infalsificable, capaz de operar bajo entornos adversarios realistas donde los atacantes poseen el control total del modelo y el conocimiento del algoritmo.

Metodología: Chain & Hash

Los autores proponen "Chain & Hash", un novedoso marco de huellas dactilares diseñado para vincular criptográficamente prompts específicos con sus respuestas, asegurando una propiedad verificable sin comprometer la utilidad del modelo. El marco opera bajo un modelo de amenaza de caja negra y consta de cuatro componentes principales:

1. Generación de preguntas

El sistema genera un conjunto de $Q$ prompts de huella dactilar utilizando dos estrategias complementarias:

• Preguntas aleatorias: Tokens muestreados de la voz de vocabulario del modelo (por ejemplo, 10 tokens). Esto maximiza la memorización pero es susceptible al filtrado de entrada.
• Preguntas naturales: Consultas semánticamente válidas pero estadísticamente raras, adaptadas a dominios específicos, generadas por los propios modelos objetivo para reducir los riesgos de filtrado adversario.

2. Construcción de la cadena criptográfica

Para garantizar la infalsificabilidad, el método vincula las preguntas con las respuestas mediante una función de hash criptográfico (por ejemplo, SHA-256).

• Mecanismo: Se establece un conjunto predefinido de 256 unidades de respuesta ($R$). Para una cadena de $k$ preguntas, el hash de todo el conjunto de preguntas $Q$ y el conjunto de respuestas $R$ determina la respuesta específica $r_j$ para cada pregunta $q_i$.
• Seguridad: El mapeo es determinista y resistente a colisiones. Alterar cualquier pregunta cambia el input del hash, cambiando así la respuesta requerida para todas las preguntas en la cadena. Un adversario no puede falsificar la secuencia de respuestas correcta sin realizar un ajuste fino del modelo, ya que la probabilidad de adivinar el índice correcto para $k$ preguntas es $(1/256)^k$.

3. Entrenamiento de la huella dactilar y robustez

El modelo se ajusta mediante fine-tuning para memorizar estos pares vinculados criptográficamente mientras mantiene la utilidad general. Para abordar la amenaza de los meta-prompts (por ejemplo, "Responde como un pirata") y el ajuste fino, el conjunto de datos de entrenamiento incluye:

• Diversificación de meta-prompts: Las preguntas de la huella dactilar se aumentan con diversos meta-prompts generados por GPT-4, entrenando al modelo para anular estas instrucciones ante las consultas de la huella dactilar.
• Relleno aleatorio (Random Padding): Se añaden secuencias de tokens aleatorios como prefijos y sufijos a las preguntas de la huella dactilar para enseñar al modelo a ignorar el ruido.
• Datos no pertenecientes a la huella dactilar: El conjunto de datos incluye pares de QA estándar y temas de la huella dactilar parafraseados para preservar la utilidad y evitar la detección estadística.
• Función de pérdida: Una función de pérdida combinada equilibra la pérdida de entropía cruzada para las muestras de la huella dactilar ($L_{fp}$) con un término de divergencia KL ($L_{KL}$) para minimizar la desviación del comportamiento original del modelo en los datos que no pertenecen a la huella dactilar.

4. Protocolo de verificación

La verificación de la propiedad se realiza mediante consultas de caja negra. Un reclamante proporciona el conjunto de preguntas $Q$, el conjunto de respuestas $R$ y la función de hash $H$. El verificador consulta al modelo sospechoso $M$ con las preguntas de $Q$. Si la salida del modelo comienza con la respuesta determinada criptográficamente $r_j$ para un número suficiente de preguntas (umbral $\tau$), se establece la propiedad. El protocolo se basa en la precedencia temporal; el propietario original puede probar la propiedad demostrando la huella dactilar en la versión del modelo disponible públicamente más temprana.

Contribuciones clave

1. Técnica Chain & Hash: Un método criptográfico que vincula los prompts de la huella dactilar con las respuestas, evitando colisiones y permitiendo reclamos de propiedad irrefutables sin requerir acceso de caja blanca.
2. Robustez contra Meta-prompts: Una estrategia de entrenamiento que incorpora relleno aleatorio y configuraciones variadas de meta-prompts que mantiene la integridad de la huella dactilar incluso cuando un adversario altera significativamente el estilo de salida del modelo mediante el ajuste fino de instrucciones o prompts de sistema.
3. Aplicabilidad de Caja Negra: El marco opera enteramente mediante interacciones de API, lo que lo hace adecuado para escenarios de despliegue práctico donde los pesos internos del modelo son inaccesibles.
4. Extensión a LoRA: Se demuestra que el método es efectivo en adaptadores de Ajuste de Bajo Rango (LoRA), extendiendo la protección de PI a los métodos de ajuste fino con eficiencia de parámetros.

Resultados y evaluación

El marco fue evaluado en múltiples modelos de última generación (Llama-3-8B, Llama-3-8B-Instruct, Phi-3-mini-instruct, Llama-2-13B-Instruct) frente a cinco propiedades esenciales:

• Transparencia: La huella dactilar resultó en una degradación de rendimiento insignificante en los benchmarks estándar (MMLU, HellaSwag, TruthfulQA, etc.), con la mayoría de los cambios situándose dentro de $\pm 1\%$ o mostrando ligeras mejoras en tareas de seguimiento de instrucciones.
• Eficiencia: La propiedad puede establecerse con alta confianza (99% de probabilidad) utilizando muy pocos ensayos (a menudo 1 o 2 respuestas correctas de 10 preguntas).
• Persistencia: Al probarse contra siete meta-prompts adversarios (por ejemplo, "responde como un pirata", "antecede con RESPUESTA"), los modelos entrenados con diversificación de meta-prompts mantuvieron la fuerza de la huella dactilar por encima del 99% para preguntas aleatorias y aproximadamente un 82.8% para preguntas naturales. En contraste, los modelos sin este entrenamiento vieron caer la fuerza de la huella dactilar al 0% bajo ciertos prompts.
• Robustez:
  • Ajuste fino (Fine-tuning): La huella dactilar persistió a través de un ajuste fino pesado (por ejemplo, conjuntos de datos Alpaca y ChatDoc). Las preguntas aleatorias requirieron como máximo 25 ensayos para la verificación en modelos ajustados, mientras que las preguntas naturales a menudo requirieron solo 1–2 ensayos.
  • Cuantización: La aplicación de cuantización INT8 resultó en una degradación insignificante (<0.5% de caída en la fuerza de la huella dactilar).
  • Parafraseo adversario: Incluso cuando los inputs y outputs fueron parafraseados por GPT-4o, la huella dactilar siguió siendo detectable (la fuerza cayó del 99% al 79% para el parafraseo de entrada, y al 20% para el parafraseo de salida, lo cual sigue siendo suficiente para reclamos de propiedad).
• Infalsificabilidad: El vínculo criptográfico asegura que falsificar una huella dactilar sin realizar un ajuste fino es computacionalmente inviable. El marco también resiste la colusión de múltiples modelos mediante diseños de cadena basados en intersección.

Significado y afirmaciones

El artículo afirma que Chain & Hash proporciona una solución práctica y verificable para la protección de la propiedad intelectual de los LLM que aborda las vulnerabilidades específicas de los modelos modernos ajustados por instrucciones. A diferencia de otros enfoques previos que dependen del acceso de caja blanca o fallan ante ataques de transferencia de estilo, Chain & Hash ofrece un método criptográficamente seguro y verificable mediante caja negra que sobrevive a condiciones adversarias agresivas, incluyendo la manipulación de meta-prompts y el ajuste fino. Los autores enfatizan que su enfoque no requiere un tercero de confianza y puede superponerse a los métodos de huellas dactilares existentes para mejorar la seguridad. El trabajo establece un nuevo estándar para evaluar la robustez de las huellas dactilares, destacando específicamente la necesidad de probar contra meta-prompts y ajuste fino para asegurar la viabilidad en el mundo real.