Your "Pro" LLM Subscription May Actually Be "Free": Exposing Fingerprint Spoofing Risks in LLM Inference Services

Resumen Técnico: "Su suscripción 'Pro' de LLM podría ser en realidad 'Gratuita': Exponiendo los riesgos de la suplantación de huellas dactilares en los servicios de inferencia de LLM"

Definición del Problema
A medida que las API de los Modelos de Lenguaje de Gran Escala (LLM) se vuelven ubicuas, los usuarios dependen cada vez más del rastreo de huellas dactilares de caja negra para verificar que los proveedores están ofreciendo los modelos premium anunciados. Sin embargo, estos métodos de verificación suelen asumir que los modelos permanecen estáticos y no son manipulados de forma adversaria. Este artículo introduce una nueva amenaza denominada suplantación de huellas dactilares (fingerprint spoofing), donde un proveedor de API malicioso sirve sigilosamente un modelo más débil y económico que ha sido ajustado mediante técnicas de eficiencia de parámetros para imitar la huella dactilar de comportamiento de un modelo más fuerte y anunciado.

El desafío central radica en un severo compromiso de optimización: los modelos pequeños carecen inherentemente de la capacidad de representación para imitar perfectamente a los modelos más grandes debido a las leyes de escala. El ajuste fino agresivo de un modelo débil para imitar a uno fuerte conlleva el riesgo de "olvido catastrófico", destruyendo su utilidad en tareas normales. Además, el reentrenamiento de parámetros completos suele ser financieramente inviable para un atacante. El artículo formaliza el Problema de la Suplantación de Huellas Dactilares, donde un adversario busca alcanzar simultáneamente tres objetivos conflictivos:

1. Suplantación de Huellas Dactilares: El modelo débil adaptado debe ser indistinguible del modelo fuerte objetivo bajo el mecanismo de auditoría del usuario.
2. Preservación de la Utilidad: El modelo adaptado debe mantener un rendimiento aceptable en tareas generales de descendencia.
3. Ganancia Económica: La adaptación debe lograrse mediante un Ajuste Fino de Parámetros Eficientes (PEFT) que sea rentable.

Análisis Teórico
Los autores establecen primero límites teóricos sobre la viabilidad de la suplantación.

• Imposibilidad de la Suplantación Universal: Demuestran (Proposición 5.1) que, bajo recursos suficientes (consultas infinitas, clasificadores fuertes), la suplantación universal es matemáticamente imposible porque una adaptación de bajo rango no puede replicar perfectamente las transformaciones de alto rango de un modelo más grande.
• Vulnerabilidad bajo Restricciones: Sin embargo, el artículo demuestra que la auditoría en el mundo real está limitada por presupuestos de consulta finitos y clasificadores de verificación débiles.
  • El Teorema 5.2 muestra que si la distribución de consultas del auditor tiene un rango efectivo bajo (consultas simples y estructuradas), el error de suplantación esperado puede minimizarse sustancialmente.
  • El Teorema 5.3 prueba que si el modelo de verificación del lado del usuario es suficientemente débil (por ejemplo, un clasificador pequeño), el adversario puede teóricamente lograr una suplantación de error cero utilizando PEFT.
    Estos hallazgos sugieren que, si bien la suplantación global perfecta es imposible, la suplantación localizada es trivial bajo las restricciones de auditoría realistas.

Metodología: GhostPrint
Guiados por el análisis teórico, los autores proponen GhostPrint, un marco de ataque rentable diseñado para explotar las vulnerabilidades identificadas. El marco consta de tres componentes principales:

1. Modelado de Sustituto y Ajuste Fino por Clasificación de Recompensas (RAFT):

   • El atacante entrena un modelo de huella dactilar sustituto ($g$) para imitar el mecanismo de verificación del usuario.
   • En lugar de utilizar Aprendizaje por Refuerzo (que es inestable y costoso), GhostPrint emplea RAFT. Para cada consulta, el modelo débil genera múltiples respuestas candidatas. El modelo sustituto clasifica estas respuestas, y se selecciona la más engañosa (la que tiene la puntuación más alta para imitar al objetivo).
   • Este proceso filtra el espacio de generación para aislar las respuestas que naturalmente cruzan las fronteras de decisión del sustituto.

2. Ajuste Fino de Parámetros Eficientes (PEFT) con SFT y Destilación de Conocimiento (KD):

   • Las respuestas engañosas seleccionadas se utilizan para ajustar el modelo débil mediante Ajuste Fino Supervisado (SFT) para minimizar la log-verosimilitud negativa contra la salida del objetivo.
   • Simultáneamente, se aplica la Destilación de Conocimiento (KD) utilizando el modelo objetivo como profesor para preservar la utilidad general del modelo débil.
   • El objetivo total combina las pérdidas de SFT y KD, equilibradas por un hiperparámetro $\alpha$.
   • Todas las optimizaciones se restringen a LoRA (Adaptación de Bajo Rango) para asegurar la viabilidad económica, congelando los pesos base y entrenando únicamente las matrices de bajo rango.

3. Aprendizaje Continuo mediante Mezcla de Expertos LoRA (MoLA):

   • Para abordar el escenario en el que los auditores evolucionan sus métodos con el tiempo, GhostPrint se extiende a un entorno de aprendizaje continuo.
   • Entrena adaptadores LoRA específicos para diferentes métodos de huellas dactilares y los integra utilizando una arquitectura de Mezcla de Expertos LoRA. Un enrutador entrenable asigna dinámicamente las consultas a los adaptadores relevantes, lo que permite al modelo adaptarse a nuevas huellas dactilares sin olvido catastrófico.

Resultados Experimentales
Los autores evaluaron GhostPrint en tres familias de LLM (Gemma, Qwen2, Phi-3) y contra tres métodos representativos de huellas dactilares de caja negra: LLMmap, LLM-idio y Prueba de Igualdad de Modelos (MET).

• Suplantación de Huella Dactilar Única: GhostPrint logró altas Tasas de Éxito de Ataque (ASR) en todos los entornos. Por ejemplo, al suplantar a Gemma-2B como Gemma-7B frente a LLMmap, alcanzó un ASA del 95.0%, superando la tasa de clasificación natural del modelo objetivo original (92.0%).
• Preservación de la Utilidad: A pesar del intenso ajuste fino para la suplantación, los modelos adaptados mantuvieron puntuaciones de utilidad en benchmarks estándar (MMLU, GSM8K, ARC-C) casi idénticas a las de los modelos débiles originales. En algunos casos, la utilidad mejoró ligeramente, confirmando que el ataque no degrada las capacidades generales.
• Suplantación entre Familias: Incluso cuando se adaptaba un modelo débil de una familia de arquitectura para imitar a un modelo fuerte de una familia completamente diferente (por ejemplo, de Gemma-2B a Qwen2-7B), GhostPrint logró un éxito significativo, superando notablemente a LLM-idio con un ASR del 95.2%.
• Suplantación Continua: En el entorno de aprendizaje continuo, el marco MoLA integró con éxito múltiples adaptadores LoRA. El sistema mantuvo un alto ASR a través de múltiples métodos de huellas dactilares en evolución simultáneamente, con una degradación de rendimiento mínima en comparación con las configuraciones de tarea única.

Significado y Reivindicaciones
El artículo afirma exponer una vulnerabilidad crítica en las canalizaciones actuales de huellas dactilares de LLM. Los autores argumentan que:

1. La Auditoría Actual es Fundamentalmente Vulnerable: Las restricciones de recursos del lado del usuario (consultas finitas, clasificadores débiles) hacen que los métodos existentes de huellas dactilares de caja negra sean teóricamente vulnerables a ataques de parámetros eficientes.
2. Viabilidad Económica de los Proveedores Maliciosos: El estudio demuestra que un proveedor malicioso puede sustituir de manera rentable un modelo fuerte por un modelo débil ajustado, engañando a los usuarios para que paguen de más por respuestas de menor calidad sin ser detectados.
3. Limitaciones de la Verificación Estática: Los resultados resaltan que la huella dactilar estática es insuficiente; como demuestran los experimentos de aprendizaje continuo, los atacantes pueden adaptarse dinámicamente a los métodos de verificación en evolución.

Los autores posicionan este trabajo como un prototipo de investigación destinado a motivar el desarrollo de mecanismos de huellas dactilares más robustos, en lugar de una herramienta para despliegue inmediato. Reconocen limitaciones, como la falta de evaluación en modelos de escala de frontera (por ejemplo, 32B+ parámetros) debido a restricciones de cómputo, y sugieren que trabajos futuros podrían explorar el aprendizaje por refuerzo con clasificadores sustitutos.