Resumen Técnico: Huellas Dactilares de los Sistemas de Inferencia de Modelos de Lenguaje Grandes

Declaración del Problema

El comportamiento de los Modelos de Lenguaje Grandes (LLM) no está determinado únicamente por los pesos del modelo. El sistema de inferencia, que comprende el motor de inferencia, el backend de atención y la plataforma de hardware, introduce desviaciones numéricas sutiles debido a la naturaleza no asociativa de la aritmética de punto flotante. Si bien estas desviaciones suelen tratarse como artefactos inofensivos que obstaculizan la reproducibilidad, este trabajo plantea que filtran información crítica sobre la infraestructura subyacente.

Específicamente, un adversario que pueda observar el comportamiento de respuesta a indicaciones (prompt-response) de un LLM (sin acceso a estados internos o log-probabilidades) puede inferir los componentes específicos de la pila de inferencia. Esta filtración tiene implicaciones de seguridad directas: conocer el motor específico (por ejemplo, vLLM, SGLang) permite a un atacante dirigirse a vulnerabilidades críticas conocidas en esas implementaciones, mientras que identificar la plataforma de hardware (por ejemplo, A100 vs. H100) permite verificar las afirmaciones del servicio o realizar ataques dirigidos específicos del hardware.

Metodología

Los autores proponen un método de huella dactilar que trata al sistema de inferencia como una caja negra, analizando únicamente la entrada y salida de texto. El enfoque consta de dos etapas principales:

1. Modelo de Amenaza

Se asume que el atacante tiene:

• Acceso al chat: La capacidad de enviar indicaciones (prompts) arbitrarias y observar las respuestas de texto.
• Conocimiento del modelo: El LLM específico y la indicación del sistema (system prompt) son conocidos (recuperables mediante huellas dactilares de modelos existentes o ataques de extracción de indicaciones).
• Acceso de referencia fuera de línea: La capacidad de instanciar y consultar un conjunto de sistemas de referencia que cubran los componentes candidatos para recopilar datos de entrenamiento.
• Sin acceso a logits: Las distribuciones de probabilidad internas o los estados ocultos son inaccesibles.

2. Construcción del Conjunto de Indicaciones

Para aislar las desviaciones numéricas en diferentes etapas computacionales, los autores construyen cuatro conjuntos de indicaciones distintos ($P_1$ a $P_4$):

• $P_1$ (Indicaciones de Tokens Raros): Contiene tokens raros (por ejemplo, Unicode no estándar) incrustados en el texto. Estas prueban la decodificación autoregresiva, donde desviaciones menores en la selección de tokens de baja probabilidad pueden desplazar la predicción final.
• $P_2$ (Indicaciones de Decisión Binaria): Diseñadas para elicitar un único token "Sí" o "No". Esto aísla la etapa de prellenado (prefill), ya que no hay generación autoregresiva que enmascare las diferencias de procesamiento inicial.
• $P_3$ (Indicaciones de Contexto Largo): Textos largos que requieren que el modelo extraiga un número específico. Estas activan el prellenado fragmentado (chunked prefill), revelando desviaciones introducidas al dividir contextos largos en múltiples pasadas.
• $P_4$ (Indicaciones de Repetición): Solicitudes para repetir una oración múltiples veces. Esto activa la reutilización del prefijo de la caché KV, exponiendo cómo se gestionan y cargan los estados almacenados en caché.

3. Extracción de Características y Clasificación

• Codificación (Embedding): Las respuestas se convierten en vectores de características utilizando funciones de puntuación. Por ejemplo, $P_1$ y $P_3$ utilizan funciones indicadoras (1 si el token/número esperado está presente, 0 en caso contrario), mientras que $P_4$ normaliza la cuenta de repeticiones.
• Clasificación: Los vectores de características resultantes se concatenan y se alimentan a clasificadores de Bosque Aleatorio (Random Forest) entrenados para identificar tres etiquetas objetivo: el Motor de Inferencia, el Backend de Atención y la Plataforma de Hardware (GPU).
• Manejo Estocástico: Para configuraciones de temperatura no cero, el método agrega predicciones de múltiples muestras ($k$) por indicación utilizando votación mayoritaria para mitigar el ruido de muestreo.

Resultados Clave

Los autores evaluaron su enfoque en 30 configuraciones de sistema distintas que combinan 4 motores de inferencia, 6 backends de atención y 3 dispositivos de hardware (Nvidia A100, H100, L4) en tres modelos (Llama-3.2-3B, Qwen2.5-7B, Qwen3-4B).

Decodificación Determinista (Temperatura = 0)

• Precisión Perfecta: El método logró una precisión del 100% en la identificación de los tres componentes (motor, backend, GPU) en todos los modelos.
• Eficiencia de Indicaciones: La identificación perfecta fue posible con tan solo 113 indicaciones en total, aunque la composición óptima de indicaciones varió según el modelo. Los motores de inferencia se identificaron más rápido (confiables con 10 indicaciones), mientras que los backends y las GPUs requirieron más datos (100 indicaciones).

Decodificación Estocástica (Temperatura > 0)

• Robustez: La precisión disminuyó a medida que aumentaba la temperatura debido al ruido de muestreo, pero se mantuvo significativa.
  • Motor de Inferencia: Promedió una precisión de ~80% en todas las temperaturas ($T \in \{0.3, 0.6, 0.9\}$).
  • Backend de Atención y GPU: La precisión osciló entre 46% y 78% dependiendo del modelo y la temperatura.
• Agregación: El rendimiento se saturó después de agregar 10–20 muestras por indicación, confirmando que la votación mayoritaria recupera efectivamente la señal.

Análisis de Robustez

La huella dactilar permaneció efectiva bajo variaciones realistas de implementación:

• Indicaciones del Sistema: La precisión se mantuvo alta (~99.7%) incluso al utilizar indicaciones del sistema específicas de la aplicación en lugar de las predeterminadas.
• Tamaño de Lote (Batch Size): La señal se generalizó bien a través de diferentes tamaños de lote (entrenando en 32/64/128, probando en 256), con solo caídas marginales de precisión.
• Componentes Propietarios: Cuando un componente (por ejemplo, una GPU específica) no fue visto durante el entrenamiento, la identificación de los otros componentes (motor, backend) permaneció robusta, aunque la identificación del componente no visto en sí mismo cayó a un azar aleatorio.
• Discrepancia de Temperatura: Si las temperaturas de entrenamiento y despliegue diferían significativamente, la precisión disminuyó sustancialmente, lo que sugiere que los atacantes deben alinear su temperatura de entrenamiento con la del objetivo.

Significado y Afirmaciones

El trabajo afirma ser el primer método para huellar dactilarmente los componentes del sistema de inferencia de LLM (motor, backend, hardware) utilizando únicamente pares de indicación-respuesta sin acceso a logits.

Los autores enfatizan que:

1. Implicaciones de Seguridad: Esta filtración no es meramente una curiosidad; proporciona a los adversarios el conocimiento preciso necesario para explotar vulnerabilidades conocidas en motores de inferencia ampliamente utilizados como vLLM y SGLang.
2. Dificultad Fundamental de la Defensa: Prevenir esta huella dactilar es "fundamentalmente difícil" porque requeriría eliminar las diferencias numéricas entre diversas pilas de hardware y software. Unificar la pila es poco realista para la producción, y agregar ruido para enmascarar la señal degrada la utilidad (por ejemplo, rompiendo la decodificación determinista requerida para la generación de código).
3. Mitigaciones Parciales: El trabajo sugiere que la limitación de velocidad (rate limiting) es la defensa más práctica, aunque puede evadirse mediante ataques de Síbil. Agregar ruido es posible, pero conlleva un alto costo para la utilidad de la aplicación.

El trabajo concluye que las salidas del aprendizaje automático están inextricablemente ligadas a su entorno de ejecución, e ignorar este vínculo conduce a una filtración de información que compromete la integridad y la seguridad del sistema.