IMMACULATE: A Practical LLM Auditing Framework via Verifiable Computation

1. El Problema: Asimetría de Confianza en APIs de LLM

Los modelos de lenguaje grandes (LLM) comerciales se despliegan principalmente como servicios de API de "caja negra". Esto crea una asimetría de confianza fundamental:

• Falta de visibilidad: Los usuarios no pueden ver el modelo interno ni su ejecución, por lo que deben confiar ciegamente en el proveedor.
• Incentivos económicos para el fraude: Los proveedores tienen incentivos para desviarse del protocolo anunciado para reducir costos o aumentar facturas. Las amenazas principales incluyen:
  • Sustitución de modelos: Usar un modelo más pequeño o destilado en lugar del prometido.
  • Cuantización agresiva: Ejecutar el modelo con menor precisión (ej. FP8 en lugar de BF16) para ahorrar cómputo, degradando la calidad.
  • Sobre facturación de tokens: Reportar un uso de tokens mayor al real (especialmente en cadenas de pensamiento ocultas).
• Limitaciones de soluciones existentes:
  • Los entornos de ejecución confiables (TEE) requieren hardware específico (ej. GPUs NVIDIA) y rediseñan la infraestructura, lo que es costoso y poco escalable.
  • Las pruebas criptográficas (ZKPs) actuales suelen requerir aritmética entera, lo que es ineficiente en hardware moderno de IA y no soporta la no-determinismo numérico de los LLMs.

2. Metodología: IMMACULATE

IMMACULATE es un marco de auditoría práctico que combina auditoría aleatorizada y computación verificable para detectar desviaciones sin acceder al modelo interno ni usar hardware confiable.

A. Auditoría Aleatorizada (Reducción de Costos)

En lugar de verificar cada solicitud (lo cual sería prohibitivo), el auditor selecciona aleatoriamente una pequeña fracción de las solicitudes de los usuarios.

• Lógica económica: Si un proveedor es malicioso en una fracción significativa de las solicitudes ($\alpha$), es estadísticamente probable que sea detectado auditando un subconjunto pequeño y aleatorio.
• Costo: El costo de generar pruebas criptográficas se amortiza sobre millones de solicitudes diarias, resultando en una sobrecarga mínima.

B. Distribución de Distancia de Logits (LDD)

El desafío central es la no-determinismo numérico en hardware moderno (las ejecuciones "honestas" pueden producir ligeras variaciones). IMMACULATE no intenta probar la equivalencia bit a bit, sino la fidelidad de aproximación.

• Modelo Híbrido: Se abstrae la inferencia del LLM como un proceso continuo-discreto.
• Alineación de Control: Para comparar una ejecución real con un modelo de referencia de precisión completa, el sistema fuerza a que las decisiones discretas (muestreo de tokens) sean idénticas en ambos casos.
• Definición de LDD: Se mide la distancia (ej. divergencia KL o distancia de varianza total) entre los logits (vectores de probabilidad antes de la selección discreta) de la ejecución real ($\ell_i$) y los del modelo de referencia de precisión completa ($\ell^*_i$).
• Detección:
  • Ejecución benigna: La distribución de distancias tiene una cola muy delgada (errores numéricos aleatorios pequeños).
  • Comportamiento malicioso: La sustitución de modelos o la cuantización agresiva introducen sesgos sistemáticos o varianza alta, generando una "cola pesada" en la distribución de distancias.

C. Flujo de Trabajo

1. Configuración: El proveedor se compromete criptográficamente a un modelo de referencia de precisión completa.
2. Inferencia: El servidor ejecuta la inferencia, registra los logits en cada paso discreto y envía un compromiso de estos al usuario.
3. Auditoría: El auditor envía solicitudes aleatorias. Si es seleccionado, revela su identidad y solicita una prueba.
4. Prueba (VC): El servidor utiliza Computación Verificable (VC) para demostrar que:
   • Las decisiones discretas derivan de los logits comprometidos.
   • Las transformaciones continuas se calcularon correctamente.
   • La distribución de distancias (LDD) resultante se mantiene dentro de umbrales aceptables.

3. Contribuciones Clave

1. Marco Práctico sin TEE: IMMACULATE ofrece garantías de integridad fuertes sin depender de TEEs basados en GPU ni de acceso al código fuente del modelo.
2. Métrica LDD: Introduce la Distribución de Distancia de Logits como un indicador cuantitativo de fidelidad, permitiendo la verificación a pesar de la no-determinismo numérico.
3. Eficiencia y Compatibilidad: Demuestra que es compatible con infraestructuras de inferencia a gran escala existentes (como vLLM) con una sobrecarga de rendimiento insignificante.

4. Resultados Experimentales

Los experimentos se realizaron en modelos densos (LLaMA3-70B, Qwen3-32B) y MoE (DeepSeek-V2-Lite) contra ataques de sustitución y cuantización (FP8).

• Capacidad de Detección:
  • La LDD distingue claramente entre ejecuciones benignas (BF16) y maliciosas.
  • Sustitución de modelos: Se detecta con probabilidades superiores al 40-99% por solicitud.
  • Cuantización agresiva: Se detecta con probabilidades entre 1.3% y 10% por solicitud. Aunque baja por solicitud, es suficiente para la auditoría aleatorizada.
• Garantías de Seguridad:
  • Con una tasa de falsos positivos extremadamente baja ($< 10^{-5}$), el sistema logra una completitud abrumadora (rechazar a un servidor honesto es casi imposible).
  • Para un servidor deshonesto ($\alpha = 0.1$), la probabilidad de ser detectado en un mes es casi del 100%.
• Rendimiento (Overhead):
  • La sobrecarga de throughput para un servidor benigno es menor al 1%.
  • Aunque la generación de pruebas en CPU-TEE es cientos de veces más lenta que la inferencia en GPU, al aplicarse solo a una fracción minúscula de solicitudes ($< 10^{-5}$), el costo total es insignificante.

5. Significado e Impacto

IMMACULATE representa un avance significativo hacia la transparencia y responsabilidad en los servicios de LLM comerciales.

• Cierre de la brecha de rendición de cuentas: Permite a los usuarios verificar que los proveedores cumplen con lo prometido (modelo y precisión) sin necesidad de confiar ciegamente.
• Viabilidad Económica: A diferencia de soluciones anteriores, este enfoque es económicamente viable para proveedores de alto volumen, ya que no requiere rediseñar su infraestructura de hardware ni soportar costos de verificación masivos.
• Futuro: Establece las bases para una nueva clase de marcos de auditoría que equilibran seguridad, privacidad y eficiencia en la era de la IA generativa.