Auditing Black-Box LLM APIs with a Rank-Based Uniformity Test

Aquí presento un resumen técnico detallado del artículo de conferencia "Auditing Black-Box LLM APIs with a Rank-Based Uniformity Test" (RUT), publicado en ICLR 2026.

1. El Problema: Auditoría de APIs de LLM en Caja Negra

Con el auge de la accesibilidad a través de APIs, los usuarios interactúan cada vez más con Grandes Modelos de Lenguaje (LLM) como sistemas de "caja negra". Esto plantea un riesgo crítico de transparencia y seguridad:

• Sustitución de Modelos: Los proveedores de APIs pueden, para reducir costos o alterar comportamientos, sustituir discretamente el modelo prometido por variantes cuantizadas (ej. 4-bit u 8-bit), modelos ajustados (fine-tuned) con instrucciones maliciosas, o incluso modelos completamente diferentes.
• Limitaciones de Detección: Los usuarios no tienen acceso a los pesos del modelo ni a los logits de salida (probabilidades de los tokens), solo reciben el texto generado.
• Vulnerabilidad de Métodos Existentes: Las técnicas actuales de detección (como pruebas de discrepancia MMD o clasificadores entrenados) a menudo requieren distribuciones de consultas especiales que los proveedores deshonestos pueden detectar y eludir (ej. reencaminando esas consultas específicas al modelo original o mezclando respuestas). Además, muchas fallan al detectar cambios sutiles como la cuantización.

El objetivo es desarrollar un método de auditoría que verifique si un modelo desplegado en una API es estadísticamente idéntico a una implementación de referencia local, bajo restricciones de presupuesto de consultas y robustez ante ataques adversarios.

2. Metodología: Prueba de Uniformidad Basada en Rangos (RUT)

Los autores proponen RUT (Rank-based Uniformity Test), una prueba de hipótesis de dos muestras asimétrica diseñada para ser precisa, eficiente en consultas y robusta.

A. Formulación del Problema

Se plantea como una prueba de igualdad de modelos:

• Hipótesis Nula ($H_0$): El modelo objetivo ($\pi_{tgt}$) es idéntico al modelo de referencia local ($\pi_{ref}$).
• Hipótesis Alternativa ($H_1$): Existe una desviación (cuantización, jailbreak, fine-tuning, sustitución total).
• Escenario Adversario: El proveedor puede enmascarar la sustitución mediante una mezcla probabilística, donde una fracción $q$ de las consultas se redirigen a un modelo alternativo.

B. El Algoritmo RUT

El método no requiere múltiples llamadas a la API por prompt, lo que lo hace eficiente y difícil de detectar:

1. Muestreo: Para cada prompt $x_i$ de un conjunto de $n$ prompts:
   • Se realiza 1 llamada a la API objetivo para obtener $y_{tgt}$.
   • Se realizan $m$ llamadas al modelo de referencia local para obtener $\{y_{ref, j}\}$.
2. Función de Puntuación (Score Function): Se define una función escalar $f(y, x)$ que asigna un valor numérico a la respuesta. Tras experimentos empíricos, los autores seleccionan el Log-Rank (el promedio del logaritmo del rango de los tokens) como la función más discriminativa.
3. Estadístico de Rango: Para la respuesta de la API, se calcula su puntuación $s_{tgt}$. Luego, se determina su posición (rango) dentro de la distribución de puntuaciones de las $m$ respuestas de referencia.
   • Se utiliza una residuo cuantil aleatorizado para manejar la naturaleza discreta de los tokens, generando un estadístico de rango $r_i \in [0, 1]$.
4. Prueba de Uniformidad: Bajo la hipótesis nula (modelos idénticos), los estadísticos de rango $\{r_i\}$ deben seguir una distribución uniforme en $[0, 1]$.
5. Decisión: Se aplica la Prueba de Cramér-von Mises (CvM) para verificar si la distribución observada de los rangos se desvía significativamente de la uniformidad. Si el valor $p < 0.05$, se rechaza $H_0$ y se concluye que hay una sustitución.

3. Contribuciones Clave

1. Nuevo Enfoque de Auditoría: RUT es la primera prueba que logra simultáneamente alta precisión, eficiencia de consultas (1 llamada a la API por prompt) y robustez inherente contra proveedores adversarios que intentan detectar patrones de prueba.
2. Validación Empírica Exhaustiva: El método se valida contra una amplia gama de amenazas:
   • Cuantización (4-bit y 8-bit).
   • Inyección de prompts de "jailbreak" ocultos.
   • Ajuste fino (SFT) con datos benignos y dañinos.
   • Sustitución completa del modelo.
   • Diferentes dominios de consulta (conversacional, matemáticas, código).
3. Validación en APIs Comerciales: Se probó en endpoints reales de proveedores de API, demostrando su viabilidad práctica y superioridad sobre métricas basadas en cadenas de caracteres que fallan ante pequeños desajustes de decodificación.

4. Resultados Experimentales

Los autores compararon RUT con dos líneas base: MMD (Maximum Mean Discrepancy) y KS (Kolmogorov-Smirnov), utilizando el Área Bajo la Curva de Poder Estadístico (AUC) como métrica principal.

• Detección de Cuantización: RUT superó consistentemente a MMD y KS. Mientras que MMD y KS fallaron casi por completo en detectar variantes cuantizadas a 8-bit (AUC cerca de 0), RUT mantuvo un poder de detección significativo.
• Jailbreaks y Fine-Tuning: RUT detectó prompts de jailbreak ocultos y cambios en el comportamiento por SFT (incluso en las primeras épocas de entrenamiento) con mayor sensibilidad que las líneas base.
• Sustitución Total: En comparaciones entre modelos completamente diferentes, RUT alcanzó los valores AUC más altos.
• Robustez en Dominios Diversos: El método funcionó bien tanto en datos conversacionales (WildChat) como en tareas especializadas de matemáticas (MATH) y código (BigCodeBench).
• Casos Reales: En pruebas con APIs reales (Nebius, Novita, HF Inference), RUT identificó desviaciones significativas donde otros métodos fallaron o fueron engañados por problemas de formato (como espacios en blanco faltantes en la tokenización).

5. Significado e Impacto

Este trabajo aborda una brecha crítica en la seguridad y confianza de los LLMs desplegados en la nube.

• Seguridad: Permite a los usuarios y reguladores verificar que no se están utilizando modelos degradados o maliciosos sin necesidad de acceso interno.
• Eficiencia Operativa: Al requerir solo una consulta por prompt, reduce drásticamente el costo de auditoría, fomentando la adopción de verificaciones continuas.
• Resiliencia: Al evitar patrones de consulta detectables, RUT es resistente a la "carrera de armamentos" donde los proveedores intentan eludir las pruebas de auditoría.

En conclusión, RUT establece un nuevo estándar para la auditoría de modelos de lenguaje en entornos de caja negra, ofreciendo una herramienta práctica y robusta para garantizar la integridad de los servicios de IA.