Auditing Black-Box LLM APIs with a Rank-Based Uniformity Test

1. Problématique

L'accès aux grands modèles de langage (LLM) se fait de plus en plus via des API, créant des systèmes "boîte noire" où les utilisateurs n'ont aucune visibilité sur le modèle sous-jacent. Les fournisseurs d'API sont incités à remplacer discrètement les modèles annoncés par des variantes moins coûteuses (par exemple, des versions quantifiées), des modèles fine-tunés de manière malveillante, ou des versions avec des prompts de système "jailbreak" (contournement de sécurité).

Le défi majeur réside dans la difficulté de détecter ces substitutions sans accès aux poids du modèle ni aux logit de sortie. Les méthodes existantes souffrent de trois limitations :

• Manque de précision ou de sensibilité aux changements subtils (comme la quantification).
• Inefficacité en termes de requêtes (nécessitant un grand nombre d'appels API coûteux).
• Fragilité face aux attaques adverses : si un fournisseur détecte un motif de requête suspect, il peut rediriger ces requêtes vers le modèle original pour masquer la substitution.

2. Méthodologie : Le Test d'Uniformité Basé sur le Rang (RUT)

Les auteurs proposent le Rank-Based Uniformity Test (RUT), un test d'hypothèse asymétrique à deux échantillons conçu pour vérifier l'égalité comportementale entre une API cible et un modèle de référence authentique (local).

Principes Fondamentaux

1. Fonction de Score Discriminante : Le cœur de la méthode repose sur une fonction de score scalaire $f(y, x)$ qui mappe une réponse $y$ et un prompt $x$ vers un nombre réel. Après analyse empirique de cinq candidats (log-vraisemblance, rang de token, entropie, etc.), les auteurs identifient le log-rang (la moyenne du logarithme du rang des tokens dans la distribution de probabilité du modèle de référence) comme le score le plus discriminant.
2. Transformation en Statistique de Rang :
   • Pour chaque prompt $x$, une seule réponse est obtenue de l'API cible ($y_{tgt}$) et $m$ réponses sont générées localement par le modèle de référence ($y_{ref}$).
   • Le score de la réponse cible est calculé et son rang est déterminé par rapport à la distribution des scores du modèle de référence.
   • Pour gérer la nature discrète des sorties de LLM, une résiduelle de quantile randomisée est appliquée pour assurer une distribution continue.
3. Hypothèse d'Uniformité :
   • Si le modèle cible est identique au modèle de référence, les statistiques de rang normalisées doivent suivre une distribution uniforme sur l'intervalle $[0, 1]$.
   • Toute déviation (due à la quantification, au fine-tuning, ou au remplacement complet) brise cette uniformité.
4. Test Statistique : La déviation par rapport à l'uniformité est mesurée à l'aide du test de Cramér–von Mises (CvM), qui est plus puissant que le test de Kolmogorov-Smirnov (KS) pour détecter des écarts globaux dans la distribution.

Avantages Clés

• Efficacité des requêtes : Nécessite un seul appel API par prompt.
• Robustesse : Utilise des requêtes naturelles (similaires au trafic utilisateur réel), rendant difficile pour un fournisseur malhonnête de détecter et de contourner le test (par exemple, via le caching de prompts).
• Indépendance : Ne nécessite pas d'accès aux logits ou aux poids internes, seulement aux sorties textuelles.

3. Contributions Principales

1. Nouveau Test d'Audit : Introduction du RUT, un test asymétrique qui combine efficacité des requêtes et robustesse inhérente aux attaques adverses.
2. Validation Empirique Étendue : Le test a été validé sur une variété de scénarios de menaces réalistes :
   • Quantification (4-bit et 8-bit).
   • Injection de prompts de "jailbreak" cachés.
   • Fine-tuning (SFT) sur des données bénignes ou nocives.
   • Remplacement complet du modèle par un modèle différent.
3. Benchmark sur API Réelles : Évaluation sur des endpoints commerciaux réels (Llama, Mistral, Gemma) via plusieurs fournisseurs, démontrant la praticité de la méthode en conditions réelles.

4. Résultats Expérimentaux

Les expériences comparent le RUT à deux méthodes de référence : le Maximum Mean Discrepancy (MMD) et le test Kolmogorov-Smirnov (KS). La métrique principale est la puissance statistique (AUC de la courbe puissance-taux de substitution).

• Détection de Quantification : Le RUT surpasse significativement MMD et KS, en particulier pour les variantes 4-bit. Pour les variantes 8-bit (plus difficiles à détecter), le RUT maintient une puissance supérieure, bien que la détection reste un défi.
• Jailbreaks et Fine-tuning : Le RUT détecte avec une grande fiabilité (AUC > 0.85) les modifications introduites par des prompts de jailbreak cachés et le fine-tuning, même après seulement un epoch d'entraînement.
• Remplacement de Modèle : Le test identifie efficacement le remplacement complet d'un modèle par un autre, surpassant les baselines dans tous les cas de figure.
• Robustesse aux Domaines : La méthode reste efficace sur des domaines spécialisés comme les mathématiques (dataset MATH) et le code (BigCodeBench).
• Cas Réels : Sur des API commerciales, le RUT détecte des écarts comportementaux significatifs là où d'autres méthodes échouent ou sont sensibles à des artefacts de formatage (comme les espaces manquants dans les tokens).

5. Signification et Impact

Ce travail adresse un problème critique de sécurité et de confiance dans l'écosystème des LLM. En fournissant un outil capable de détecter des substitutions de modèles "sous le capot" sans nécessiter de privilèges d'accès internes, le RUT permet :

• La protection des utilisateurs contre la dégradation de performance ou l'introduction de risques de sécurité.
• La responsabilisation des fournisseurs d'API en rendant les substitutions opaques détectables.
• L'évolution de l'audit : Le passage de méthodes basées sur des benchmarks ou des motifs de requêtes spécifiques à une approche statistique robuste et basée sur la distribution des rangs.

Le code de l'implémentation est rendu public, favorisant la reproductibilité et l'adoption de ces pratiques d'audit dans l'industrie.