🤖 AI

IMMACULATE: A Practical LLM Auditing Framework via Verifiable Computation

Le papier présente IMMACULATE, un cadre d'audit pratique permettant de détecter les déviations économiques dans les modèles de langage commerciaux via un calcul vérifiable, sans nécessiter de matériel de confiance ni d'accès aux modèles internes, tout en maintenant une surcharge de débit inférieure à 1 %.

Auteurs originaux : Yanpei Guo, Wenjie Qu, Linyu Wu, Shengfang Zhai, Lionel Z. Wang, Ming Xu, Yue Liu, Binhang Yuan, Dawn Song, Jiaheng Zhang

Publié 2026-02-27

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yanpei Guo, Wenjie Qu, Linyu Wu, Shengfang Zhai, Lionel Z. Wang, Ming Xu, Yue Liu, Binhang Yuan, Dawn Song, Jiaheng Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous commandez un repas dans un restaurant très célèbre, mais que la cuisine est complètement fermée à clé. Vous ne pouvez pas voir ce qui se passe à l'intérieur. Le chef vous dit : « J'ai utilisé des ingrédients de première qualité et j'ai cuisiné ce plat pendant exactement 20 minutes. » Vous lui faites confiance, mais comment pouvez-vous être sûr qu'il n'a pas utilisé des ingrédients bon marché ou qu'il n'a pas passé le plat au micro-ondes en 2 minutes pour gagner du temps ?

C'est exactement le problème avec les Intelligences Artificielles (IA) comme celles d'OpenAI ou de Google. Elles sont vendues comme des « boîtes noires » : vous envoyez une question, vous recevez une réponse, et vous payez en fonction du nombre de mots générés. Mais le fournisseur pourrait tricher :

Remplacer le modèle : Utiliser une petite IA moins chère au lieu de la grande promue.
Tricher sur la qualité : Utiliser une version « compressée » de l'IA pour aller plus vite, mais avec moins de précision.
Surfacturer : Vous dire que vous avez consommé 100 mots alors que l'IA n'en a réellement généré que 50.

Jusqu'à présent, il n'y avait aucun moyen de vérifier cela sans ouvrir la boîte noire (ce qui est impossible car les modèles sont secrets) ou sans utiliser du matériel spécial et coûteux.

Voici comment IMMACULATE (le nom du système présenté dans l'article) résout ce problème, avec une analogie simple.

1. L'Idée Géniale : Le Contrôle Qualité par Échantillonnage

Imaginez que vous êtes inspecteur dans une usine de bonbons. L'usine produit des milliards de bonbons par jour. Si vous deviez goûter chaque bonbon pour vérifier qu'il est fait avec du vrai chocolat, l'usine s'arrêterait et vous seriez ruiné.

La solution d'IMMACULATE :
Au lieu de vérifier tout, vous choisissez au hasard quelques bonbons (disons 1 sur 10 000).

Si l'usine triche sur tous les bonbons, vous allez inévitablement tomber sur un bonbon truqué lors de votre contrôle aléatoire.
Si l'usine triche seulement sur 10 % des bonbons, vous avez de très fortes chances de tomber sur un bonbon truqué en vérifiant seulement quelques échantillons.

C'est ce qu'on appelle l'audit aléatoire. Le fournisseur d'IA ne sait pas quand vous allez vérifier, donc il est obligé de rester honnête tout le temps pour ne pas se faire prendre.

2. Le Problème Technique : Le Bruit Inévitable

Il y a un hic. Même si l'usine fait les choses honnêtement, il peut y avoir de petites variations naturelles (comme une différence de température dans la cuisine). En informatique, les calculs ne sont jamais exactement identiques à 100 % à cause de la façon dont les puces électroniques fonctionnent.

Si vous demandez à l'IA de prouver qu'elle a fait le calcul exactement comme prévu, elle échouera à cause de ces micro-erreurs naturelles. C'est comme si vous disiez à un chef : « Si ton gâteau ne pèse pas exactement 500,000 grammes, c'est que tu as triché ! » C'est trop strict.

3. La Solution Magique : La « Carte d'Identité » des Réponses (LDD)

C'est ici que le système devient intelligent. Au lieu de demander à l'IA de prouver qu'elle a fait le calcul exact, IMMACULATE demande de prouver une statistique sur la réponse.

Imaginez que chaque réponse de l'IA laisse une « empreinte digitale » mathématique appelée Distribution de Distance des Logits (LDD).

Si l'IA est honnête (mais avec des micro-erreurs naturelles) : L'empreinte digitale ressemble à une courbe très serrée, comme un groupe de personnes qui marchent toutes à côté les unes des autres. Les erreurs sont petites et prévisibles.
Si l'IA triche (en utilisant un modèle moins bon ou en surfacturant) : L'empreinte digitale devient chaotique. C'est comme si le groupe de personnes se dispersait dans toutes les directions. Les erreurs deviennent énormes et imprévisibles.

L'analogie du détective :
Le système ne regarde pas si chaque mot est parfait. Il regarde la forme globale de la réponse.

« Tiens, cette réponse ressemble à un groupe de gens qui marchent bien ensemble (Honnête). »
« Tiens, cette réponse ressemble à un groupe de gens qui courent dans tous les sens (Tricheur !). »

4. Comment ça marche en pratique ?

Voici le processus simplifié :

L'Engagement : Le fournisseur d'IA promet publiquement : « Je vais utiliser ce modèle précis ». Il envoie une sorte de « sceau de cire » cryptographique pour prouver qu'il ne changera pas d'avis.
La Question : Vous (ou un auditeur) posez une question comme n'importe quel utilisateur normal.
La Réponse et la Preuve : L'IA répond. Si l'auditeur choisit cette question pour un contrôle (ce qui est rare), l'IA doit fournir une preuve mathématique (sans révéler ses secrets) qui dit : « Regardez, la forme de mes erreurs correspond bien à un modèle honnête. »
Le Verdict : L'auditeur vérifie la preuve. Si la forme des erreurs est trop bizarre, il dit : « Stop ! Vous avez triché ! »

Pourquoi c'est révolutionnaire ?

Pas de matériel spécial : Vous n'avez pas besoin de puces secrètes ou de serveurs spéciaux. Tout fonctionne sur les serveurs classiques.
Pas de ralentissement : Comme on ne vérifie qu'une infime partie des questions (moins de 1 %), l'IA reste ultra-rapide pour tout le monde.
Confiance totale : Même si le fournisseur est un géant technologique, il ne peut pas tricher sans risque d'être pris.

En résumé

IMMACULATE est comme un inspecteur des douanes invisible qui ne contrôle qu'une seule valise sur un million, mais qui possède une loupe magique capable de détecter instantanément si le contenu de la valise a été trafiqué, même si le voleur essaie de cacher ses traces.

Grâce à cette méthode, les utilisateurs d'IA peuvent enfin dormir tranquilles, sachant qu'ils paient pour ce qu'ils reçoivent vraiment, sans avoir besoin de comprendre la complexité des mathématiques derrière la magie.

1. Le Problème : Asymétrie de Confiance et Risques Économiques

Les grands modèles de langage (LLM) commerciaux sont généralement déployés sous forme d'API « boîte noire ». Cela crée une asymétrie de confiance fondamentale : les utilisateurs doivent faire confiance aux fournisseurs pour exécuter l'inférence correctement et déclarer honnêtement la consommation de tokens.

Les auteurs identifient trois menaces principales motivées par des gains économiques :

Substitution de modèle : Le fournisseur remplace le modèle annoncé par un modèle plus petit ou moins coûteux (ex: distillation).
Quantification agressive : Exécution du modèle avec une précision inférieure à celle annoncée (ex: utiliser FP8 au lieu de BF16) pour réduire les coûts de calcul.
Surfacturation de tokens (Token overbilling) : Déclaration d'un nombre de tokens supérieur à l'usage réel (notamment pour les tokens de pensée intermédiaires cachés).

Les solutions existantes présentent des limites majeures :

Les environnements d'exécution de confiance (TEE) basés sur GPU sont coûteux et limités à un matériel spécifique (NVIDIA), rendant l'adoption massive difficile.
Les preuves cryptographiques (ZK) existantes sont souvent limitées à l'arithmétique entière, ce qui les rend inefficaces sur les GPU modernes pour les LLM, ou trop lourdes en termes de coût de calcul.

2. Méthodologie : IMMACULATE

IMMACULATE est un cadre d'audit pratique qui combine l'audit probabiliste et le calcul vérifiable pour détecter les déviations sans accès aux paramètres internes du modèle ni matériel de confiance.

A. Audit Probabiliste (Randomized Auditing)

Au lieu de vérifier chaque requête (ce qui serait trop coûteux), l'auditeur sélectionne un sous-ensemble aléatoire et faible de requêtes à auditer.

Principe : Si un fournisseur triche sur une fraction significative des requêtes (ex: $\alpha = 10\%$ ), la probabilité de détecter cette triche en auditant un petit nombre d'échantillons est écrasante.
Avantage : L'overhead cryptographique est amorti sur des milliards de requêtes quotidiennes, rendant le coût marginal négligeable pour les fournisseurs honnêtes.

B. Distribution de Distance des Logits (LDD)

Le défi technique majeur est la non-déterminisme numérique des accélérateurs modernes (GPU), qui empêche la reproduction exacte bit à bit d'une inférence. IMMACULATE contourne ce problème en ne vérifiant pas l'égalité exacte, mais la fidélité d'approximation.

Modèle Hybride : L'inférence LLM est abstraite en étapes continues (transformations neuronales) et discrètes (choix de tokens/routage).
Alignement : Pour comparer l'exécution réelle avec un modèle de référence plein (full-precision), le système force le modèle de référence à prendre les mêmes décisions discrètes que le serveur audité.
Métrique LDD : On calcule la distance (ex: divergence KL ou distance TV) entre les logits du modèle déployé ( $\ell_i$ $ℓ_{i}$ ) et ceux du modèle de référence plein ( $\ell^*_i$ $ℓ_{i}^{*}$ ) pour chaque étape.
- Comportement honnête : La distribution des distances reste stable et concentrée autour de zéro (bruit numérique faible).
- Comportement malveillant : La substitution de modèle ou la quantification agressive crée des biais systématiques ou une variance accrue, déplaçant la queue de la distribution (tail events).

C. Preuve Vérifiable (Verifiable Computation - VC)

Pour un échantillon audité :

Le serveur envoie la réponse et un engagement cryptographique sur les logits intermédiaires.
L'auditeur demande une preuve.
Le serveur exécute un calcul vérifiable (dans un TEE CPU ou via ZKP) pour prouver que :
- Les décisions discrètes proviennent bien des logits engagés.
- Les transformations continues ont été effectuées avec le modèle de référence plein.
- La distribution des distances (LDD) calculée respecte les seuils attendus.

3. Contributions Clés

Cadre IMMACULATE : Un système d'audit pratique pour les LLM en boîte noire, ne nécessitant ni TEE GPU ni accès aux poids du modèle.
Métrique LDD : Introduction de la Logit Distance Distribution comme indicateur de fidélité, permettant de vérifier l'intégrité malgré le non-déterminisme numérique.
Efficacité et Compatibilité : Démonstration que l'audit peut être intégré aux infrastructures existantes (basées sur vLLM) avec un impact minimal sur le débit.
Garanties Théoriques : Preuve que le système offre une complétude (rejet rare des serveurs honnêtes) et une robustesse (détection probable des serveurs malhonnêtes) sans matériel de confiance.

4. Résultats Expérimentaux

Les auteurs ont évalué IMMACULATE sur des modèles denses (LLaMA3-70B, Qwen3-32B) et des modèles MoE (Qwen3-30B-A3B, DeepSeek-V2-Lite).

Détection :
- La substitution de modèle est détectée avec un taux de détection par requête très élevé (souvent > 40%, jusqu'à 99% selon le modèle).
- La quantification agressive (FP8) est détectée avec un taux plus faible mais significatif (entre 1% et 10% par requête), ce qui est suffisant pour un audit probabiliste efficace.
Faux Positifs : Le taux de faux positifs est extrêmement faible (< $10^{-5}$ ), garantissant que les serveurs honnêtes ne sont pas rejetés.
Surcharge (Overhead) :
- Pour un serveur honnête, la surcharge de débit (throughput) est inférieure à 1% (environ 0,3% à 1,0% selon les modèles).
- Bien que la génération de preuve sur CPU-TEE soit 400 à 900 fois plus lente que l'inférence GPU, le fait de ne l'appliquer qu'à une fraction infime des requêtes (< 0,001%) rend le coût global négligeable.

5. Signification et Impact

IMMACULATE représente une avancée majeure pour la transparence et la responsabilité dans l'industrie des LLM.

Démocratisation de l'audit : En éliminant la dépendance aux TEE GPU coûteux et aux infrastructures ZK complexes, le cadre rend l'audit accessible à une large gamme de fournisseurs et d'utilisateurs.
Protection économique : Il protège les utilisateurs contre les pratiques commerciales déloyales (tricherie sur la qualité du modèle ou la facturation) tout en respectant la propriété intellectuelle des fournisseurs (les poids du modèle restent secrets).
Fondation future : Ce travail pose les bases d'une nouvelle classe de systèmes d'audit pour les services d'IA, favorisant un écosystème plus fiable où la confiance est vérifiable par des preuves mathématiques plutôt que par la seule réputation.

En résumé, IMMACULATE résout le dilemme entre confidentialité, intégrité et coût, offrant une solution pratique pour garantir que les API de LLM font bien ce qu'elles prétendent faire.