Auditing Pay-Per-Token in Large Language Models

1. Problématique : Le risque de « Moral Hazard » dans le paiement au token

L'article aborde un problème économique et technique émergent dans le marché des modèles de langage (LLM) en tant que service (LLM-as-a-Service). La plupart des fournisseurs facturent les utilisateurs selon un mécanisme « pay-per-token » (paiement par token).

• Asymétrie d'information : Le fournisseur observe l'intégralité du processus de génération (la séquence exacte de tokens produite par le modèle), tandis que l'utilisateur ne voit que la chaîne de caractères finale.
• Non-unicité de la tokenisation : Une même chaîne de caractères peut être décomposée en différents nombres de tokens selon l'algorithme de tokenisation utilisé.
• Incitation à la fraude : Cette asymétrie crée un « aléa moral » (moral hazard). Un fournisseur malhonnête peut stratégiquement choisir une tokenisation qui maximise le nombre de tokens pour un même texte généré, augmentant ainsi ses revenus au détriment de l'utilisateur, sans que ce dernier ne puisse le vérifier.
• Objectif : Développer un cadre d'audit capable de détecter ces fausses déclarations de tokens, même si le fournisseur utilise des stratégies de rapport sophistiquées.

2. Méthodologie : Un cadre d'audit basé sur la théorie des martingales

Les auteurs proposent un cadre d'audit séquentiel qui transforme le problème en un test d'hypothèse statistique.

A. Formalisation du problème

L'audit est modélisé comme une interaction séquentielle entre un auditeur de confiance et le fournisseur :

• Hypothèse nulle ($H_0$) : Le fournisseur est fidèle (il rapporte les tokens tels qu'ils sont générés, $\pi_0$).
• Hypothèse alternative ($H_1$) : Le fournisseur est infidèle et utilise une politique de rapport $\pi$ qui augmente le nombre de tokens rapportés par rapport à la génération réelle ($I(\pi) > 0$).
• Intensité de la fausse déclaration ($I(\pi)$) : Mesure l'augmentation moyenne du nombre de tokens rapportés par rapport à la génération réelle.

B. Estimation de la longueur moyenne des tokens (Estimateur sans biais)

Pour vérifier si un fournisseur triche, l'auditeur doit connaître la longueur attendue des tokens pour une chaîne de caractères donnée, sachant que le modèle a généré cette chaîne.

• Défi : La distribution conditionnelle des séquences de tokens pour une chaîne donnée est difficile à échantillonner directement.
• Solution : Les auteurs développent un estimateur Monte Carlo sans biais et efficace.
  • Ils modifient le processus de génération du modèle (en masquant les tokens qui ne mènent pas à la chaîne cible) pour générer des séquences contraintes.
  • Ils utilisent un échantillonnage par importance (reweighting) pour corriger le biais introduit par cette modification.
  • Un algorithme de troncature aléatoire permet de construire un estimateur de la longueur moyenne $E[len(T)]$ qui est mathématiquement garanti comme étant sans biais.

C. Test statistique séquentiel (Martingales et E-values)

L'audit ne se fait pas sur un nombre fixe d'échantillons, mais de manière séquentielle :

• Processus de test ($M_i$) : L'auditeur accumule la preuve de fraude à chaque requête $i$.
  • Il calcule la différence entre la longueur rapportée par le fournisseur et l'estimation de la longueur attendue.
  • Cette différence est agrégée dans un processus stochastique $M_i$ défini comme une martingale sous $H_0$ (si le fournisseur est honnête, $M_i$ ne devrait pas croître systématiquement).
• Seuil de décision : L'auditeur rejette $H_0$ (signale une fraude) dès que $M_i$ dépasse un seuil $1/\alpha$.
• Garanties théoriques :
  • Contrôle des faux positifs : Grâce à l'inégalité de Ville, la probabilité de signaler à tort un fournisseur honnête est garantie inférieure à $\alpha$ (ex: 0,05).
  • Détection garantie : Sous des conditions spécifiques sur les poids du test, le cadre garantit que la détection d'un fournisseur malhonnête se produira avec une probabilité de 1, quel que soit le niveau d'intensité de la fraude.

3. Contributions Clés

1. Cadre d'audit formel : Première approche théorique pour auditer les déclarations de tokens dans les LLM, formalisée comme un test d'hypothèse séquentiel.
2. Nouvel estimateur statistique : Développement d'un estimateur sans biais, efficace et non biaisé pour la longueur moyenne des séquences de tokens codant une chaîne spécifique, basé sur la théorie des martingales.
3. Garanties robustes : Preuve mathématique que le cadre détecte toujours un fournisseur malhonnête (avec probabilité 1) tout en contrôlant strictement le taux de faux positifs, indépendamment de la complexité de la politique de triche utilisée.
4. Validation empirique large : Tests effectués sur plusieurs familles de modèles (Llama, Gemma, Ministral) et diverses politiques de triche (aléatoires et heuristiques).

4. Résultats Expérimentaux

Les auteurs ont évalué leur cadre sur des modèles open-weight (Llama-3.2, Gemma-3, Ministral) en utilisant des prompts issus de la plateforme LMSYS Chatbot Arena.

• Fiabilité (Faux Positifs) : Pour les fournisseurs fidèles, le processus de test $M$ reste stable autour de sa valeur initiale (1). Aucun fournisseur honnête n'a été faussement signalé après 150 itérations, confirmant que le taux de faux positifs est bien inférieur au seuil théorique de $\alpha = 0,05$.
• Efficacité de détection : Le cadre détecte les fournisseurs malhonnêtes très rapidement.
  • Pour des politiques de triche avec une intensité significative, la détection intervient après moins de 70 rapports (requêtes).
  • Le temps de détection diminue rapidement à mesure que l'intensité de la fraude ($I(\pi)$) augmente.
• Robustesse : Le cadre fonctionne même lorsque l'auditeur n'a pas accès à la version exacte du modèle déployé (par exemple, si l'auditeur utilise un modèle non quantifié et le fournisseur une version quantifiée), bien que cela puisse légèrement affecter la variance.

5. Signification et Impact

• Protection des utilisateurs : Ce travail fournit un outil technique crucial pour protéger les utilisateurs contre la facturation abusive dans un marché où l'asymétrie d'information est structurelle.
• Alignement des incitations : En rendant la fraude détectable et inévitable, ce cadre incite les fournisseurs à adopter des pratiques transparentes, alignant leurs intérêts financiers sur ceux des utilisateurs.
• Régulation et Conformité : L'article s'inscrit dans le contexte de régulations comme l'AI Act de l'UE (Article 74), qui prévoit l'accès des auditeurs tiers aux codes sources et aux modèles pour les systèmes à haut risque. Ce travail démontre comment un tel accès peut être utilisé techniquement pour vérifier la conformité.
• Fondation pour l'audit algorithmique : Il ouvre la voie à l'utilisation de tests statistiques séquentiels basés sur les martingales pour d'autres problèmes d'audit dans l'IA générative, au-delà de la simple tokenisation.

En résumé, cette recherche propose une solution mathématiquement rigoureuse et empiriquement validée pour éradiquer la fraude par sur-facturation des tokens, transformant un problème économique en un problème de détection statistique résolu.