Résumé technique : « Votre LLM vous surcharge-t-il ? Tokenisation, transparence et incitations »

Énoncé du problème

L'article traite d'une vulnérabilité fondamentale du modèle de tarification actuel « LLM en tant que service », où les utilisateurs sont facturés à un prix fixe par token. Le problème central découle de l'asymétrie d'information entre le fournisseur (l'agent) et l'utilisateur (le mandant). Alors que le fournisseur observe l'ensemble du processus génératif, y compris les étapes intermédiaires et la tokenisation spécifique de la sortie, l'utilisateur ne voit que le texte final et paie en fonction du nombre de tokens déclaré.

Étant donné que la tokenisation n'est pas unique — plusieurs séquences de tokens peuvent représenter la même chaîne — un fournisseur a une incitation financière à fausser la tokenisation d'une sortie afin de maximiser ses revenus. Par exemple, un fournisseur pourrait diviser un seul token représentant « Damas » en quatre tokens plus petits (« Da », « ma », « s », « cus ») pour facturer quatre tokens au lieu d'un, sans modifier le texte visible. Cela constitue un aléa moral, où le fournisseur maximise son utilité au détriment de l'utilisateur.

L'article examine si cette fausse déclaration peut être détectée si les fournisseurs sont tenus d'être transparents (par exemple, en partageant les probabilités du prochain token) et si un mécanisme de tarification incitatif peut éliminer ce comportement entièrement.

Méthodologie

Les auteurs modélisent l'interaction entre un utilisateur et un fournisseur de LLM comme un problème de mandant-agent.

1. Modélisation formelle :

   • Fonction d'utilité : L'utilité du fournisseur est définie comme les revenus issus de la séquence de tokens déclarée, moins les coûts énergétiques de génération et de la politique de déclaration.
   • Mécanismes de tarification : L'étude se concentre sur les mécanismes de tarification additifs, comparant spécifiquement le modèle standard de paiement par token à un modèle proposé de paiement par caractère.
   • Contraintes de plausibilité : Pour éviter d'être détecté, un fournisseur qui fausse sa déclaration doit s'assurer que la séquence de tokens déclarée est « plausible » (par exemple, cohérente avec les distributions d'échantillonnage top-$p$ ou top-$k$) étant donné le contenu de la chaîne.

2. Analyse théorique :

   • Les auteurs prouvent que trouver la tokenisation plausible la plus longue d'une chaîne sous échantillonnage top-$p$ est NP-difficile. Cela suggère que maximiser optimalement les revenus par la fausse déclaration sans éveiller les soupçons est computationnellement intraitable dans le cas général.
   • Ils caractérisent les mécanismes de tarification incitatifs, prouvant qu'un mécanisme est incitatif si et seulement si le prix dépend linéairement du nombre de caractères de la chaîne de sortie, et non du nombre de tokens.

3. Preuve de concept algorithmique :

   • Malgré le résultat de NP-difficulté, les auteurs développent un algorithme heuristique efficace (Algorithme 2). Cet algorithme divise itérativement les tokens de la sortie générée en tokens plus petits et plausibles pour augmenter le nombre de tokens.
   • L'algorithme vérifie la plausibilité (par exemple, en vérifiant si les tokens se situent dans l'ensemble de probabilité top-$p$) et ne déclare la séquence divisée que si elle reste plausible ; sinon, il déclare la séquence véridique.
   • Les auteurs analysent le compromis entre les revenus supplémentaires générés par la surcharge et le coût computationnel (énergie GPU) requis pour vérifier la plausibilité.

4. Évaluation empirique :

   • Des expériences ont été menées en utilisant des LLM des familles Llama, Gemma et Ministral.
   • Les invites proviennent de la plateforme LMSYS Chatbot Arena.
   • L'étude a mesuré le pourcentage de tokens surfacturés, la fraction de fausses déclarations plausibles et le gain d'utilité net pour le fournisseur sous divers paramètres (température, valeurs top-$p$ et marges bénéficiaires).

Contributions clés

1. Analyse des incitations : L'article démontre que le mécanisme de paiement par token crée une incitation financière directe pour les fournisseurs à fausser les tokenisations. Même avec des exigences de transparence, l'incitation persiste car les fournisseurs peuvent trouver certaines tokenisations plus longues et plausibles qui augmentent les revenus.
2. Résultat de complexité : Les auteurs établissent que trouver la tokenisation plausible optimale (la plus longue) est NP-difficile, impliquant qu'un fournisseur ne peut pas facilement calculer la surfacturation absolue maximale sans un effort computationnel significatif.
3. Vulnérabilité heuristique : Crucialement, l'article montre que la fausse déclaration sous-optimale est peu coûteuse en calcul et financièrement rentable. L'algorithme heuristique proposé permet aux fournisseurs de surcharger significativement les utilisateurs (par exemple, jusqu'à 11,2 % pour certains modèles et paramètres) avec un gain d'utilité net qui dépasse le coût de la vérification.
4. Tarification incitative : L'article prouve que le seul mécanisme de tarification additif qui élimine l'incitation à fausser la tokenisation est le paiement par caractère. Sous ce mécanisme, le prix est déterminé uniquement par la longueur de la chaîne, rendant la tokenisation sans rapport avec le coût.
5. Stratégie de transition : Les auteurs proposent une méthode pour que les fournisseurs passent du paiement par token au paiement par caractère tout en maintenant leur marge bénéficiaire moyenne. Cela consiste à fixer le prix par caractère ($r_c$) en fonction du prix actuel par token ($r_o$) et du ratio empirique moyen de tokens par caractère ($tpc$) dans la distribution de sortie du fournisseur.

Résultats

• Capacité de surfacturation : En utilisant l'Algorithme 2, des fournisseurs infidèles peuvent surcharger les utilisateurs avec des marges significatives. Par exemple, avec Llama-3.2-1B-Instruct et $p=0,99$, les fournisseurs pouvaient surfacturer de 11,2 % de tokens. Même avec des seuils de plausibilité plus stricts ($p=0,90$), la surfacturation restait possible (0,28 %).
• Rentabilité : Les revenus supplémentaires issus de la fausse déclaration ont systématiquement dépassé le coût énergétique de la vérification de la plausibilité. Pour des modèles comme Llama-3.2-1B-Instruct, le gain d'utilité a dépassé 10,5 % pour $p=0,99$, quelle que soit la marge bénéficiaire du fournisseur.
• Variance de la marge : Sous le mécanisme de paiement par caractère proposé, la marge bénéficiaire d'un fournisseur devient variable selon les différentes sorties (en fonction du ratio tokens par caractère). Cependant, les auteurs montrent qu'en calibrant correctement le prix par caractère, la marge bénéficiaire moyenne reste stable, et la marge reste positive pour la grande majorité des sorties (par exemple, >92 % pour Llama-3.2-1B-Instruct).
• Sensibilité linguistique : L'étude note que sous le paiement par caractère, les langues avec des ratios tokens par caractère plus élevés (souvent des langues minoritaires) entraînent des marges plus faibles pour les fournisseurs, réduisant ainsi efficacement la charge de coûts pour les utilisateurs de ces langues par rapport au modèle de paiement par token.

Importance et affirmations

L'article soutient que le mécanisme de tarification actuel de paiement par token crée une vulnérabilité systémique où les utilisateurs ne peuvent pas vérifier s'ils sont surfacturés, même si les fournisseurs sont transparents sur leurs processus d'échantillonnage. Les auteurs affirment que :

1. La transparence est insuffisante : Exiger simplement que les fournisseurs partagent les probabilités du prochain token n'empêche pas la surfacturation, car des heuristiques efficaces existent pour trouver des fausses déclarations plausibles et rentables.
2. L'incitation compatible est nécessaire : Pour éliminer véritablement l'incitation à la fausse déclaration stratégique, l'industrie doit passer à un mécanisme de tarification de paiement par caractère. Cela aligne le coût directement sur la valeur reçue par l'utilisateur (la chaîne de texte) plutôt que sur la représentation interne (les tokens).
3. Faisabilité de la transition : La transition vers le paiement par caractère est économiquement viable pour les fournisseurs, car ils peuvent maintenir leurs marges bénéficiaires moyennes tout en éliminant le risque de surfacturation des utilisateurs.

Les auteurs concluent que sans un tel changement de paradigme, les utilisateurs de LLM en tant que service restent vulnérables à des fournisseurs égoïstes, établissant des parallèles avec les défaillances historiques des marchés dans d'autres industries où l'asymétrie d'information a conduit à l'exploitation. Ils soulignent que, bien que des risques juridiques et réputationnels existent, de fortes incitations économiques poussent souvent ce comportement, nécessitant des solutions structurelles de tarification.