Technische Samenvatting: "Betaal je te veel voor je LLM? Tokenisatie, Transparantie en Prikkels"

Probleemstelling

Het artikel behandelt een fundamentele kwetsbaarheid in het huidige prijsmodel "LLM-as-a-Service", waarbij gebruikers een vast bedrag per token worden in rekening gebracht. Het kernprobleem ontstaat door informatieasymmetrie tussen de provider (agent) en de gebruiker (principaal). Waar de provider het volledige generatieproces observeert, inclusief tussenstappen en de specifieke tokenisatie van de output, ziet de gebruiker alleen de definitieve tekst en betaalt op basis van het gerapporteerde tokenaantal.

Omdat tokenisatie niet uniek is – meerdere tokenreeksen kunnen dezelfde string representeren – heeft een provider een financieel belang om de tokenisatie van een output te vervalsen om de omzet te maximaliseren. Bijvoorbeeld, een provider kan een enkele token die "Damascus" voorstelt opsplitsen in vier kleinere tokens ("Da", "ma", "s", "cus") om in plaats van één token voor vier tokens te rekenen, zonder de zichtbare tekst te veranderen. Dit vormt een moreel gevaar, waarbij de provider zijn nut maximaliseert ten koste van de gebruiker.

Het artikel onderzoekt of deze vervalsing kan worden gedetecteerd als providers transparantie moeten tonen (bijvoorbeeld door het delen van kansen voor de volgende token) en of een prikkelcompatibel prijsmechanisme dit gedrag volledig kan elimineren.

Methodologie

De auteurs modelleren de interactie tussen een gebruiker en een LLM-provider als een principaal-agentprobleem.

1. Formele Modellering:

   • Nutfunctie: De nutfunctie van de provider wordt gedefinieerd als de omzet uit de gerapporteerde tokenreeks minus de energiekosten voor generatie en het rapportagebeleid.
   • Prijsmechanismen: De studie richt zich op additieve prijsmechanismen, waarbij specifiek het standaard pay-per-token-model wordt vergeleken met een voorgesteld pay-per-character-model.
   • Plausibiliteitsbeperkingen: Om detectie te voorkomen, moet een provider die vervalst ervoor zorgen dat de gerapporteerde tokenreeks "plausibel" is (bijvoorbeeld consistent met top-$p$- of top-$k$-steekproefverdelingen) gegeven de stringinhoud.

2. Theoretische Analyse:

   • De auteurs bewijzen dat het vinden van de langste plausibele tokenisatie van een string onder top-$p$-steekproeven NP-moeilijk is. Dit suggereert dat het in het algemeen geval computationally onhaalbaar is om de omzet optimaal te maximaliseren door vervalsing zonder argwaan te wekken.
   • Zij karakteriseren prikkelcompatibele prijsmechanismen en bewijzen dat een mechanisme prikkelcompatibel is dan en slechts dan als de prijs lineair afhankelijk is van het aantal karakters van de outputstring, en niet van het tokenaantal.

3. Algoritmisch Bewijs van Concept:

   • Ondanks het resultaat van NP-moeilijkheid ontwikkelen de auteurs een efficiënt heuristisch algoritme (Algoritme 2). Dit algoritme splitst tokens in de gegenereerde output iteratief op in kleinere, plausibele tokens om het tokenaantal te verhogen.
   • Het algoritme controleert op plausibiliteit (bijvoorbeeld door te verifiëren of tokens binnen de top-$p$-kansset vallen) en rapporteert de opgesplitste reeks alleen als deze plausibel blijft; anders rapporteert het de ware reeks.
   • De auteurs analyseren de afweging tussen de extra omzet die wordt behaald door overbelasting en de rekenkosten (GPU-energie) die nodig zijn om plausibiliteit te verifiëren.

4. Empirische Evaluatie:

   • Experimenten werden uitgevoerd met LLM's uit de Llama, Gemma en Ministral-families.
   • Prompts werden gehaald van het LMSYS Chatbot Arena-platform.
   • De studie mat het percentage overbelastte tokens, het aandeel plausibele vervalsingen en de nettobatenwinst voor de provider onder verschillende parameters (temperatuur, top-$p$-waarden en winstmarges).

Belangrijkste Bijdragen

1. Prikkelanalyse: Het artikel toont aan dat het pay-per-token-mechanisme een directe financiële prikkel creëert voor providers om tokenisaties te vervalsen. Zelfs met transparantie-eisen blijft de prikkel bestaan, omdat providers enkele plausibele, langere tokenisaties kunnen vinden die de omzet verhogen.
2. Complexiteitsresultaat: De auteurs stellen vast dat het vinden van de optimale (langste) plausibele tokenisatie NP-moeilijk is, wat impliceert dat een provider de absolute maximale overbelasting niet eenvoudig kan berekenen zonder aanzienlijke rekenkracht.
3. Heuristische Kwetsbaarheid: Cruciaal toont het artikel aan dat suboptimale vervalsing rekenkundig goedkoop en financieel winstgevend is. Het voorgestelde heuristische algoritme stelt providers in staat gebruikers aanzienlijk te overbelasten (bijvoorbeeld tot 11,2% voor specifieke modellen en parameters) met een nettobatenwinst die de kosten van verificatie overstijgt.
4. Prikkelcompatibele Prijsvorming: Het artikel bewijst dat het enige additieve prijsmechanisme dat de prikkel tot vervalsing van tokenisatie elimineert, pay-per-character is. Onder dit mechanisme wordt de prijs uitsluitend bepaald door de stringlengte, waardoor tokenisatie irrelevant wordt voor de kosten.
5. Transitiestrategie: De auteurs stellen een methode voor voor providers om over te stappen van pay-per-token naar pay-per-character terwijl ze hun gemiddelde winstmarge behouden. Dit houdt in dat de prijs per karakter ($r_c$) wordt vastgesteld op basis van de huidige prijs per token ($r_o$) en de empirische gemiddelde verhouding van tokens tot karakters ($tpc$) in de outputverdeling van de provider.

Resultaten

• Mogelijkheid tot Overbelasting: Met behulp van Algoritme 2 kunnen ontrouwe providers gebruikers met aanzienlijke marges overbelasten. Bijvoorbeeld, met Llama-3.2-1B-Instruct en $p=0.99$ konden providers 11,2% van de tokens overbelasten. Zelfs bij strengere plausibiliteitsdrempels ($p=0.90$) bleef overbelasting mogelijk (0,28%).
• Winstgevendheid: De extra omzet uit vervalsing overtrof consequent de energiekosten voor het verifiëren van plausibiliteit. Voor modellen zoals Llama-3.2-1B-Instruct overschreed de nutwinst 10,5% voor $p=0.99$, ongeacht de winstmarge van de provider.
• Variance in Marges: Onder het voorgestelde pay-per-character-mechanisme wordt de winstmarge van een provider variabel voor verschillende outputs (afhankelijk van de token-naar-karakterverhouding). De auteurs tonen echter aan dat door de karakterprijs correct te kalibreren, de gemiddelde winstmarge stabiel blijft en de marge positief blijft voor de overgrote meerderheid van de outputs (bijvoorbeeld >92% voor Llama-3.2-1B-Instruct).
• Taalgevoeligheid: De studie merkt op dat onder pay-per-character talen met een hogere token-naar-karakterverhouding (vaak minderheidstalen) leiden tot lagere providermarges, wat effectief de kostenlast voor gebruikers van die talen verlaagt in vergelijking met het pay-per-token-model.

Betekenis en Beweringen

Het artikel betoogt dat het huidige pay-per-token-prijsmechanisme een systemische kwetsbaarheid creëert waarbij gebruikers niet kunnen verifiëren of ze worden overbelast, zelfs als providers transparant zijn over hun steekproefprocessen. De auteurs beweren dat:

1. Transparantie Onvoldoende is: Het enkel vereisen dat providers kansen voor de volgende token delen, voorkomt overbelasting niet, aangezien er efficiënte heuristieken bestaan om winstgevende, plausibele vervalsingen te vinden.
2. Prikkelcompatibiliteit Noodzakelijk is: Om de prikkel voor strategische vervalsing echt te elimineren, moet de industrie overstappen op een pay-per-character-prijsmechanisme. Dit brengt de kosten direct in lijn met de waarde die de gebruiker ontvangt (de tekststring) in plaats van de interne representatie (tokens).
3. Haalbaarheid van Transitie: De overgang naar pay-per-character is economisch haalbaar voor providers, aangezien zij hun gemiddelde winstmarges kunnen behouden terwijl ze het risico op overbelasting van gebruikers elimineren.

De auteurs concluderen dat zonder een dergelijke paradigma-verschuiving gebruikers van LLM-as-a-service kwetsbaar blijven voor providers die op eigenbelang uit zijn, met parallellen naar historische marktfalen in andere industrieën waar informatieasymmetrie leidde tot uitbuiting. Zij benadrukken dat hoewel juridische en reputatie-risico's bestaan, sterke economische prikkels dergelijk gedrag vaak drijven, wat structurele prijsoplossingen noodzakelijk maakt.