🤖 AI

Auditing Pay-Per-Token in Large Language Models

Dit paper introduceert een auditframework op basis van martingale-theorie dat een vertrouwde derde partij in staat stelt om misrapportage van tokens door LLM-aanbieders met zekerheid op te sporen en valse alarmen te minimaliseren.

Oorspronkelijke auteurs: Ander Artola Velasco, Stratis Tsirtsis, Manuel Gomez-Rodriguez

Gepubliceerd 2026-03-24

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ander Artola Velasco, Stratis Tsirtsis, Manuel Gomez-Rodriguez

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De "Token-Dief" opsporen: Een simpele uitleg van het onderzoek

Stel je voor dat je een taxi neemt. De chauffeur zegt: "De rit kost €1 per kilometer." Maar in werkelijkheid is de rit maar 5 kilometer, terwijl de chauffeur op de meter 10 kilometer heeft laten zien. Je betaalt dubbel, maar je ziet het niet, want je zit achterin en kijkt alleen naar de bestemming, niet naar de meter.

Dit is precies wat er gebeurt bij grote kunstmatige intelligentie (LLM's) zoals die van Google, OpenAI of Meta. Je betaalt per "token" (een stukje tekst, zoals een woord of een letter). De provider (de taxi-chauffeur) ziet precies hoeveel tokens er zijn, maar jij ziet alleen het eindresultaat.

Het probleem: De verleiding om te valsspelen
Omdat de provider meer geld verdient als hij meer tokens rekent, heeft hij een financieel motief om te liegen. Hij kan een simpele zin als "Hallo" op een slimme manier opsplitsen in 10 kleine stukjes in plaats van 1 groot stukje. Voor jou ziet het er hetzelfde uit ("Hallo"), maar de provider rekent je 10 keer af in plaats van 1 keer. Dit noemen de onderzoekers token-misreporting (het verkeerd melden van tokens).

De oplossing: De onafhankelijke controleur
De auteurs van dit paper (Ander Artola Velasco, Stratis Tsirtsis en Manuel Gomez-Rodriguez) hebben een slimme manier bedacht om deze "taxichauffeurs" te controleren. Ze noemen het een auditing framework (een controle-systeem).

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Magische Spiegel" (De Estimator)

Stel je voor dat je een spiegel hebt die precies weet hoe een taxi-chauffeur eerlijk zou rijden.

De onderzoekers hebben een wiskundig trucje bedacht (een "onbevooroordeelde schatter") dat de provider kan gebruiken om te berekenen: "Als ik eerlijk was, zou deze zin ongeveer 5 tokens kosten."
Dit is lastig, omdat er vaak meerdere manieren zijn om een zin op te splitsen. Maar hun methode is als een slimme gokker die duizenden keren in zijn hoofd rekent en dan een perfect gemiddelde geeft.

2. De "Gokspel-Methode" (Martingalen)

Nu komt het echte genie van het onderzoek. Ze gebruiken een wiskundig concept dat martingalen heet. Laten we dit vergelijken met een gokspel.

Het spel: De controleur (de auditor) begint met een potje van €1.
De beurt: De controleur vraagt een vraag aan de provider. De provider geeft een antwoord en zegt: "Dit kost 10 tokens."
De check: De controleur gebruikt zijn "magische spiegel" om te berekenen: "Eerlijk zou dit 5 tokens kosten."
De gok:
- Als de provider eerlijk is (5 tokens gezegd, 5 berekend), blijft het potje €1.
- Als de provider liegt (10 tokens gezegd, 5 berekend), dan wint de controleur geld. Het potje groeit.
- Als de provider per ongeluk minder rekent dan eerlijk zou zijn (zeldzaam), verliest de controleur een beetje geld, maar het potje zakt niet onder nul.

De regel: Als het potje groeit tot een bepaald bedrag (bijvoorbeeld €20, wat overeenkomt met een kans van 5% om fout te alarm te slaan), dan roept de controleur: "GEVANGEN! Je liegt!"

3. Waarom is dit zo sterk?

Je kunt niet ontsnappen: Of de provider nu slim liegt, dom liegt, of elke keer anders liegt, het potje zal altijd groeien als hij liegt. Het is als een muntje dat op de lange termijn altijd in je richting valt als je een oneerlijke speler bent.
Snelheid: In hun experimenten zagen ze dat ze een leugenachtige provider al konden betrappen na ongeveer 70 vragen. Dat is heel snel!
Veiligheid: Als de provider eerlijk is, blijft het potje rond de €1 hangen. Het is extreem onwaarschijnlijk dat je een eerlijke provider per ongeluk veroordeelt (minder dan 1 op de 20 keer).

Samenvatting in één zin

De onderzoekers hebben een wiskundige "val" ontworpen die, net als een slimme gokker, langzaam maar zeker geld verzamelt zolang de provider liegt, en zo snel en betrouwbaar de leugens opspoort dat providers niet meer kunnen profiteren van hun bedrog.

Waarom is dit belangrijk?
Zonder dit soort controle zullen providers waarschijnlijk blijven liegen om meer geld te verdienen, en zullen gebruikers (zowel bedrijven als particulieren) onnodig veel betalen. Dit paper geeft ons de gereedschappen om de markt eerlijk te houden.

Probleemstelling

De markt voor "Large Language Models as a Service" (LLM-as-a-Service) groeit exponentieel, waarbij gebruikers betalen op basis van een pay-per-token mechanisme. Dit betekent dat de kosten lineair toenemen met het aantal tokens dat door het model wordt gegenereerd.

Het paper identificeert een fundamenteel probleem: informatie-asymmetrie.

De provider ziet het volledige generatieproces en de daadwerkelijke tokenisatie.
De gebruiker ziet alleen de output en betaalt voor het aantal tokens dat de provider rapporteert.
Omdat tokenisatie niet uniek is (dezelfde tekst kan op verschillende manieren worden opgesplitst in tokens), hebben providers een financieel prikkel om de tokenisatie te manipuleren. Ze kunnen een string op een manier tokeniseren die meer tokens oplevert dan de standaard, zonder de tekstuele inhoud te veranderen. Dit leidt tot token misreporting (onjuiste rapportage), waarbij de provider onterecht meer geld verdient ten koste van de gebruiker.

De huidige markt heeft geen mechanisme om dit te detecteren, omdat de gebruiker geen toegang heeft tot de interne werking van het model om de tokenisatie te verifiëren.

Methodologie

De auteurs ontwikkelen een auditframework dat gebaseerd is op martingale-theorie en sequentiële statistische toetsing. Het doel is om een vertrouwde derde partij (de auditor) in staat te stellen om misreporting te detecteren door het provider systematisch te bevragen.

Kerncomponenten van het framework:

Formulering als Hypothesetoets:
Het probleem wordt gemodelleerd als een sequentiële toetsing van hypothesen:
- $H_0$ (Nulhypothese): De provider is eerlijk (rapporteert de tokenisatie zoals het model deze genereert).
- $H_1$ (Alternatieve hypothese): De provider is oneerlijk en rapporteert een gemiddeld hoger aantal tokens dan het model genereert (misreporting intensity $I(\pi) > 0$ ).
Ongebiasde Schatting van Tokenlengte:
Een cruciale uitdaging is dat de auditor de "ware" gemiddelde lengte van tokensequenties moet kennen voor een gegeven outputstring, zonder de provider te vertrouwen.
- De auteurs ontwikkelen een nieuw, ongebiasde schatter (Algorithm 1) voor de gemiddelde lengte van tokensequenties die een LLM gebruikt om een specifieke string $s$ te coderen.
- Ze gebruiken een gemodificeerde generatieprocedure waarbij tokens worden "gemaskerd" zodat alleen tokenisaties worden gegenereerd die leiden tot de gewenste string $s$ .
- Door gebruik te maken van importance sampling (gewichtsfactoren gebaseerd op de verhouding tussen de oorspronkelijke en gemodificeerde waarschijnlijkheid), kunnen ze een ongebiasde schatting berekenen van de verwachte lengte $E[len(T)]$.
Sequentiële Toetsing met Martingalen:
- De auditor verzamelt bewijs $E_i$ bij elke query: het verschil tussen het gerapporteerde aantal tokens en de geschatte gemiddelde lengte.
- Dit bewijs wordt geaggregeerd in een proces $M_i$ (een martingaal onder $H_0$ ):
  $M_i = M_{i-1} \cdot (1 + \lambda_i \cdot E_i)$
- Als de provider eerlijk is, blijft $M_i$ rond de waarde 1 fluctueren. Als de provider misreporting toepast, groeit $M_i$ exponentieel.
- De audit stopt en markeert de provider als oneerlijk zodra $M_i$ een drempelwaarde $1/\alpha$ overschrijdt.
Theoretische Garantie:
- Fout-positieve rate: Onder $H_0$ (eerlijke provider) garandeert Ville's ongelijkheid dat de kans op een vals alarm $\leq \alpha$ is (bijv. 0.05).
- Detectie: Onder $H_1$ (oneerlijke provider) garandeert het framework dat de audit uiteindelijk zal stoppen met een oneerlijke provider, ongeacht de strategie van de provider, zolang de misreporting intensity $I(\pi) > 0$ is.

Belangrijkste Bijdragen

Eerste Auditframework voor Tokenisatie: Het is het eerste werk dat specifiek de economische incentiv voor tokenmisreporting adresseert en een wiskundig onderbouwd auditmechanisme biedt.
Nieuwe Schatter: Ontwikkeling van een efficiënte, ongebiasde schatter voor de gemiddelde tokenlengte van een string, wat op zichzelf een waardevolle bijdrage is aan de LLM-literatuur.
Worst-case Garantie: Het framework biedt wiskundige garanties dat het elke vorm van misreporting zal detecteren (ongeacht de complexiteit van de strategie van de provider), zolang er maar een positieve intensiteit is.
Robuustheid: Het werkt zelfs als de auditor alleen toegang heeft tot de next-token probabilities (bijv. bij open-weight modellen of via reguliere toegang), zonder de volledige interne state van de provider te hoeven zien.

Resultaten

De auteurs hebben het framework getest met modellen uit de Llama, Gemma en Ministral families, gebruikmakend van prompts van het LMSYS Chatbot Arena dataset.

Detectiesnelheid: Het framework slaagt erin om een oneerlijke provider te detecteren na het observeren van minder dan ~70 gerapporteerde outputs.
Intensiteit vs. Tijd: De tijd die nodig is voor detectie neemt sterk af naarmate de misreporting intensiteit ( $I(\pi)$ ) toeneemt.
Valse Alarmen: Bij eerlijke providers (geen misreporting) bleef het proces $M$ stabiel rond 1 en werd de drempelwaarde nooit overschreden. De kans op een vals alarm bleef ver onder de ingestelde $\alpha = 0.05$ (in de praktijk bijna nihil).
Beleidstypen: Het framework detecteerde zowel willekeurige misreporting (random splitting van tokens) als meer geavanceerde, heuristische strategieën die proberen de waarschijnlijkheid van de tokens te maximaliseren om ontmaskering te voorkomen.

Betekenis en Impact

Economische Bescherming: Dit werk biedt een oplossing voor het "morele gevaar" (moral hazard) in de LLM-markt. Het creëert een mechanisme om providers verantwoordelijk te houden voor hun facturatie, wat essentieel is voor het vertrouwen in LLM-as-a-Service.
Reguliere Toepassing: Het sluit aan bij de EU AI Act (Artikel 74), die toegang tot broncode en auditmogelijkheden vereist voor hoog-risico AI-systemen. Het biedt een technisch onderbouwd middel voor toezichthouders om misbruik te detecteren.
Toekomstige Richting: Het paper suggereert dat dergelijke audittools noodzakelijk zijn om de markt te zuiveren en dat toekomstig werk zich moet richten op het testen met propriëtaire modellen en het uitbreiden van de catalogus van misreporting strategieën.

Kortom, dit paper introduceert een wiskundig robuust en praktisch toepasbaar systeem om financiële fraude in de LLM-industrie te bestrijden door gebruik te maken van geavanceerde statistische methoden (martingalen en e-waarden).