Sintesi Tecnica: La Molteplicità di Tokenizzazione Porta a Variazioni di Prezzo Arbitrarie nel Modello LLM-as-a-service

1. Definizione del Problema

Il documento affronta un problema critico, sebbene trascurato, nell'economia dei Large Language Models (LLM) offerti come servizio (LLM-as-a-service). Attualmente, i fornitori utilizzano prevalentemente un modello di prezzo basato sul numero di token, in cui agli utenti viene addebitato un prezzo fisso per ogni token generato. L'assunto standard è che input identici che producono stringhe di output identiche debbano comportare costi identici.

Tuttavia, gli autori dimostrano che tale assunto è errato a causa della molteplicità di tokenizzazione. Anche quando un LLM genera la stessa identica stringa di output (carattere per carattere) dallo stesso prompt di input, la sequenza sottostante di token può differire. Poiché il prezzo si basa sul conteggio dei token piuttosto che sul conteggio dei caratteri, queste diverse tokenizzazioni portano a variazioni di prezzo arbitrarie per lo stesso output. Questo fenomeno è particolarmente diffuso nelle lingue non inglesi e colpisce sia i modelli proprietari che quelli a pesi aperti (open-weights).

2. Metodologia

Investigazione Empirica

Gli autori hanno condotto estesi studi empirici su tre compiti di linguaggio naturale: traduzione, controllo ortografico (spell checking) e rielaborazione (rephrasing).

• Setup: Hanno costruito 100 prompt di input per compito utilizzando brevi testi da Wikipedia. Per la traduzione, hanno testato coppie lingua inglese-5 lingue target; per il controllo ortografico e la rielaborazione, hanno testato 6 lingue.
• Esecuzione: Ogni prompt è stato fornito all'LLM 100 volte con parametri identici ma diversi seed casuali per simulare diversi utenti che richiedono lo stesso compito.
• Modelli: Lo studio ha incluso modelli proprietari (GPT-4o-mini, GPT-4.1, GPT-5-mini, Gemini, Claude) e modelli a pesi aperti (Llama-3.1-8B-Instruct, Qwen2.5-7B-Instruct).
• Misurazione: Hanno identificato coppie di output in cui le stringhe decodificate erano identiche ma le lunghezze di tokenizzazione differivano. Hanno misurato la probabilità di questa occorrenza e l'entità della risultante variazione di prezzo.

Analisi Teorica

Il documento definisce formalmente la tokenizzazione canonica come la tokenizzazione unica che una stringa riceve durante il processo di addestramento dell'LLM (determinata dall'encoder). Gli autori dimostrano un risultato teorico chiave riguardante i tokenizer non recuperabili:

• Teorema: Per i tokenizer BPE, Unigram e Wordpiece, se una sequenza parziale di token è non-canonica, qualsiasi estensione di tale sequenza (aggiungendo altri token) sarà anch'essa non-canonica.
• Implicazione: Per generare una sequenza di output canonica, il modello deve generare sequenze parziali canoniche ad ogni passaggio. Questa proprietà permette strategie di generazione vincolata.

Soluzione Proposta: Generazione Canonica

Per eliminare la variazione di prezzo, gli autori introducono la generazione canonica, un metodo di generazione vincolata che limita l'LLM alla sola generazione della tokenizzazione canonica di qualsiasi stringa di output.

• Algoritmo: Propongono un algoritmo di campionamento efficiente basato sul trucco di Gumbel-Max.
  • Invece di calcolare esplicitamente una nuova distribuzione di probabilità (il che richiederebbe di controllare la canonicità di tutti i token del vocabolario), l'algoritmo campiona il rumore di Gumbel per ogni token.
  • Classifica i token in base alle loro probabilità logaritmiche perturbate.
  • Itera attraverso i token classificati e seleziona il primo che, una volta aggiunto alla sequenza corrente, risulta in una sequenza canonica.
  • Questo approccio ridistribuisce efficacemente la massa di probabilità dei token non-canonici ai token canonici rimanenti senza una costosa normalizzazione.

3. Risultati Chiave

Molteplicità di Tokenizzazione

• Prevalenza: La molteplicità di tokenizzazione è stata osservata in tutti i modelli e i compiti testati. Per i modelli a pesi aperti (Llama, Qwen), si è verificata regolarmente in tutti e tre i compiti. Anche i modelli proprietari hanno esibito il problema, sebbene con frequenze variabili.
• Dipendenza dalla Lingua: Il fenomeno è significativamente più prevalente nelle lingue minoritarie (es. turco, Swahili) rispetto all'inglese. Ad esempio, nei compiti di traduzione, fino al 7% dei prompt per il turco e lo Swahili ha prodotto stringhe identiche con lunghezze di tokenizzazione differenti.
• Variazione di Prezzo: Quando si verifica la molteplicità, la differenza di prezzo può essere sostanziale. Gli autori hanno osservato differenze di prezzo relative fino al 15% per lo stesso string di output tra la tokenizzazione più breve e quella più lunga.
• Output Lunghi: In testi più lunghi, gli errori di tokenizzazione tendono a propagarsi; se una parola viene generata con una tokenizzazione non-canonica, le occorrenze successive di quella parola spesso seguono lo stesso schema non-canonico, complicando la differenza di prezzo.

Prestazioni della Generazione Canonica

• Garanzia Teorica: Gli autori dimostrano che la distribuzione delle sequenze di token generate tramite generazione canonica è provabilmente più vicina (in termini di divergenza KL) alla vera distribuzione delle sequenze viste durante l'addestramento rispetto alla generazione standard.
• Prestazioni Empiriche: Gli esperimenti su traduzione, controllo ortografico, rielaborazione e sul benchmark MGSM (matematica multilingue) mostrano che la generazione canonica è comparabile alla generazione standard in termini di:
  • Qualità: Metriche come i punteggi di qualità della traduzione, la distanza di editing e la similarità del coseno hanno mostrato differenze trascurabili (spesso entro il margine di errore).
  • Tempo di Esecuzione: Il tempo per token è aumentato solo marginalmente (ad esempio, da 0.019s a 0.020s), dimostrando l'efficienza dell'algoritmo di campionamento basato su Gumbel-Max.
• Tasso di Non-Canonicità: La generazione standard ha prodotto output non-canonici nel 6% - 29% dei casi a seconda del modello e del compito, mentre la generazione canonica ha ridotto questo tasso allo 0% per design.

4. Significato e Rivendicazioni

Il documento sostiene di fornire la prima prova empirica che la molteplicità di tokenizzazione porta a variazioni di prezzo arbitrarie e indesiderate nel modello LLM-as-a-service, anche quando i fornitori sono "fedeli" (ovvero non manipolano intenzionalmente il conteggio dei token).

• Impatto Economico: Le scoperte mettono in discussione l'equità del modello pay-per-token, mostrando che agli utenti possono essere addebitati importi significativamente diversi per lo stesso valore (testo) a causa di variazioni stocastiche nella tokenizzazione.
• Contributo Tecnico: L'introduzione della generazione canonica offre una soluzione pratica che elimina questa variazione di prezzo senza sacrificare le prestazioni del modello o aumentare significativamente la latenza.
• Approfondimento Teorico: La prova che BPE, Unigram e Wordpiece sono non-recuperabili fornisce una comprensione fondamentale del perché si verifichino sequenze non-canoniche e di come possano essere prevenute tramite vincoli passo-passo.

Gli autori concludono che, sebbene la generazione canonica restringa leggermente lo spazio di campionamento (portando potenzialmente a prestazioni marginalmente inferiori in scenari specifici e vincolati), essa risolve efficacemente il problema del pricing arbitrario mantenendo un'alta qualità dell'output generato.