Auditing Pay-Per-Token in Large Language Models

Titolo: Audit del modello Pay-Per-Token nei Large Language Models

1. Il Problema: Asimmetria Informativa e Rischio Morale

Il mercato dei servizi di Large Language Models (LLM) basati su cloud utilizza prevalentemente un modello di pricing "pay-per-token" (pagamento per token). Gli autori evidenziano che questo meccanismo crea un forte incentivo finanziario per i provider a comportarsi in modo disonesto.

• Asimmetria Informativa: Il provider osserva l'intero processo generativo del modello (inclusa la tokenizzazione interna), mentre l'utente vede e paga solo l'output finale condiviso.
• Opportunità di Frode: Poiché la tokenizzazione di una stringa non è univoca (la stessa stringa può essere suddivisa in un numero diverso di token), un provider disonesto può manipolare la tokenizzazione per aumentare artificialmente il conteggio dei token fatturati, mantenendo invariato il testo visibile all'utente. Ad esempio, una stringa di 4 token può essere riportata come 7 token, raddoppiando il profitto del provider a spese dell'utente.
• Mancanza di Verifica: Attualmente, l'utente non ha modo di verificare se il numero di token fatturato corrisponde a quello effettivamente generato dal modello sottostante.

2. Metodologia: Un Framework di Audit Sequenziale

Gli autori propongono un framework di audit basato sulla teoria delle martingale e sui test statistici sequenziali (utilizzando valori-e o e-values). L'obiettivo è permettere a un terzo parte fidato (auditor) di rilevare la disonestà del provider interrogandolo sequenzialmente.

Componenti Chiave del Framework:

• Formalizzazione come Test di Ipotesi:
  Il problema è modellato come un test di ipotesi sequenziale:

  • $H_0$ (Ipotesi Nulla): Il provider è fedele (reporting corretto, intensità di disonestà $I(\pi) = 0$).
  • $H_1$ (Ipotesi Alternativa): Il provider è disonesto ($I(\pi) > 0$).
    L'intensità di disonestà $I(\pi)$ misura il numero medio di token aggiuntivi riportati rispetto a quelli generati realmente.

• Stimatore Non distorto della Lunghezza Media:
  Un contributo fondamentale è lo sviluppo di uno stimatore efficiente e non distorto per la lunghezza media attesa delle sequenze di token che un modello LLM utilizza per codificare una specifica stringa di output $s$.

  • L'auditor, avendo accesso alle probabilità dei prossimi token del modello (o a una versione sandbox/regolamentata dello stesso), utilizza un processo di generazione modificato (con mascheramento) per generare sequenze di token che producono esattamente la stringa $s$.
  • Attraverso un campionamento Monte Carlo ponderato (usando la tecnica della randomized truncation), l'auditor calcola una stima non distorta della lunghezza media attesa $E[len(T)]$ per quella stringa.

• Processo di Martingala per l'Accumulo di Prove:
  L'auditor confronta la lunghezza dei token riportati dal provider ($len(\tilde{T})$) con la stima attesa ($EstimateLength$).

  • Viene definito un processo stocastico $M_i$ che accumula le prove contro $H_0$ ad ogni passo temporale $i$:
    $$M_i = M_{i-1} \cdot (1 + \lambda_i \cdot E_i)$$
    dove $E_i$ è la differenza tra la lunghezza riportata e quella stimata, e $\lambda_i$ è un parametro di pesatura.
  • Se il provider è fedele, $M_i$ è una martingala (non cresce in media). Se il provider è disonesto, $M_i$ cresce esponenzialmente.

• Regola di Decisione:
  L'audit termina e il provider viene segnalato come disonesto non appena $M_i$ supera una soglia predefinita $1/\alpha$, dove $\alpha$ è il limite accettabile per il tasso di falsi positivi.

3. Contributi Chiave

1. Framework Teorico Garantito: Dimostrazione che il framework rileverà sempre un provider disonesto (con probabilità 1) indipendentemente dalla sua politica di reporting, purché l'intensità di disonestà sia positiva.
2. Controllo dei Falsi Positivi: Garantito che la probabilità di segnalare erroneamente un provider fedele come disonesto è limitata superiormente da $\alpha$ (grazie alla disuguaglianza di Ville applicata alle martingale).
3. Stimatore Innovativo: Sviluppo di uno stimatore non distorto per la lunghezza media dei token per una stringa data, che può essere di interesse indipendente per la ricerca sui LLM.
4. Indipendenza dalla Politica di Attacco: Il metodo non richiede di conoscere la strategia specifica di manipolazione del provider; si basa solo sulla discrepanza statistica tra l'output riportato e la distribuzione del modello.

4. Risultati Sperimentali

Gli autori hanno validato il framework su una vasta gamma di modelli (famiglie Llama, Gemma, Ministral) e prompt tratti dalla piattaforma LMSYS Chatbot Arena.

• Provider Fedeli: In 150 esecuzioni per ogni modello, il processo di test $M$ è rimasto vicino al valore iniziale (1) e non ha mai superato la soglia di allerta ($1/\alpha$ con $\alpha=0.05$), confermando un tasso di falsi positivi praticamente nullo.
• Provider Disonesti: Il framework ha rilevato con successo provider che utilizzavano politiche di manipolazione (sia casuali che euristica) introdotte in lavori precedenti.
  • Efficienza: Il framework è stato in grado di identificare un provider disonesto dopo aver osservato meno di ~70 output riportati.
  • Relazione con l'Intensità: Il numero di query necessarie per la rilevazione diminuisce rapidamente all'aumentare dell'intensità della disonestà ($I(\pi)$).
  • Robustezza: Il sistema ha funzionato anche in scenari con accesso approssimato al modello (es. confronto tra modello non quantizzato dell'auditor e versione quantizzata del provider).

5. Significato e Impatto

• Protezione degli Utenti: Questo lavoro fornisce uno strumento tecnico cruciale per proteggere gli utenti nel mercato dei servizi LLM, dove l'attuale modello di pricing è intrinsecamente vulnerabile alla frode.
• Base per la Regolamentazione: Il framework supporta l'idea di audit di terze parti, allineandosi con normative emergenti come l'AI Act dell'UE (Articolo 74), che prevede l'accesso degli auditor ai codici sorgente dei sistemi ad alto rischio.
• Fiducia nel Mercato: Dimostrando che è possibile rilevare la disonestà in modo statisticamente rigoroso e con poche interazioni, il lavoro incoraggia la creazione di mercati più trasparenti e onesti per l'IA generativa.
• Limiti e Futuro: L'approccio richiede attualmente l'accesso al modello (o alle sue probabilità di tokenizzazione) da parte dell'auditor. Il lavoro futuro potrebbe esplorare metodi di audit con accesso limitato (es. solo al tokenizer) o l'uso di dati di fatturazione storici offline.

In sintesi, il paper introduce un metodo matematicamente solido per "auditare" la fatturazione dei token negli LLM, trasformando un problema di asimmetria informativa in un test statistico risolvibile con garanzie rigorose.