Auditing Black-Box LLM APIs with a Rank-Based Uniformity Test

1. Il Problema: Audit degli API LLM in Scatola Nera

Con l'adozione diffusa delle API per l'accesso ai Modelli Linguistici su Grande Scala (LLM), gli utenti interagiscono spesso con sistemi "black-box" senza visibilità sull'implementazione sottostante. I fornitori di API hanno incentivi economici (riduzione costi, latenza) o malevoli per sostituire silenziosamente i modelli dichiarati con varianti diverse, come:

• Versioni quantizzate: Modelli compressi (es. 4-bit o 8-bit) che degradano le prestazioni.
• Fine-tuning dannoso: Modelli modificati per includere prompt di "jailbreak" o comportamenti non sicuri.
• Sostituzione completa: Sostituzione del modello con uno completamente diverso.

La sfida principale risiede nel fatto che gli utenti non hanno accesso ai pesi del modello né ai logit di output; ricevono solo il testo generato. I metodi di rilevamento esistenti falliscono perché:

1. Richiedono un numero proibitivo di query (bassa efficienza).
2. Utilizzano distribuzioni di query speciali che i fornitori disonesti possono rilevare e aggirare (es. reindirizzando le query sospette al modello originale).
3. Non sono robusti contro la sostituzione probabilistica (dove il fornitore invia una miscela di risposte dal modello corretto e da quello sostituito).

2. Metodologia: Rank-Based Uniformity Test (RUT)

Gli autori propongono RUT, un test statistico asimmetrico a due campioni progettato per verificare l'uguaglianza comportamentale tra un'API target e un modello di riferimento locale autenticato.

Concetto Fondamentale

Il metodo si basa sull'ipotesi che se il modello target ($\pi_{tgt}$) è identico al modello di riferimento ($\pi_{ref}$), le risposte del target dovrebbero essere statisticamente indistinguibili dalle risposte del riferimento.

Procedura Tecnica

1. Campionamento: Per ogni prompt $x$, l'auditor invia una sola richiesta all'API target e genera $m$ risposte dal modello di riferimento locale.
2. Funzione di Punteggio (Score Function): Viene definita una funzione scalare $f(y, x)$ che mappa una risposta e un prompt a un numero reale. Il paper identifica empiricamente che il Log-Rank (la media del logaritmo del rango dei token nella distribuzione di probabilità del modello di riferimento) è la funzione più discriminativa.
3. Calcolo del Rango Randomizzato: Per ogni risposta del target, si calcola il suo rango all'interno della distribuzione dei punteggi delle $m$ risposte di riferimento. Per gestire la natura discreta delle distribuzioni, viene applicata una tecnica di "residuo quantile randomizzato" per ottenere una statistica di rango $r_i \in [0, 1]$.
4. Test di Uniformità: Se i modelli sono identici, le statistiche di rango $r_i$ dovrebbero seguire una distribuzione uniforme su $[0, 1]$. Se il modello target è diverso (es. quantizzato), la distribuzione dei ranghi si discosterà dall'uniformità.
5. Statistica di Test: Viene utilizzato il test di Cramér–von Mises (CvM) per misurare la deviazione tra la distribuzione empirica dei ranghi osservati e la distribuzione uniforme teorica.

Vantaggi Chiave

• Efficienza delle Query: Richiede solo una chiamata API per prompt, rendendo il test economico.
• Robustezza Adversariale: Poiché utilizza prompt naturali (simili al traffico utente) e non pattern di query speciali, è difficile per un fornitore rilevare e aggirare il test.
• Indipendenza dai Logit: Funziona solo sull'output testuale, senza bisogno di accesso ai logit interni.

3. Contributi Principali

1. Nuovo Test di Audit: Introduzione di RUT, un metodo che soddisfa contemporaneamente accuratezza, efficienza delle query e robustezza agli attacchi adversariali.
2. Validazione Empirica Estesa: Sperimentazione su scenari di minaccia diversificati: quantizzazione, jailbreaking, fine-tuning (SFT) e sostituzione completa del modello.
3. Validazione su API Commerciali: Benchmarking su tre principali API pubbliche, dimostrando la praticità del metodo in scenari reali e la sua superiorità rispetto alle metriche basate su stringhe (che falliscono con piccoli disallineamenti di decodifica).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su modelli come Llama-3.2, Mistral-7B e Gemma-2-9B, confrontando RUT con la diserenza massima media (MMD) e il test di Kolmogorov-Smirnov (KS).

• Quantizzazione: RUT supera significativamente MMD e KS nel rilevare varianti quantizzate a 4-bit. Per le varianti a 8-bit (più difficili da rilevare), RUT mantiene una potenza superiore, sebbene tutti i metodi faticino.
• Jailbreaking e SFT: RUT rileva con alta potenza (AUC > 0.75) la presenza di prompt di jailbreak nascosti e cambiamenti comportamentali dovuti al fine-tuning, anche dopo pochi epoch di addestramento.
• Sostituzione Completa: Il metodo dimostra un'elevata sensibilità nel distinguere modelli completamente diversi.
• Robustezza ai Parametri di Decodifica: RUT è in grado di rilevare anche discrepanze nei parametri di decodifica (es. temperatura, top-p), un aspetto in cui i metodi basati su stringhe falliscono.
• Confronto con Baseline: In tutti gli scenari, RUT ottiene una potenza statistica (Statistical Power) superiore rispetto a MMD e KS a parità di budget di query, specialmente in scenari di sostituzione probabilistica.

5. Significato e Implicazioni

Questo lavoro affronta una criticità fondamentale nell'ecosistema attuale degli LLM: la mancanza di trasparenza e la fiducia negli API provider.

• Sicurezza: Fornisce uno strumento pratico per garantire che i modelli utilizzati non siano stati compromessi o degradati, proteggendo gli utenti da rischi di sicurezza e prestazioni.
• Economia del Mercato: Permette di verificare che ciò che viene pagato corrisponda effettivamente al modello dichiarato, prevenendo frodi commerciali.
• Metodologia: Dimostra che è possibile effettuare audit rigorosi su sistemi black-box senza bisogno di accessi interni, utilizzando principi statistici avanzati su dati osservabili.

In sintesi, RUT rappresenta un passo avanti significativo verso la creazione di un mercato delle API LLM più trasparente, sicuro e affidabile, offrendo un metodo di rilevamento che è allo stesso tempo efficiente, preciso e difficile da eludere.