Riepilogo Tecnico: KBF – Il Confine della Conoscenza come Impronta Digitale per l'Audit di Modelli Linguistici e API Black-Box

1. Formulazione del Problema

Il documento affronta il "problema della fiducia" intrinseco nel crescente ecosistema di API di relay e rivenditori per i Modelli Linguistici su Larga Scala (LLM). Gli utenti accedono spesso agli LLM tramite intermediari di terze parti che aggregano modelli, offrendo fatturazione unificata e capacità di switching. Tuttavia, tali intermediari possono sostituire silenziosamente un modello flagship costoso e pubblicizzato con un backend più economico e meno capace per aumentare i margini.

La sfida centrale è l'audit black-box del relay: determinare se un endpoint relay sospetto ($O_{sus}$) sta servendo il modello specifico che dichiara ($O_{ref}$) senza accesso a:

• Pesi del modello, logit o dati di addestramento.
• Log di routing lato server o prompt di sistema nascosti.
• Cooperazione del fornitore (ad esempio, watermark o inferenza verificabile).

L'auditor possiede solo l'accesso pubblico alle API sia dell'endpoint di riferimento ufficiale sia dell'endpoint sospetto. L'obiettivo è rilevare la sostituzione completa (servire un modello completamente diverso) e lo switching misto (servire una miscela del modello dichiarato e di un sostituto più economico), mantenendo un basso tasso di falsi positivi (evitando accuse false a fornitori onesti) e rimanendo robusto alle variazioni di deployment benigni (ad esempio, prompt di sistema diversi, temperature o wrapper RAG).

I metodi black-box esistenti non riescono a soddisfare simultaneamente questi requisiti. L'impronta digitale comportamentale (ad esempio, LLMmap) si basa su sonde fisse che sono facilmente eluse o sensibili ai wrapper. I test distribuzionali (ad esempio, MET) soffrono di un'alta varianza sotto cambiamenti di configurazione. I prompt di auto-identificazione sono inaffidabili poiché i modelli spesso dichiarano erroneamente la propria identità.

2. Metodologia: Impronta Digitale del Confine della Conoscenza (KBF)

Gli autori propongono KBF, un protocollo che sfrutta il richiamo numerico stabile vicino al confine della conoscenza come impronta digitale.

Intuizione di Base

Gli autori osservano che, mentre i modelli concordano sui fatti comuni (basso segnale) e falliscono su fatti oscuri (instabile), mostrano un comportamento distinto vicino al "confine della conoscenza":

1. All'interno del confine: I modelli richiamano stabilmente fatti numerici corretti.
2. Appena fuori dal confine: I modelli spesso producono valori numerici stabili ma fattualmente errati.
   Questi valori "sbagliati ma stabili" agiscono come associazioni parametriche persistenti e specifiche del modello. È improbabile che un modello sostituto riproduca esattamente lo stesso errore stabile o il valore stabile corretto specifico del modello di riferimento.

Il Protocollo KBF

KBF opera in tre fasi:

Fase 1: Generazione delle Sonde (Offline)

• Ricerca Adattiva della Frontiera: L'auditor interroga l'endpoint di riferimento ufficiale ($O_{ref}$) per proporre fatti numerici candidati in vari domini (chimica, astronomia, matematica, ecc.). La ricerca si adatta per spostarsi verso fatti sempre più oscuri vicino al confine del richiamo stabile.
• Controlli di Coerenza con il Riferimento: I candidati vengono riesaminati sotto molteplici configurazioni benigne (ad esempio, variando prompt di sistema, temperature). Solo i candidati per cui $O_{ref}$ produce un valore numerico stabile e parsabile (anche se fattualmente errato) vengono mantenuti.
• Screening Contrastivo (Opzionale): Per migliorare l'efficienza, i candidati vengono filtrati contro un sostituto più economico noto (ad esempio, un modello da 9 miliardi di parametri). Se il sostituto corrisponde al riferimento, la sonda viene scartata per garantire il potere discriminatorio.
• Output: Un insieme compatto di sonde $P_{ref} = \{(q_i, d_i, a_i, match_{d_i})\}$, dove $a_i$ è il valore di consenso del riferimento.

Fase 2: Auto-Calibrazione

• L'auditor riesamina $O_{ref}$ con le sonde iscritte sotto la specifica configurazione di audit destinata al sospetto.
• Il sistema conta le discrepanze interne ($k_{self}$) per stimare il "rumore interno ordinario" dell'endpoint di riferimento.
• Viene calcolato un limite superiore di confidenza di Clopper-Pearson (CP) ($p_0$). Questo stabilisce una tolleranza nulla conservativa per il numero di errori attesi dallo stesso riferimento.

Fase 3: Audit dell'Endpoint Sospetto (Online)

• L'auditor invia le sonde iscritte all'endpoint sospetto ($O_{sus}$).
• Le risposte vengono analizzate e confrontate con il consenso di riferimento $a_i$ utilizzando regole di corrispondenza specifiche per dominio.
• Viene eseguito un test statistico binomiale: se il numero di discrepanze ($k$) supera la soglia definita da $p_0$ (a un livello di significatività $\alpha = 0.05$), l'ipotesi nulla ($H_0$: $O_{sus} \approx O_{ref}$) viene rifiutata e l'endpoint viene segnalato come DIVERSO.

Estensione per lo Switching Adattivo
Per lo switching misto (dove solo una frazione $\alpha$ del traffico viene sostituita), KBF impiega un audit a due round:

1. Round 1: Audit di tutte le sonde.
2. Round 2: Riesame solo delle sonde che non hanno corrisposto nel Round 1.
   Ciò concentra le interrogazioni sul traffico più probabilmente sostituito, permettendo il rilevamento anche quando il tasso di sostituzione è basso (ad esempio, 5–10%).

3. Contributi Chiave

1. Identificazione di un Segnale Novello: Il documento identifica il "richiamo numerico al confine della conoscenza" (incluse risposte errate ripetibili) come un segnale stabile e distintivo del modello che non si basa sull'auto-identificazione, sullo stile o su metadati privilegiati.
2. Protocollo End-to-End (KBF): Un protocollo di audit black-box che trasforma questo segnale in insiemi compatti di sonde tramite ricerca adattiva della frontiera, filtraggio per stabilità di configurazione e screening contrastivo.
3. Valutazione Completa: Valutazione su 16 endpoint LLM di produzione (8 famiglie, 3 livelli di prezzo) che dimostra un'alta discriminazione contro sostituzioni economicamente rilevanti.
4. Applicazione nel Mondo Reale: Implementazione su sei piattaforme "shadow API", segnalando con successo endpoint statisticamente incoerenti in un contesto reale senza cooperazione del fornitore.
5. Risorse Aperte: Rilascio di codice, dati e insiemi di sonde di benchmark per supportare la riproducibilità.

4. Risultati Empirici

Gli autori hanno valutato KBF contro tre baseline (MET, LLMmap, ZeroPrint) e hanno riscontrato:

• Alta Accuratezza: KBF ha rilevato tutte le 155 sostituzioni economicamente rilevanti (incluse degradazioni all'interno della stessa famiglia) con 0 falsi positivi sui controlli dello stesso riferimento. Le baseline hanno sofferto di alti tassi di falsi positivi (fino al 37,5% per LLMmap) o hanno mancato sostituzioni.
• Robustezza: Sotto sei diverse configurazioni di deployment (prompt di ruolo, cambiamenti di temperatura, wrapper RAG), KBF ha mantenuto 0 falsi positivi e ha rilevato il 100% delle sostituzioni. Le baseline generavano allarmi falsi eccessivi o mancavano modelli sostituiti a causa della sensibilità ai wrapper.
• Rilevamento dello Switching Misto: KBF ha rilevato sostituzioni quando solo il 5–10% del traffico veniva instradato a un sostituto (per modelli basati su Opus) e fino al 50% per casi più difficili (basati su Sonnet).
• Efficienza dei Costi:
  • Costo di Iscrizione: ~22$ di costo una tantum per generare sonde per una versione del modello.
  • Costo di Audit: ~0,39$ totali per auditare tutti i 16 modelli (circa 0,02$–0,24$ per modello).
• Risultati sulle Shadow API: In un audit di 27 endpoint su 6 piattaforme shadow:
  • 7 endpoint sono stati segnalati come statisticamente incoerenti.
  • 6 dei 7 segnali erano concentrati su endpoint Claude premium (Opus e Sonnet), in linea con l'incentivo economico a sostituire modelli costosi.
  • Analisi dei Livelli: Su piattaforme che offrono più livelli di prezzo per lo stesso modello, i livelli a prezzo inferiore avevano una probabilità significativamente maggiore di essere segnalati rispetto ai livelli a prezzo più alto, suggerendo una sostituzione del backend dipendente dal livello.

5. Significato e Affermazioni

Il documento afferma che KBF fornisce una soluzione pratica, a basso costo e robusta per l'audit di terze parti delle API relay degli LLM. Il suo significato risiede in:

• Fattibilità Operativa: Funziona strettamente in un contesto black-box, senza richiedere cooperazione dal fornitore del modello o dal relay.
• Rilevanza Economica: Si rivolge specificamente agli incentivi economici dei relay (sostituire modelli costosi con economici) piuttosto che all'identificazione generica del modello.
• Affidabilità: Calibrando contro il rumore interno specifico dell'endpoint di riferimento, evita i alti tassi di falsi positivi che affliggono i metodi di impronta digitale distribuzionale o comportamentale quando le configurazioni di deployment variano.
• Azionabilità: Permette a utenti e ricercatori di verificare le affermazioni di servizio e identificare API "shadow" che potrebbero fornire servizi degradati o incoerenti, in particolare per modelli proprietari ad alto valore.

Gli autori mantengono una posizione modesta, notando che KBF è uno strumento di triage statistico piuttosto che una prova crittografica dell'identità del backend. Riconoscono che l'uso operativo ad alto rischio richiede un'ulteriore calibrazione (ad esempio, audit ripetuti nel tempo e nelle regioni) e che il modello binomiale corrente assume l'indipendenza delle sonde, il che potrebbe richiedere correzioni per le correlazioni a livello di dominio.