Immagina di cercare di capire se un nuovo e misterioso libro sia stato scritto dallo stesso autore di un classico famoso che ami. Nel mondo dell'intelligenza artificiale, questo è un problema enorme. Abbiamo enormi cervelli informatici chiamati Large Language Models (LLM) che scrivono storie, risolvono problemi matematici e chiacchierano con noi. Ma questi modelli vengono spesso modificati, mescolati o rimpiccioliti per funzionare su dispositivi più piccoli. A volte, le persone prendono un modello protetto, lo cambiano leggermente e lo vendono come proprio senza permesso. Per catturarli, dobbiamo dimostrare l'albero genealogico del modello, la sua provenienza.

La parte complicata è che questi modelli di IA sono come camaleonti. Se poni la stessa domanda in un modo leggermente diverso, o se il modello è stato modificato per essere più veloce, potrebbe dare una risposta completamente diversa, anche se si tratta dello stesso "cervello" sottostante. I metodi precedenti cercavano di catturare questi modelli guardando le parole esatte che sceglievano, ma questo è come cercare di identificare una persona solo dal suo abbigliamento; se cambia vestiti, potresti non riconoscerla. Gli scienziati avevano bisogno di un modo per guardare oltre la superficie e vedere la struttura profonda e immutabile del modo in cui il modello pensa.

È qui che interviene un team dell'Università di Oxford con un'idea geniale chiamata Stemma. Pensa a Stemma come a un detective che smette di chiedere: "Cosa indossavi oggi?" e inizia a chiedere: "Se ti mostrassi un menù con quattro opzioni, quale sceglieresti?". I ricercatori si sono resi conto che, anche se un'IA cambia personalità o modo di esprimersi, tende comunque a scegliere la stessa categoria di risposta quando si trova di fronte a una scelta specifica. Chiamano queste preferenze nascoste "regioni decisionali indotte".

Il team ha testato questo concetto creando un sistema di impronta digitale che non si cura delle parole eleganti che un'IA usa, ma si concentra sulle scelte che compie. Hanno scoperto che se due modelli sono correlati (come un genitore e un figlio), sceglieranno quasi sempre la stessa opzione da un elenco di scelte, anche se l'elenco viene rimescolato o il modello viene distribuito in un contesto totalmente diverso. Modelli non correlati, invece, tendono a scegliere opzioni diverse. Testando questa "coerenza di scelta" attraverso centinaia di modelli diversi e migliaia di domande, Stemma ha dimostrato di essere incredibilmente bravo a individuare i legami familiari. Nei loro test, ha identificato correttamente modelli correlati il 96,7% delle volte e ha potuto catturare un modello correlato anche quando c'era solo l'1% di probabilità di un falso allarme. È un modo robusto per dire: "Sì, questo nuovo modello sospetto è sicuramente correlato a quell'originale", senza dover vedere il codice segreto del modello.

Il nuovo ingrandimento del detective

Quindi, come funziona realmente? Il paper introduce il concetto di Regioni Decisionali Indotte. Immagina di avere una stanza enorme e disordinata piena di infinite possibilità (questo è come funziona di solito l'IA). È difficile dire se due persone si trovino nella stessa stanza se stanno solo vagando alla deriva. Ma, e se mettessi una recinzione nel mezzo della stanza e chiedessi a tutti di scegliere un lato? Improvvisamente, avresti una chiara "regione decisionale".

I ricercatori si sono resi conto che, mentre i modelli di IA possono essere imprevedibili con domande aperte, sono sorprendentemente coerenti quando sono costretti a fare una scelta tra opzioni specifiche, come in un test a scelta multipla. Chiamano l'area in cui un modello sceglie costantemente una risposta specifica la sua "regione decisionale indotta".

Il paper sostiene che i metodi precedenti fossero troppo concentrati sulla "forma superficiale", ovvero le parole esatte che l'IA sputa fuori. Se chiedi a un'IA di "scrivere una poesia su un gatto" e poi le chiedi di "comporre un verso su un felino", un modello correlato potrebbe darti due poesie molto diverse, facendoli sembrare non correlati. Ma se chiedi a entrambi: "La risposta è A, B, C o D?", probabilmente indicheranno la stessa lettera, anche se spiegano il motivo in modo diverso. Stemma ignora la poesia e guarda solo la lettera.

Le tre regole del gioco

Per costruire la loro impronta digitale, il team non ha scelto domande a caso. Dovevano essere intelligenti. Hanno creato un sistema che seleziona le domande basandosi su tre regole rigide, che chiamano Stabilità, Robustezza e Specificità.

1. Stabilità: Immagina di avere una domanda con quattro risposte: A, B, C e D. Se rimescoli l'ordine in modo che le risposte siano D, C, B, A, un modello stabile dovrebbe comunque scegliere la stessa idea, anche se la lettera cambia. Stemma utilizza solo domande in cui il modello è coerente indipendentemente da come rimescoli le carte.
2. Robustezza: Questo riguarda la certezza della propria scelta. Se un modello si trova proprio sul limite tra due risposte, un piccolo cambiamento nel sistema potrebbe farlo cambiare idea. Stemma cerca domande in cui il modello è sicuro in un angolo della stanza decisionale, lontano dalle pareti.
3. Specificità: Questa è la parte più importante. Non vuoi una domanda in cui ogni modello sceglie la stessa risposta (come "Il cielo è blu?"). Quella non è un'impronta digitale; è solo senso comune. Stemma cerca domande in cui il modello originale sceglie una risposta specifica che altri modelli non correlati di solito sbagliano. Se un modello sospetto sceglie anche quella risposta rara e specifica, è un forte segno che sono correlati.

Il grande test

I ricercatori hanno messo alla prova Stema con un esperimento massiccio. Hanno raccolto 56 diversi modelli di IA pubblici (le "sorgenti") e hanno creato 770 coppie di sospetti. Alcuni sospetti erano copie dirette, altri erano versioni perfezionate (fine-tuned), altri erano modelli fusi con altri, e altri ancora erano completamente diversi. Hanno anche testato 1.260 coppie in cui i modelli venivano distribuiti in modi diversi, come cambiando le impostazioni di temperatura o aggiungendo istruzioni di role-play.

I risultati sono stati sorprendenti. Stemma ha ottenuto un AUC di 0,967 (un punteggio dove 1,0 è perfetto) e ha potuto identificare un modello correlato l'87,8% delle volte mantenendo i falsi allarmi al solo 1%. Quando hanno testato il sistema su modelli distribuiti in vari contesti reali (come l'aggiunta di un prompt di "sicurezza" o il cambiamento del processo di ragionamento passo dopo passo), il punteggio è salito ulteriormente a un AUC di 0,995.

Confronta questo con gli altri metodi testati (come LLMmap, LLMPrint e altri). Quei metodi hanno faticato, spesso performando non meglio del caso quando i modelli venivano modificati o distribuiti diversamente. Il paper suggerisce che quei vecchi metodi si affidano troppo alle parole specifiche generate dall'IA, che cambiano facilmente. Stemma, concentrandosi sulle regioni decisionali sottostanti, rimane costante.

Cosa significa (e cosa non significa)

Il paper è molto chiaro su cosa sia e cosa non sia Stemma. È un metodo black-box (scatola nera), il che significa che non hai bisogno di vedere il codice interno o i pesi del modello; devi solo porre domande e osservare cosa sceglie. Questo lo rende pratico per l'audit nel mondo reale.

Tuttove, gli autori sono cauti nel non definirlo una soluzione magica. Notano che Stemma fornisce prove statistiche, non una prova assoluta. È come un test del DNA che dice: "C'è il 99% di probabilità che questi due siano correlati", ma non è una sentenza definitiva di per sé. Avvertono anche che se un attaccante conoscesse esattamente quali domande usa Stemma, potrebbe potenzialmente addestrare il proprio modello per imbrogliare su quelle domande specifiche. Ma poiché Stemma utilizza un enorme pool di domande e seleziona le migliori al volo, questo è difficile da fare.

Il paper evidenzia anche un limite: attualmente Stemma si basa su domande a scelta multipla. Se un modello è troppo debole per comprendere un formato a scelta multipla, questo metodo potrebbe non funzionare. Ma per la stragrande maggioranza dei modelli capaci esistenti, questo nuovo approccio di mappare il caos aperto in uno spazio decisionale finito sembra essere la chiave per sbloccare il vero albero genealogico dei modelli di IA.

In definitiva, Stemma è un promemoria del fatto che, sebbene i modelli di IA possano indossare molte maschere e parlare con molte voci, la loro logica centrale lascia un'impronta digitale che è sorprendentemente difficile da cancellare. Ponendo le domande giuste e guardando oltre la superficie, possiamo finalmente iniziare a vedere chi ha realmente scritto il codice.