💻 computer science

Do System Prompts Leave Behavioral Fingerprints? A Large-Scale Empirical Study of Clone Detection via Output Similarity

Questo articolo introduce il Black-Box Behavioral Fingerprinting (BBF), un metodo che consente ai proprietari di prompt di rilevare i prompt di sistema clonati tramite la similitudine dell'output, e valida attraverso uno studio empirico su larga scala che, sebbene la scelta del prompt influenzi significativamente il comportamento del modello e il rilevamento sia generalmente efficace, esso rimane vulnerabile a specifiche manipolazioni stilistiche.

Autori originali: Linghan Chen, Yudong Gao, Jiyao Wang, Kaiyan Ji, Honglong Chen

Pubblicato 2026-08-26

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Linghan Chen, Yudong Gao, Jiyao Wang, Kaiyan Ji, Honglong Chen

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Nel rapidamente evolversi del mondo dell'intelligenza artificiale, è emersa una nuova sorta di proprietà intellettuale: il prompt di sistema. Questo non è un oggetto fisico o una macchina complessa, ma un insieme di istruzioni accuratamente scritte fornite a un programma informatico prima che inizi un compito. Pensatelo come lo script nascosto che dice a un'IA generalista come comportarsi, quale tono usare e quali abilità specifiche applicare, trasformando efficacemente uno strumento ampio in un prodotto specializzato. Proprio come uno chef potrebbe avere una ricetta segreta che definisce un piatto, gli sviluppatori creano questi prompt per creare servizi digitali unici. Tuttavia, a differenza di un libro di ricette fisico che può essere chiuso a chiave, queste istruzioni digitali sono vulnerabili. Poiché esistono solo come testo, possono essere sottratte al sistema da un avversario che pone le domande giuste, copiate e poi utilizzate da chiunque, ovunque, a costo zero. Una volta rubato, il creatore originale non ha modo di dimostrare che un servizio concorrente stia usando il proprio script rubato, rimanendo senza alcun rimedio.

Questa incertezza ha spinto un team di ricercatori a porsi una domanda fondamentale: anche se un ladro riscrive le istruzioni rubate affinché appaiano diverse, lo script originale lascia ancora una traccia nelle risposte fornite dal computer? Per scoprirlo, i ricercatori hanno sviluppato un metodo chiamato Black-Box Behavioral Fingerprinting (Impronta Digitale Comportamentale Black-Box). Hanno trattato il prompt di sistema non come un testo da leggere, ma come un insieme di abitudini che modellano il modo in cui un'IA risponde. Il loro approccio era semplice ma potente. Per prima cosa, il proprietario del prompt inviava un elenco specifico di domande alla propria IA e registrava le risposte. Avrebbe poi analizzato i modelli in quelle risposte per creare un'impronta digitale unica del comportamento di quello specifico prompt. Successivamente, se sospettava che un concorrente stesse utilizzando una versione rubata, poneva le stesse domande all'IA del concorrente. Confrontando i modelli delle risposte del concorrente con l'impronta digitale originale e con un insieme di risposte casuali e non correlate, potevano determinare se i due sistemi si stessero comportando nello stesso modo.

I ricercatori hanno testato questa idea su scala massiccia, coinvolgendo quattro diverse famiglie di modelli di IA commerciali e otto diversi tipi di compiti, che spaziavano dalle domande mediche all'analisi di contratti legali. Hanno generato quasi trecento mila risposte per vedere se il metodo dell'impronta digitale potesse identificare in modo affidabile un clone. I risultati sono stati sorprendenti. Hanno scoperto che la scelta del prompt di sistema spiega quasi un quarto delle differenze nel modo in cui un'IA risponde alle domande. In altre parole, le istruzioni nascoste lasciano un segno forte e misurabile sull'output. Quando i ricercatori hanno confrontato un prompt rubato in esecuzione sullo stesso tipo di IA dell'originale, il loro metodo ha identificato la corrispondenza con successo in quasi il novanta per cento dei casi. Anche quando il prompt rubato veniva spostato su un modello di IA completamente diverso, il metodo funzionava ancora, sebbene con una certezza leggermente inferiore, identificando correttamente il clone in circa il settantadue per cento degli scenari mediamente.

Lo studio ha anche esplorato quanto bene questo metodo resista a un avversario che cerca di nascondere le proprie tracce. I ricercatori hanno scoperto che il semplice fatto di riscrivere le istruzioni rubate con parole diverse o cambiare la struttura della frase non ha ingannato il sistema. L'impronta digitale comportamentale rimaneva forte, permettendo al metodo di rilevamento di avere successo anche quando il testo del prompt era pesantemente alterato. Tuttavia, i ricercatori hanno scoperto una specifica debolezza. Se un attaccante aggiungeva un'istruzione breve e formale all'inizio del prompt per costringere l'IA a suonare come un serio accademico, il metodo incontrava difficoltà quando il compito prevedeva risposte brevi e strutturate. In questi casi specifici, l'accuratezza del rilevamento diminuiva significativamente, suggerendo che, sebbene il metodo sia robusto contro la maggior parte dei cambiamenti, può essere confuso da tentativi deliberati di sovrascrivere lo stile naturale dell'IA su compiti brevi.

Per rendere il processo ancora più efficiente, il team ha introdotto una regola per la selezione delle migliori domande da porre. Hanno scoperto che non tutte le domande sono ugualmente utili per individuare un clone; alcune domande sono così semplici che qualsiasi IA risponderebbe allo stesso modo, indipendentemente dal prompt. Filtrando queste domande ovvie e concentrandosi solo su quelle in cui il prompt fa una reale differenza, i ricercatori hanno migliorato l'accuratezza del rilevamento di un margine significativo. Hanno determinato che porre solo venticinque domande accuratamente scelte era sufficiente per confermare un furto con un alto grado di fiducia. Ciò significa che un proprietario di prompt non ha bisogno di monitorare un intero sistema o avere accesso al suo codice interno; deve semplicemente porre alcune domande mirate e confrontare i risultati.

Lo studio conclude che, sebbene la minaccia del furto di prompt sia reale e la capacità di rubare queste istruzioni sia ben stabilita, esiste ora un modo pratico per rilevarlo. Il metodo funziona osservando il comportamento dell'IA piuttosto che il testo delle istruzioni, rendendolo uno strumento pratico di verifica. Non è uno scudo perfetto contro ogni possibile attacco, in particolare quelli progettati per manipolare lo stile delle risposte brevi, ma fornisce una solida base per proteggere la proprietà intellettuale nell'era dell'IA generativa. Per la prima volta, i proprietari di prompt hanno un modo per verificare i propri sospetti e dimostrare che un determinato deployment è basato su uno script rubato, offrendo un nuovo livello di sicurezza per l'economia digitale.

Riassunto Tecnico: I System Prompt lasciano impronte comportamentali?

Definizione del Problema

La proliferazione di piattaforme di applicazioni basate su Large Language Model (LLM) (ad es., GPT Store, Coze) ha stabilito il system prompt come una forma critica di proprietà intellettuale (IP). Mentre i pesi del modello sono difficili da replicare, i system prompt possono essere estratti letteralmente tramite query avversarie con tassi di successo superiori a 0,8 e ridispiegati su qualsiasi piattaforma a costo zero. Le difese esistenti si concentrano sulla prevenzione dell'estrazione, ma una volta che un prompt viene rubato, il proprietario manca di un meccanismo per verificare se un sospetto deployment sia un clone.

La domanda centrale della ricerca è se un system prompt lasci una traccia comportamentale utilizzabile negli output del modello che sopravviva all'estrazione, alla parafrasi e al trasferimento tra modelli diversi. Se tale traccia esiste, potrebbe abilitare il Black-Box Behavioral Fingerprinting (BBF): un metodo in cui il proprietario del prompt registra una firma comportamentale dal proprio deployment originale e successivamente testa se un sospetto deployment corrisponde più strettamente a tale firma rispetto a un baseline non correlato, richiedendo solo l'accesso black-box alle API.

Metodologia: Black-Box Behavioral Fingerprinting (BBF)

Il BBF operazionalizza il rilevamento dei cloni come un confronto a due campioni in uno spazio di embedding, affidandosi esclusivamente a sentence embedding pronti all'uso e alla similarità del coseno. Il processo si compone di due fasi:

Registrazione: Il difensore invia un insieme di query diagnostiche $Q = \{q_1, \dots, q_K\}$ al deployment originale (prompt $P$ ). Per ogni query, vengono raccolti $N$ campioni di output stocastici, che vengono trasformati in embedding tramite un encoder di frasi $\phi$ e aggregati in un centroide comportamentale $\hat{\mu}_k$ . La impronta digitale $F$ è l'insieme di questi centroidi.
Rilevamento: Il difensore invia le stesse query a un sospetto deployment (prompt $P^*$ ). Vengono calcolati i centroidi sospetti $\hat{\mu}^*_k$ . Per controllare il fatto che diversi prompt possano produrre risposte semanticamente simili alla stessa domanda fattuale, il difensore calcola anche i centroidi per un prompt non correlato ( $P_u$ ) appartenente allo stesso ampio dominio.
Statistica Decisionale: Il segnale di rilevamento è il "gap controllato" $\delta_k = s_{clone} - s_{unrel}$ , dove $s$ rappresenta la similarità del coseno tra il centroide del sospetto/clone e il centroide originale. Un gap positivo indica che il sospetto è comportamentalmente più vicino all'originale rispetto al baseline non correlato.
Aggregazione: Il rilevamento avviene tramite voto di maggioranza su $T$ query. L'analisi teorica (Proposizione 1) suggerisce che, con un budget di query sufficiente (ad es., $T=25$ ), la probabilità di rilevamento converge esponenzialmente.

Ottimizzazione delle Query Diagnostiche (DQO):
Per massimizzare la capacità di rilevamento, il documento propone la DQO, una regola a costo zero per la selezione delle query. Essa postula che le query in cui l'originale e il prompt non correlato producono output altamente divergenti (bassa similarità di baseline $s_{unrel}$ ) siano le più sensibili ai cambiamenti del prompt. La DQO seleziona le $T$ query con la minore similarità di baseline rispetto al prompt non correlato, senza richiedere l'accesso al clone sospettato.

Configurazione Sperimentale

Lo studio è una valutazione empirica su larga scala che coinvolge:

Modelli: 4 famiglie di modelli (Claude, GPT, DeepSeek, Qwen).
Benchmark: 8 benchmark NLP attraverso 7 domini (ad es., MMLU, GSM8K, MNLI, MedQA), per un totale di 2.000 query diagnostiche.
Scenari: 128 scenari totali che coprono tutte le combinazioni incrociate $4 \times 4$ di modelli e 8 benchmark.
Dati: 288.000 risposte generate (250 query $\times$ 3 campioni $\times$ 3 tipi di prompt $\times$ 128 scenari).
Modello di Embedding: all-MiniLM-L6-v2.

Risultati Chiave

1. Esistenza di Impronte Digitali Comportamentali

Lo studio conferma che la scelta del system prompt spiega una parte significativa della varianza dell'output. Un'ANOVA a una via ha prodotto un effetto medio di $\eta^2 = 0,244$ (un effetto "grande" secondo gli standard di Cohen), indicando che la scelta del prompt spiega circa il 24,4% della varianza negli embedding degli output. In 118 scenari su 128, gli output del clone sono stati più vicini all'originale rispetto agli output non correlati.

2. Prestazioni di Rilevamento

Rilevamento sullo Stesso Modello: Altamente affidabile con un AUC medio di 0,876.
Rilevamento Cross-Model: Le prestazioni sono limitate dall'identità del modello rilevatore.
- Claude come rilevatore ha ottenuto l'AUC cross-model più alto (0,845).
- Qwen come rilevatore ha ottenuto l'AUC più basso (0,665).
- L'AUC medio complessivo cross-model è 0,725.
Budget di Query: Un budget di 25 query è sufficiente per un rilevamento affidabile (probabilità a livello di scenario > 0,999).
Efficacia della DQO: L'applicazione della DQO ha aumentato l'AUC cross-model di +0,120 in media.

3. Robustezza e Modalità di Fallimento

Parafrasi: Il BBF è robusto alla parafrasi non adattiva (sostituzione di sinonimi, riorganizzazione strutturale e riscritture funzionali). Anche sotto riscritture aggressive di tipo L3, l'AUC è rimasto $\ge 0,889$ .
Estrazione Imperfetta: I cloni derivati da un'estrazione automatizzata imperfetta sono stati almeno tanto rilevabili quanto le parafrasi fatte a mano, probabilmente perché l'estrazione preserva l'inquadratura funzionale mentre le riscritture manuali introducono rumore stilistico ortogonale.
Modalità di Fallimento: 11 scenari su 128 sono falliti (AUC $\le 0,5$ $\leq 0, 5$ ). I fallimenti si sono raggruppati in tre pattern:
1. Output Brevi: Task con output estremamente brevi (ad es., analisi del sentiment su SST-2) dove lo stile domina sul contenuto.
2. Artefatti dei Dati: Il benchmark CUAD è fallito a causa di un problema di caricamento del dataset che ha causato un mismatch tra prompt e query.
3. Mismatch di Stile: Coppie di modelli specifiche (ad es., Qwen $\to$ GPT) hanno mostrato mismatch sistematici di stile.
Attacchi Adattivi: Sebbene la parafrasi non sia riuscita a eludere il rilevamento, l'iniezione di un prefisso a tono formale di una singola frase nel prompt ha avuto successo nel far collassare il rilevamento su task brevi e strutturati (l'AUC di MNLI è sceso da 0,978 a 0,547). Ciò identifica il rilevamento invariante allo stile come la principale sfida aperta.

Significato e Rivendicazioni

Il documento posiziona il BBF come uno strumento di verifica piuttosto che uno strumento di scoperta, destinato a integrare gli attuali meccanismi di applicazione della proprietà intellettuale. La sua importanza primaria risiede in:

Fattibilità: Dimostrare che i system prompt lasciano impronte comportamentali misurabili e trasferibili negli output black-box.
Accessibilità: Fornire un metodo di rilevamento che non richiede i pesi del modello, la cooperazione della piattaforma e nessuna modifica al processo di generazione, basandosi solo sull'accesso alle API.
Praticità: Stabilire che un budget fisso e a basso costo di 25 query è sufficiente per un rilevamento ad alta confidenza nella maggior parte degli scenari ricchi di contenuti.

Gli autori concludono che, sebbene il BBF sia efficace contro il cloning standard e la parafrasi, il campo deve affrontare il rilevamento invariante allo stile per difendersi dagli avversari adattivi che manipolano il tono o il formato dell'output. Il lavoro non pretende di risolvere lo status legale del cloning dei prompt, ma offre un protocollo tecnico affinché i proprietari possano sostanziare i sospetti di furto.