Riepilogo Tecnico: Forense Black-Box per Agenti Conversazionali LLM

Definizione del Problema

Con l'espansione dell'adozione dei Large Language Model (LLM), aumenta anche la proliferazione di campagne di frode, ingegneria sociale e disinformazione assistite dall'IA. Questi agenti malevoli operano spesso dietro endpoint anonimi dove gli investigatori non hanno accesso ai pesi del modello, ai prompt di sistema o alle configurazioni interne. Il documento affronta la sfida della forense black-box: recuperare informazioni identificative su un agente, riguardanti il suo modello base e il suo prompt di sistema, esclusivamente attraverso l'interazione conversazionale, senza ricorrere a probing avversari o accesso agli stati interni.

Gli autori definiscono due capacità complementari necessarie per questo compito:

1. Attribuzione: Identificare quale modello base o prompt di sistema alimenta un determinato endpoint da un insieme fisso e chiuso di candidati.
2. Fingerprinting: Determinare se due distinti trascorsi conversazionali originano dalla stessa configurazione nascosta (modello base + prompt di sistema), anche se tale specifica configurazione non è mai stata vista durante l'addestramento (zero-shot).

Questa capacità è critica per collegare singole truffe a reti criminali, rilevare cambiamenti silenziosi nelle API (ad esempio, fornitori che sostituiscono i modelli backend senza dichiarazione) e adattare gli sforzi di red-teaming alle specifiche vulnerabilità del modello.

Metodologia

Il documento propone un framework che si basa sull'elicitazione attiva piuttosto che sull'osservazione passiva. Un agente "detective" (alimentato da QWEN-4B-INSTRUCT) avvia e guida conversazioni ordinarie, non avversarie, con un agente "target". Questo approccio evita la rilevabilità delle tradizionali stringhe avversarie o dei prompt injection, permettendo allo strumento forense di rimanere coperto.

Generazione dei Dati

A causa dell'infeasibilità di ottenere dati reali etichettati (il che richiederebbe l'estrazione di prompt proprietari o il ricorso a dati scansionati non verificati), gli autori hanno costruito un corpus sintetico di 240.000 trascrizioni etichettate.

• Modelli Base: Sono stati utilizzati sei modelli: GPT-OSS-20B, GPT-OSS-120B, LLAMA-3.1-8B-INSTRUCT, QWEN-4B-INSTRUCT, GPT-4O-MINI e GPT-4.1-NANO.
• Prompt di Sistema: Sono stati curati 40 prompt di sistema distinti, che coprono scenari di assistenza clienti e negoziazione.
• Variazioni: Per testare la sensibilità, gli autori hanno creato varianti controllate dei prompt, inclusi troncamenti severi, parafrasi semantiche e riassunti ad alta densità.
• Controllo: Tutte le interazioni hanno utilizzato impostazioni di generazione standardizzate (temperatura 0.7, max 512 token) per isolare le impronte stilistiche e strutturali dal rumore semantico.

Approcci Tecnici

1. Attribuzione

Gli autori hanno adattato le tecniche di attribuzione d'autore ai dati conversazionali:

• Baseline Sparsa: Ha utilizzato TF-IDF a livello di unigramma/carattere e caratteristiche stilometriche (frequenza della punteggiatura, lunghezza dell'enunciato) con un classificatore di regressione logistica multinomiale.
• Baseline Densa: Ha effettuato il fine-tuning di QWEN-4B-INSTRUCT utilizzando adapter LoRA per agire come classificatore.
• Task: Il sistema tenta di mappare una conversazione a un modello base o a un prompt di sistema specifico da un set di candidati noti.

2. Fingerprinting (Zero-Shot)

L'innovazione principale è un approccio basato su cross-encoder progettato per abbinare due conversazioni alla stessa configurazione nascosta senza addestramento preventivo su quella specifica configurazione.

• Architettura: Gli autori hanno sfruttato ELECTRA-large e BERT-base come cross-encoder. Questi modelli codificano coppie di conversazioni e restituiscono le probabilità logaritmiche per una classificazione "stesso vs diverso".
• Obiettivo di Addestramento: Il modello è addestrato per distinguere tra coppie di conversazioni provenienti dalla stessa configurazione di agente rispetto a coppie provenienti da configurazioni diverse (prompt diversi sullo stesso modello base).
• Gestione dell'Input: A causa dei limiti della finestra di contesto (512 token), le conversazioni sono state troncate ai primi tre turni.
• Scalabilità: Il metodo valuta le prestazioni aggregando più coppie di conversazioni ($k$) dallo stesso target per aumentare la fiducia.

Risultati Chiave

Performance di Attribuzione

• Attribuzione del Modello Base: Il sistema raggiunge il 98% di accuratezza nell'identificare il modello base da pochi turni di conversazione non avversaria. Distingue con successo tra modelli della stessa famiglia ma di dimensioni diverse (es. GPT-OSS-20B vs. GPT-OSS-120B) con un'accuratezza del 95%.
• Attribuzione del Prompt di Sistema: Sebbene possibile, l'accuratezza dipende fortemente dalla reattività del modello base alle istruzioni e dalla somiglianza semantica dei prompt.
  • Su modelli come QWEN-4B-INSTRUCT e GPT-4.1-NANO, l'attribuzione del prompt a coppie raggiunge un'accuratezza superiore al 90%.
  • Su modelli come GPT-OSS-20B e GPT-OSS-120B, l'accuratezza dell'attribuzione diminuisce significativamente, e la correlazione tra la somiglianza semantica del prompt e la rilevabilità è trascurabile ($r < 0.2$).
  • La classificazione multi-via dei prompt si è rivelata significativamente più difficile della classificazione binaria, con i classificatori sottoposti a fine-tuning che faticano a superare il 63% di accuratezza.

Performance di Fingerprinting

• Capacità Zero-Shot: Il metodo cross-encoder raggiunge un AUC di 0.768 e un F1 score di 0.703 su prompt di sistema completamente nuovi (impostazione zero-shot).
• Scalabilità con l'Evidenza: Le prestazioni migliorano sostanzialmente con più dati. L'aggregazione di 50 coppie di conversazioni per ogni agente target aumenta l'AUC a 0.943 e l'F1 a 0.77. Anche con soli 5 elementi, l'AUC raggiunge lo 0.83.
• Confronto con le Baseline: Il cross-encoder ha superato significativamente le baseline, inclusi l'overlap N-gram (AUC 0.59), la semplice regressione logistica (AUC 0.667) e i bi-encoder (AUC ~0.75).

Robustezza

• Spostamenti di Argomento e Agente: Il metodo è robusto ai cambiamenti di argomento della conversazione e all'identità dell'agente detective (usando GPT-OSS-20B come detective invece di QWEN-4B-INSTRUCT), con cali di AUC inferiori a 0.03.
• Parametri di Campionamento: Le variazioni di temperatura e limiti di token hanno causato una degradazione minima delle prestazioni (<0.02 calo di AUC).
• Perturbazioni Avversarie:
  • Attacchi di Parafrasi: L'uso di un LLM proxy per riformulare gli enunciati ha ridotto le prestazioni di 0.10 AUC, ma il metodo rimane efficace (AUC 0.94 con $k=10$).
  • Lunghezza del Contesto: Le prestazioni degradano significativamente con contesti brevi (una conversazione di 1 turno riduce l'AUC di 0.20) e nelle fasi successive di interazioni lunghe, sebbene il voto di maggioranza possa recuperare parte delle prestazioni.

Significato e Rivendicazioni

Il documento afferma di essere il primo a studiare l'attribuzione del prompt di sistema e il fingerprinting in un contesto conversazionale black-box senza accesso ai pesi del modello, ai prompt di sistema o alle conversazioni di addestramento reali.

I contributi chiave includono:

1. Forense Coperta: Dimostrare che un'attribuzione e un fingerprinting ad alta fedeltà possono essere ottenuti attraverso un dialogo ordinario e non avversario, evitando i rischi di rilevamento associati al prompt injection o al probing avversario.
2. Scalabilità al Mondo Aperto: A differenza dei metodi di attribuzione che richiedono un set di candidati fissi, l'approccio di fingerprinting scala verso l' "open world", consentendo agli investigatori di raggruppare distinte campagne di truffa o rilevare drift silenziosi delle API senza riaddestramento sulla nuova configurazione.
3. Utilità Pratica: I risultati suggeriscono che l'aggregazione di un piccolo numero di interazioni (es. 50 turni) è sufficiente per collegare diverse truffe a reti criminali o identificare scambi silenziosi di modelli con alta fiducia.

Gli autori posizionano questo lavoro come uno strumento necessario per i team di governance delle piattaforme e di sicurezza, consentendo di tracciare le truffe assistite dall'IA verso i fornitori e rilevare cambiamenti backend non annunciati che potrebbero spostare materialmente il comportamento a valle.

Limitazioni e Considerazioni Etiche

Gli autori riconoscono che la loro valutazione si basa su un corpus sintetico, che può fungere da limite inferiore per le prestazioni nel mondo reale, data la diversità dei prompt di sistema presenti sul campo. Enfatizzano che la metodologia deve essere strettamente limitata all'audit di API commerciali pubbliche e all'investigazione di operazioni malevole coordinate su larga scala. Per mitigare i rischi di sorveglianza, propongono protocolli operativi che includono la validazione del target pre-volata, la minimizzazione dei dati, la redazione di PII (informazioni identificative personali) e l'auditabilità obbligatoria.