Sintesi Tecnica: PRISM – Recupero di Set di Istruzioni dalle Attivazioni dei Modelli Linguistici

1. Definizione del Problema: Recupero del Set di Istruzioni (ISR)

Man mano che i Large Language Models (LLM) vengono sempre più impiegati come agenti autonomi, il monitoraggio affidabile richiede molto più della semplice osservazione dei token in uscita; necessita di comprendere gli obiettivi interni che guidano il comportamento. Il monitoraggio attuale affronta sfide quando i modelli inferiscono sottogiobi non intenzionali, seguono indizi contestuali o sono influenzati da prompt injection e obiettivi nascosti.

Sebbene recenti metodi di "attivazione-a-linguaggio" (es. Patchscopes, LatentQA, Activation Oracles) dimostrino che gli stati latenti possono rivelare informazioni in linguaggio naturale, essi sono inadatti al Recupero del Set di Istruzioni (Instruction Set Retrieval - ISR). Gli approcci esistenti tipicamente rispondono a domande arbitrarie o producono singoli riassunti di alto livello. Essi non riescono a recuperare l'intero set di istruzioni simultanee, vincoli, proibizioni e sottogiobi attivi in contesti agentici. Di conseguenza, spesso recuperano solo una frazione delle istruzioni attive, confondono vincoli distinti o allucinano obiettivi non presenti nel contesto.

Il documento formalizza l'ISR come il problema di apprendere un interprete $\phi$ che, dato uno snapshot di attivazione $H_\ell$ da un modello target congelato $M$, produca una lista predetta $\hat{I}$ che massimizzi la copertura (recupero delle istruzioni reali) minimizzando l'allucinazione (predizione di istruzioni non supportate).

2. Metodologia: PRISM

Gli autori introducono PRISM, un interprete condizionato dall'attivazione progettato specificamente per un recupero fedele del set di istruzioni.

Architettura

PRISM è progettato per un deployment leggero. Invece di caricare un separato LLM interprete, riutilizza i pesi base congelati del modello target $M$ (specificamente Qwen3.5-9B negli esperimenti).

• Input: Uno snapshot delle attivazioni del residuo (residual-stream) da uno strato specifico $\ell$ (es. strato 16) su una finestra fissa di token generati (es. gli ultimi 128 token).
• Proiezione: Una proiezione lineare appresa mappa questi vettori di attivazione nello spazio di embedding di input del modello.
• Decodifica: Le attivazioni proiettate fungono da "soft prefix" fornito al modello target. Il modello decodifica quindi autoregressivamente una lista di istruzioni in linguaggio naturale sotto forma di punti elenco.
• Parametri: Solo lo strato di proiezione e gli adattatori LoRA sono addestrati; i pesi del modello base rimangono congelati.

Strategia di Addestramento

PRISM è addestrato in due fasi per affrontare i limiti della standard loss cross-entropy, che penalizza le discrepanze di forma superficiale e non riesce a distinguere tra istruzioni mancanti e allucinazioni.

1. Pre-addestramento Supervisionato (SFT): Il modello viene addestrato per mappare gli snapshot di attivazione su liste di istruzioni reali utilizzando la next-token cross-entropy. Questo stabilisce una mappatura base tra attivazione e lista.
2. Reinforcement Learning Guidato da un Giudice (GRPO): Per ottimizzare la fedeltà a livello di set, gli autori utilizzano l'Ottimizzazione della Policy Relativa al Gruppo (Group Relative Policy Optimization - GRPO).
   • Meccanismo di Giudizio: Un LLM giudice separato valuta le liste di istruzioni candidate rispetto alla lista reale. Determina quali istruzioni di riferimento sono coperte e quali punti predetti non sono supportati (allucinazioni). Il system prompt del giudice è calibrato rispetto alle annotazioni umane utilizzando il coefficiente $\kappa$ di Cohen.
   • Funzione di Reward: Il reward $r$ è uno scalare derivato dalle metriche di copertura ($Cvg$) e allucinazione ($Hall$):
     $$r = w_{inst} \cdot Cvg(\hat{I}, I) - w_{halluc} \cdot Hall(\hat{I}, I) - P_{len}$$
     Dove $P_{len}$ è una penalità di lunghezza a due lati per prevenire il reward hacking tramite report eccessivamente lunghi o collassati.
   • Ottimizzazione: La policy viene aggiornata per massimizzare il vantaggio relativo al gruppo, ottimizzando direttamente per un'alta copertura e una bassa allucinazione piuttosto che per il matching a livello di token.

3. Contributi Chiave

1. Formalizzazione dell'ISR: Il documento definisce il Recupero del Set di Istruzioni come un problema distinto dall'interpretazione generale delle attivazioni, concentrandosi sul recupero dell'intero set di vincoli operativi e sottogiobi.
2. Framework PRISM: Un interprete condizionato dall'attivazione che decodifica gli stati latenti in una lista fedele di istruzioni attive senza fare affidamento sull'ispezione superficiale dei token o sull'auto-reporting del modello.
3. GRPO Guidato dal Giudice: Un obiettivo di addestramento innovativo che utilizza un LLM giudice per fornire feedback semantico, ottimizzando direttamente il richiamo (recall) a livello di istruzione e penalizzando le allucinazioni.
4. Valutazione Calibrata: Gli autori calibrano il loro LLM giudice rispetto alle annotazioni umane e rilasciano i prompt per supportare la valutazione riproducibile dei sistemi di recupero del set di istruzioni.
5. Rilascio delle Risorse: Il documento si impegna a rilasciare il codice sorgente, i dati di addestramento e i dataset di valutazione rilevanti per la sicurezza (coprendo prompt injection e obiettivi nascosti) per facilitare la ricerca futura.

4. Risultati Sperimentali

La valutazione utilizza un corpus di test tenuto fuori dal training di 1.000 esempi in quattro setting: Benigno (BN), Vincoli Comportamentali (BC), Obiettivi Nascosti (HO) e Prompt Avversari (AP). Il modello target è Qwen3.5-9B.

• Prestazioni Generali: PRISM (con RL) raggiunge il reward medio più alto (0.736) e la copertura più alta (0.745) in tutti i setting, superando significativamente la baseline non-PRISM più forte (Activation Oracles, reward 0.532).
• Recupero Rilevante per la Sicurezza: Nei setting avversari (HO e AP), PRISM dimostra una capacità superiore di recuperare istruzioni iniettate o occulte. Specificamente, sul subset di Prompt Avversari, la copertura è migliorata da 0.520 (PRISM senza RL) a 0.652.
• Controllo delle Allucinazioni: PRISM mantiene un basso tasso di allucinazione (0.014). Sebbene alcune baseline mostrino tassi di allucinazione inferiori, il documento nota che ciò è spesso dovuto al fatto che esse collassano i prompt in riassunti generici, perdendo molti degli istruzioni attive.
• Ablation: L'aggiunta della fase di RL guidata dal giudice migliora costantemente le prestazioni in tutti i domini, particolarmente nel setting di Prompt Avversari, confermando che l'obiettivo RL ottimizza con successo le proprietà a livello di set piuttosto che la sola fluidità.

5. Significato e Rivendicazioni

Il documento sostiene che PRISM dimostri che le attivazioni codificano informazioni di istruzioni recuperabili, suggerendo che il monitoraggio basato sulle attivazioni sia una via percorribile verso la supervisione trasparente degli agenti LLM.

• Capacità di Monitoraggio: Il lavoro fornisce un metodo per ispezionare il "set di istruzioni operativo" interno di un agente, rivelando non solo cosa sta facendo il modello, ma perché (ovvero, quali specifici vincoli o obiettivi stanno guidando il comportamento).
• Implicazioni per la Sicurezza: Recuperando con successo obiettivi nascosti e prompt injection che altri metodi mancano, PRISM offre uno strumento per l'audit di agenti in scenari ad alto rischio dove i soli input prompt potrebbero non rivelare un pilotaggio avversario.
• Limitazioni e Ambito: Gli autori sono modesti riguardo alle loro rivendicazioni, notando che:
  • I risultati sono specifici per la famiglia di modelli Qwen3.5-9B, strato 16 e finestra di 128 token; la trasferibilità ad altri modelli o contesti più lunghi non è provata.
  • La valutazione si basa su etichette generate da un oracle e punteggi basati su un giudice, che, sebbene calibrati, non sono una verità assoluta.
  • PRISM è un metodo di monitoraggio, non un intervento di sicurezza; recuperare un'istruzione non implica automaticamente bloccare o modificare il comportamento.
  • Il sistema non è destinato a decisioni punitive ad alto rischio senza revisione umana a causa del rischio di istruzioni mancanti o allucinazioni.

Il documento conclude che, sebbene PRISM non sia una soluzione di sicurezza completa, rappresenta un passo significativo verso la comprensione e l'audit degli obiettivi interni dei modelli linguistici (LLM) impiegati.