🤖 AI

RePolicy: Reinforcement Learning for Safety-Policy Invocation in Agent Safeguards

Il documento introduce RePolicy, un agente di salvaguardia basato sull'apprendimento per rinforzo che invoca dinamicamente policy di sicurezza specifiche per contesto per generare giudizi di sicurezza fondati, dimostrando una superiore adattabilità e prestazioni di rilevamento attraverso diversi benchmark rispetto ai metodi esistenti di prompting e fine-tuning.

Autori originali: Houcheng Jiang, Boxuan Zhang, Qiyong Zhong, Junfeng Fang, Xiang Wang, Xiangnan He

Pubblicato 2026-08-26

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Houcheng Jiang, Boxuan Zhang, Qiyong Zhong, Junfeng Fang, Xiang Wang, Xiangnan He

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Nel mondo in rapida evoluzione dell'intelligenza artificiale, è emersa una nuova generazione di sistemi che fa molto di più che rispondere a domande o scrivere testi. Si tratta di agenti autonomi, entità digitali capaci di pianificare compiti complessi, utilizzare strumenti software e interagire con il mondo esterno per raggiungere obiettivi specifici. Immaginate un assistente personale che non sia solo in grado di prenotare un volo, ma possa anche navigare in un sito web, compilare moduli e gestire un calendario senza una costante guida umana. Man mano che questi agenti diventano più capaci, la posta in gioco per la loro sicurezza aumenta di conseguenza. Il pericolo non riguarda più solo una singola frase inappropriata; si tratta di una sequenza di azioni che, pur apparendo innocue se isolate, potrebbero portare a un esito dannoso se messe insieme. Garantire che questi agenti agiscano in modo sicuro richiede un sistema in grado di osservare l'intero percorso, comprendere le regole del gioco e intervenire prima che un errore si trasformi in un disastro.

Per anni, l'approccio standard per mantenere sicuri questi agenti si è basato su regole statiche o semplici prompt. Gli sviluppatori programmavano il sistema di sicurezza con un elenco fisso di comportamenti proibiti o chiedevano al modello di controllare il proprio lavoro rispetto a un insieme generale di linee guida. Tuttavia, il mondo reale è troppo complesso perché un singolo elenco immutabile di regole possa coprire ogni situazione. Un compito che è sicuro in un contesto potrebbe essere pericoloso in un altro, a seconda di chi lo richiede, di quali strumenti siano disponibili o di quali leggi si applichino. Inoltre, le politiche di sicurezza cambiano nel tempo. Affidarsi a un modello che si limiti a memorizzare un insieme fisso di regole spesso lo lascia confuso di fronte a un nuovo scenario o a una combinazione di regole che non ha mai visto prima. È come cercare di navigare in una città con una mappa che mostra solo le strade che hai già visitato; quando giri l'angolo in un nuovo quartiere, la mappa non offre alcun aiuto.

Per risolvere questo problema, i ricercatori hanno sviluppato un nuovo metodo chiamato RePolicy. Inve di trattare le regole di sicurezza come un elenco passivo di testo da leggere, questo sistema le tratta come strumenti attivi che il controllore di sicurezza deve scegliere e utilizzare. L'idea centrale è insegnare al sistema di sicurezza come osservare una situazione specifica, scansionare una libreria di regole disponibili e scegliere quella che effettivamente si applica. Una volta selezionata la regola corretta, il sistema legge i suoi dettagli specifici e utilizza tali informazioni per prendere un giudizio finale sul fatto che il comportamento dell'agente sia sicuro. Questo approccio trasforma il controllo della sicurezza da un esercizio di lettura passiva a un processo decisionale attivo, in cui il sistema impara a sapere quale regola tirare fuori dal cassetto per il lavoro in corso.

I ricercatori hanno costruito questo sistema creando innanzitutto un enorme dataset di oltre 20.000 esempi. Questi esempi includevano registrazioni dettagliate di agenti che svolgevano compiti, accoppiate con le specifiche regole di sicurezza che regolavano quei compiti. Hanno etichettato ogni record per mostrare esattamente quale regola dovesse essere applicata e perché. Utilizzando questi dati, hanno prima insegnato al sistema le basi di come leggere una situazione e trovare una regola corrispondente attraverso un processo di apprendimento supervisionato, simile a come uno studente impara da un libro di testo. Tuttavia, la semplice memorizzazione di esempi non è sufficiente per gestire la natura imprevedibile dei compiti del mondo reale. Per spingere il sistema oltre, i ricercatori hanno poi applicato una tecnica nota come apprendimento per rinforzo. In questa fase, il sistema è stato lasciato praticare il prendere decisioni ripetutamente. Quando sceglieva la regola giusta e prendeva il corretto giudizio di sicurezza, riceveva un premio. Quando sceglieva la regola sbagliata o mancava un pericolo, riceveva una penalità. Nel tempo, il sistema ha imparato a perfezionare le proprie scelte, diventando più bravo a distinguere tra regole che sembravano simili ma che si applicavano a situazioni diverse.

Una parte critica di questo addestramento ha comportato un trucco astuto per impedire al sistema di sfruttare scorciatoie. Durante la pratica, i ricercatori inserivano regole irrilevanti e politiche "esca" false insieme a quelle corrette. Ciò ha costretto il sistema a comprendere veramente il contesto delle azioni dell'agente piuttosto che limitarsi a indovinare in base alle regole presenti nell'elenco. Se il sistema non riusciva a distinguere tra una regola pertinente e una esca, falliva il test. Questo ha garantito che il sistema finale imparasse a identificare la politica specifica che governava una situazione in base ai dettagli del compito, e non solo sulla base della presenza di parole chiave.

Quando testato contro sei diversi benchmark progettati per valutare la sicurezza degli agenti, il nuovo sistema è risultato significativamente migliore dei metodi esistenti. Ha raggiunto un'elevata precisione nel rilevare comportamenti non sicuri in una vasta gamma di scenari, superando sia i modelli di intelligenza artificiale generica che gli strumenti di sicurezza specializzati. In quattro dei sei test, si è classificato al primo posto, mostrando un chiaro miglioramento nella sua capacità di individuare rischi che altri sistemi avevano mancato. Forse la cosa più importante è che il sistema ha dimostrato una robusta capacità di invocare la corretta politica di sicurezza anche quando l'elenco delle regole disponibili cambiava o quando il contesto mutava. Non ha semplicemente indovinato; ha selezionato attivamente la regola giusta e ha usato il suo contenuto per giustificare la propria decisione.

Lo studio suggerisce che, insegnando ai sistemi di sicurezza come selezionare e applicare attivamente le regole, invece di limitarsi a leggerle passivamente, possiamo creare guardiani più adattabili e affidabili per gli agenti autonomi. Questo approccio permette al meccanismo di sicurezza di evolversi insieme agli agenti che protegge, gestendo nuovi strumenti e normative mutevoli senza dover essere completamente riprogrammato. Sebbene il sistema non sia una soluzione perfetta e dipenda ancora dalla qualità delle regole che gli vengono fornite, i risultati indicano una strada promettente da seguire. Trasformando l'invocazione della politica di sicurezza in un compito di apprendimento, i ricercatori hanno compiuto un passo significativo verso la garanzia che, man mano che gli agenti artificiali diventano più indipendenti, rimangano sotto il controllo di standard di sicurezza chiari, consapevoli del contesto ed efficaci.

Sintesi Tecnica: RePolicy

Problematica

I rischi di sicurezza degli agenti basati su Large Language Model (LLM) si sono evoluti da contenuti dannosi isolati a danni comportamentali che emergono lungo interi percorsi di esecuzione. Gli attuali sistemi di salvaguardia per gli agenti si affidano tipicamente a tassonomie di rischio predefinite o a policy di sicurezza statiche. Tuttavia, le implementazioni nel mondo reale coinvolgono contesti complessi e dinamici in cui la stessa azione può essere soggetta a vincoli differenti in base ai permessi dell'utente, ai requisiti organizzativi o alle giurisdizioni normative.

Le attuali difese consapevoli delle policy, che dipendono ampiamente dal prompting o dal fine-tuning supervisionato (SFT), affrontano limitazioni significative:

Adattabilità: Faticano ad adattarsi a traiettorie mai viste o a nuove combinazioni di policy di sicurezza.
Meccanismo di Invocazione: Trattano le policy di sicurezza come contesto passivo piuttosto che come capacità attive e chiamabili. Di conseguenza, spesso non riescono a determinare quale specifica policy debba essere invocata o come applicarne le clausole a una specifica traiettoria.
Spostamento della Distribuzione (Distribution Shift): I modelli basati su SFT sono limitati dalla distribuzione traiettoria-policy osservata durante l'addestramento e potrebbero non generalizzare a nuovi contesti di policy.

Metodologia

Gli autori propongono RePolicy, un sistema di salvaguardia per agenti che formula l'invocazione della policy di sicurezza come un compito di apprendimento per rinforzo (RL) agentico. Invece di leggere passivamente le policy, RePolicy impara ad attivare e invocare attivamente la policy applicabile da una libreria dinamica prima di emettere un giudizio di sicurezza.

1. Formulazione del Task

La salvaguardia opera su una traiettoria completa dell'agente $\tau$ e su una libreria di policy dinamica $P$ . Il processo segue una struttura sequenziale:

Invocazione della Policy: Il modello seleziona una policy applicabile $\hat{p}$ da $P$ basandosi su $\tau$ .
Recupero del Contenuto: Il contenuto completo $c(\hat{p})$ della policy selezionata viene recuperato.
Ragionamento e Giudizio: Il modello utilizza $\tau$ e $c(\hat{p})$ per generare una razionale fondata sulla policy $\hat{r}$ e un'etichetta di sicurezza finale $\hat{y} \in \{safe, unsafe\}$ .

2. Costruzione dei Dati: PolicyTraj-20K

Per supportare questo approccio, gli autori hanno costruito PolicyTraj-20K, un dataset di oltre 20.000 traiettorie annotate con relative policy di sicurezza.

Sintesi: Diverse traiettorie di agenti sono state sintetizzate partendo da pattern di interazione esistenti, variando il contenuto del task pur preservando i pattern di utilizzo degli strumenti (tool-use) e i meccanismi di sicurezza.
Fondamento (Grounding): Le policy sono state organizzate per "scene di operatività dell'agente" anziché per categorie di rischio finale. Ogni traiettoria è annotata con la sua policy applicabile, le clausole rilevanti, l'etichetta di sicurezza e la razionale della decisione.
Struttura: Il dataset supporta sia l'inizializzazione supervisionata che l'apprendimento per rinforzo, fornendo un esplicito grounding tra traiettoria e policy.

3. Pipeline di Addestramento

RePolicy impiega un processo di addestramento in due fasi:

Fase 1: Cold-Start Supervised Fine-Tuning (SFT)
Il modello viene inizializzato utilizzando PolicyTraj-20K per apprendere la sequenza completa di invocazione-ragionamento. Il modello è addestrato per:

Identificare la corretta policy da una libreria locale (che contiene la policy target e dei distrattori).
Generare la razionale e l'etichetta di sicurezza basandosi sul contenuto della policy recuperata.
Seguire un formato di output JSON strutturato.

Fase 2: Reinforcement Learning con GRPO
Gli autori applicano l'Optimization Group Relative Policy (GRPO) per ottimizzare direttamente gli esiti della salvaguardia. Le innovazioni chiave includono:

Ricompense Verificabili: Una funzione di ricompensa composita $R = \lambda_{fmt}R_{fmt} + \lambda_{pol}R_{pol} + \lambda_{acc}R_{acc}$ $R = λ_{f m t} R_{f m t} + λ_{p o l} R_{p o l} + λ_{a cc} R_{a cc}$ valuta:
- Formato ( $R_{fmt}$ ): Validità della struttura JSON e della chiamata alla policy.
- Invocazione della Policy ( $R_{pol}$ ): Se la policy selezionata è quella corretta ( $\hat{p} = p^*$ ).
- Accuratezza ( $R_{acc}$ ): Correttezza dell'etichetta di sicurezza finale.
Perturbazione del Contesto della Policy: Per evitare che il modello memorizzi associazioni fisse tra traiettoria e policy o che faccia affidamento sulla composizione della libreria dei candidati, il processo di addestramento ricampiona i distrattori e rimescola l'ordine delle policy. Ciò costringe il modello a determinare l'applicabilità basandosi sulla semantica della traiettoria e sulla descrizione dell'ambito (scope) della policy.

Contributi Chiave

Framework RePolicy: Una nuova salvaguardia che tratta l'invocazione della policy di sicurezza come una capacità attiva e apprendibile, ottimizzata tramite RL, piuttosto che come un semplice input di contesto passivo.
PolicyTraj-20K: Un nuovo dataset che fornisce una supervisione fine-grained e fondata sulle policy per le traiettorie degli agenti, coprendo diversi strumenti, ambienti e scene operative.
Innovazioni Metodologiche: L'integrazione di GRPO con ricompense verificabili basate su regole e la perturbazione del contesto della policy per garantire una selezione della policy robusta e una buona generalizzazione.
Validazione Empirica: Valutazione completa su sei diversi benchmark di sicurezza per agenti, che dimostra prestazioni superiori e robustezza.

Risultati Sperimentali

RePolicy è stato valutato su sei benchmark: ATBench, R-Judge, OpenAgentSafety, ASSEBench, HINTBench e AgentHazard. Il modello (RePolicy-4B) è stato costruito sul backbone Qwen3-4B-Instruct.

Prestazioni Complessive: RePolicy-4B ha raggiunto un punteggio F1 complessivo per le classi "Unsafe" dell'88,15%, superando il baseline esterno più forte di 3,98 punti e il modello di guardia specializzato più forte di 8,46 punti.
Dominanza nei Benchmark: Si è classificato al primo posto in quattro dei sei benchmark, con margini significativi (ad esempio, +5,47 su AgentHazard, +5,26 su ASSEBench).
Invocazione della Policy: L'RL ha migliorato significativamente i tassi di corretta invocazione della policy dal ~94,4% (cold-start) al 98,5%. Il modello ha distinto con successo le policy rilevanti dai decoy, con tassi di selezione dei decoy inferiori all'1%.
Robustezza: Il modello ha mantenuto alte prestazioni anche al variare della dimensione della libreria di policy candidate (da 10 a 50 policy), sebbene sia stato osservato un leggero compromesso nell'accuratezza della selezione al crescere della libreria.
Studi di Ablazione:
- Il cold-start SFT ha fornito una base solida (+28,48 punti rispetto al modello base).
- L'invocazione esplicita della policy è stata identificata come il principale motore dei guadagni finali, in particolare nei benchmark eterogenei come AgentHazard e OpenAgentSafety.
- La perturbazione del contesto della policy è stata cruciale per prevenire l'overfitting sulla composizione specifica della libreria delle policy.

Significato e Dichiarazioni

Il paper sostiene che RePolicy dimostri una direzione pratica per la costruzione di salvaguardie per agenti più adattabili e interpretabili. Apprendendo ad invocare attivamente le policy di sicurezza, il sistema può:

Adattarsi a contesti di policy mutevoli e a combinazioni inedite tra traiettoria e policy.
Fornire razionali interpretabili e fondati sulla policy per i giudizi di sicurezza.
Superare sia i modelli linguistici generici che i modelli di guardia specializzati addestrati su tassonomie statiche.

Gli autori sottolineano che il loro lavoro è destinato alla ricerca difensiva. Riconoscono i limiti, inclusa l'assunzione che la libreria di policy candidate contenga una policy applicabile sufficientemente precisa e l'ulteriore overhead di inferenza introdotto dal processo di invocazione multi-step. Enfatizzano che RePolicy non debba essere trattato come un meccanismo di enforcement autonomo in applicazioni ad alto rischio senza la supervisione umana e strategie di difesa in profondità.