Role-Aware Language Models for Secure and Contextualized Access Control in Organizations

1. Il Problema

Con la crescente adozione dei Large Language Models (LLM) in ambito aziendale per compiti come la generazione di documenti, il riassunto e l'assistenza interna, sorge una necessità critica: controllare il comportamento del modello in base al ruolo dell'utente.
I metodi di sicurezza esistenti si concentrano principalmente sulla prevenzione di output tossici o dannosi, assumendo un accesso uniforme per tutti gli utenti. Tuttavia, non affrontano i vincoli di accesso specifici per ruolo (Role-Based Access Control - RBAC), un pilastro fondamentale nei sistemi software tradizionali.
Il problema centrale è: come addestrare un LLM a generare risposte che rispettino le gerarchie organizzative, negando l'accesso a informazioni sensibili agli utenti non autorizzati (es. un ricercatore che chiede dati riservati al CEO) pur mantenendo la capacità di rispondere correttamente agli utenti autorizzati.

2. Metodologia

Gli autori propongono un framework per valutare e implementare modelli LLM "consapevoli del ruolo" attraverso tre strategie di modellazione complementari:

A. Costruzione del Dataset

Per valutare questi modelli, sono stati creati due dataset complementari basati su due strutture organizzative (una "Base" con un CEO e 19 subordinati diretti, e una "Ufficio" con una gerarchia a più livelli):

1. Dataset Riutilizzato (Repurposed): Derivato dal corpus Dolly-15k. Le istruzioni sono state clusterizzate e assegnate a ruoli specifici utilizzando un approccio gerarchico (General, Shared, Root Only) per simulare sovrapposizioni semantiche complesse.
2. Dataset Sintetico: Generato tramite GPT-4.1 mini per creare scenari aziendali realistici, con istruzioni e risposte condizionate ai ruoli e alle responsabilità specifiche.
   Per ogni coppia istruzione-risposta, sono stati generati esempi di training positivi (ruolo autorizzato e ruoli superiori) e negativi (ruoli subordinati, ruoli esterni o ruoli non esistenti).

B. Strategie di Addestramento

Sono state valutate tre approcci distinti su entrambi i dataset:

1. Role-aware Cls (Classificatore BERT): Utilizza modelli BERT (es. ModernBERT, RoBERTa) addestrati per classificare se un utente ha accesso (True/False) basandosi su prompt e ruolo.
2. Role-aware LLM-Cls (Classificatore LLM): Utilizza LLM open-source (Qwen, Llama, Gemma) addestrati tramite LoRA (Low-Rank Adaptation) per agire come classificatori binari di accesso.
3. Role-aware LLM-Gen (Generazione Diretta): Utilizza gli stessi LLM per generare direttamente la risposta completa o un messaggio di rifiuto generico, integrando il controllo degli accessi nel processo di generazione.

C. Codifica del Ruolo

Sono state testate diverse strategie per rappresentare il ruolo nel prompt:

• Codifica Numerica Gerarchica: (es. "1" per CEO, "1.1" per subordinato).
• Codifica Nome Singolo: (es. "CEO", "HR Manager").
• Codifica Nome Gerarchico: (es. "CEO - IT Manager").

3. Contributi Chiave

• Valutazione Olistica: Analisi comparativa di diverse strategie di modellazione (classificazione vs. generazione) e dimensioni del modello in scenari organizzativi realistici.
• Robustezza Adversariale: Analisi approfondita della resilienza del modello contro attacchi di prompt injection, tentativi di jailbreak (es. falsificazione dell'autorità), mismatch di ruoli e manipolazione delle stringhe di ruolo.
• Dataset Pubblici: Creazione e rilascio di dataset specifici per l'accesso controllato basato sui ruoli, sia riutilizzati che sintetici.
• Analisi di Qualità: Verifica che l'imposizione di vincoli di accesso non degradi la qualità delle risposte per gli utenti autorizzati.

4. Risultati Sperimentali

I risultati sono riportati su metriche di accuratezza, FPR (False Positive Rate - accesso negato erroneamente), FNR (False Negative Rate - accesso concesso erroneamente) e qualità della generazione.

• Performance dei Modelli:

  • I modelli basati su LLM-Cls (classificatori LLM) hanno mostrato le prestazioni migliori, raggiungendo un'accuratezza fino al 90.0% sul dataset Dolly e 89.3% sul dataset sintetico.
  • I modelli BERT-based hanno mostrato risultati variabili; in particolare, alcuni modelli grandi (come RoBERTa Large) hanno sofferto di un alto FPR (fino al 58%), indicando una scarsa capacità di generalizzare i vincoli di accesso.
  • L'approccio LLM-Gen (generazione diretta) ha mostrato un'accuratezza leggermente inferiore (5-10% in meno) rispetto ai classificatori, con un aumento dei falsi negativi (rifiuti eccessivi), ma ha dimostrato una maggiore robustezza contro gli attacchi di manipolazione del ruolo (broken role attacks).

• Robustezza:

  • Tutti i modelli eccellono nel rifiutare ruoli casuali o esterni (accuratezza ~100%).
  • La difficoltà maggiore risiede nel distinguere ruoli gerarchici simili o nel rilevare mismatch sottili (accuratezza ~70-80% per i modelli migliori).
  • L'addestramento con esempi di jailbreak ha migliorato significativamente la resistenza agli attacchi di iniezione (da 70% a 87% di accuratezza nella difesa).

• Codifica del Ruolo:

  • La Codifica Numerica Gerarchica ha ottenuto i risultati peggiori (alto FPR e FNR), suggerendo che gli LLM faticano a generalizzare le relazioni numeriche astratte rispetto ai nomi semantici.
  • Le codifiche basate sui Nomi (Singolo o Gerarchico) hanno fornito una migliore generalizzazione e una minore vulnerabilità agli errori di parsing.

• Qualità della Risposta:

  • L'inclusione delle informazioni sul ruolo nel prompt non ha degradato la qualità delle risposte (correttezza, completezza, chiarezza) per gli utenti autorizzati, mantenendo punteggi elevati (circa 4/5).

5. Significato e Conclusioni

Questo lavoro dimostra che è possibile adattare gli LLM per funzionare in ambienti enterprise sicuri, integrando nativamente i principi del RBAC.

• Implicazioni Pratiche: Le organizzazioni possono ora utilizzare LLM per gestire documenti sensibili senza rischiare fughe di informazioni tra dipartimenti o livelli gerarchici, a patto di utilizzare modelli addestrati specificamente (in particolare i classificatori basati su LLM instruction-tuned).
• Limitazioni e Futuro: Rimangono sfide nella gestione di gerarchie complesse molto profonde e nella dinamica dell'aggiornamento dei ruoli senza riaddestramento completo. Il lavoro suggerisce che l'uso di tecniche di allineamento oltre la SFT (come DPO) e l'integrazione con knowledge retrieval esterni (RAG) sono direzioni promettenti per il futuro.

In sintesi, il paper fornisce una roadmap tecnica per trasformare gli LLM da strumenti generici a sistemi di assistenza aziendale sicuri e contestualizzati, ponendo le basi per una nuova generazione di assistenti AI compliant con le policy di sicurezza aziendali.