Role-Aware Language Models for Secure and Contextualized Access Control in Organizations

1. Probleemstelling

Met de toenemende inzet van Large Language Models (LLMs) in enterprise-omgevingen (voor documentgeneratie, samenvattingen en interne assistentie), ontstaat een kritieke beveiligingsuitdaging: toegangscontrole op basis van rollen.

• Huidige beperkingen: Bestaande veiligheidsmethoden voor LLMs focussen voornamelijk op het voorkomen van schadelijke of giftige inhoud en veronderstellen vaak een uniforme toegang voor alle gebruikers. Ze negeren echter de noodzaak van rolspecifieke toegangsbeperkingen (bijv. een CEO mag andere informatie zien dan een junior medewerker).
• Het risico: Zonder specifieke aanpassingen kunnen LLMs ongeautoriseerde toegang tot gevoelige informatie verlenen, zelfs als de gebruiker geen formele rechten heeft, omdat het model de context van de gebruikersrol niet begrijpt.
• Doel: Onderzoeken of LLMs kunnen worden fine-ge-tuned om reacties te genereren die de toegangsrechten van verschillende organisatorische rollen respecteren, en dit te doen zonder in te leveren op de kwaliteit van de antwoorden.

2. Methodologie

De auteurs stellen een raamwerk voor dat drie modelleringstrategieën vergelijkt en twee complementaire datasets gebruikt.

A. Datasets

Er zijn twee soorten datasets geconstrueerd om rollen en hiërarchieën te simuleren:

1. Hergebruikte Dataset (Repurposed): Gebaseerd op het Databricks Dolly-15k corpus. Instructies worden geklausterd met behulp van een sentence transformer en toegewezen aan rollen binnen een hiërarchie (bijv. CEO, afdelingsmanagers, teamleden).
2. Synthetische Dataset: Genereerd met GPT-4.1 mini om realistische, rolgevoelige bedrijfsscenario's te creëren. Deze dataset bevat instructies die specifiek zijn ontworpen voor bepaalde rollen en toegangsniveaus.

• Organisatiestructuren: Beide datasets omvatten twee hiërarchische structuren: een "Basic" structuur (één CEO met 19 directe ondergeschikten) en een "Office" structuur (CEO met managers en teams, wat een diepere hiërarchie simuleert).
• Training/Testing: Voor elke instructie worden positieve (toegang verleend) en negatieve (toegang geweigerd) voorbeelden gegenereerd door de rol van de gebruiker te variëren binnen de hiërarchie.

B. Rol-encoding Strategieën

Om te testen hoe rollen het beste in de prompt kunnen worden verwerkt, worden drie methoden vergeleken:

1. Hiërarchisch Numeriek: Gebruikt punt-gescheiden indices (bijv. "1" voor CEO, "1.1" voor manager).
2. Enkel Naam: Gebruikt alleen de rollentitel (bijv. "CEO").
3. Hiërarchische Naam: Gebruikt het volledige pad (bijv. "CEO - IT Manager - Support").

C. Drie Modelleringstrategieën

De auteurs evalueren drie benaderingen voor toegangscontrole:

1. Role-aware Cls (Classificatie): Een BERT-gebaseerde classifier die bepaalt of toegang moet worden verleend (True/False). Er zijn zes BERT-varianten getraind.
2. Role-aware LLM-Cls (LLM-Classifier): Open-source LLMs (zoals Llama 3, Qwen, Gemma) die worden fine-ge-tuned om een binaire beslissing te nemen (Toegang Verlenen/Weigeren).
3. Role-aware LLM-Gen (Generatie): Dezelfde LLMs worden getraind om het daadwerkelijke antwoord te genereren. Als de gebruiker geen toegang heeft, genereert het model een standaard afwijzingsbericht.

3. Belangrijkste Resultaten

De experimenten omvatten 6 BERT-modellen en 6 verschillende LLMs, getraind en getest op beide datasets.

• Prestaties van Classificatie vs. Generatie:

  • LLM-Cls (LLM-Classifier) presteerde consistent het beste. Op de synthetische dataset bereikte Llama 3.1 8B Instruct een nauwkeurigheid van 89,3%, en op de Dolly-dataset ModernBERT Large 90,0%.
  • LLM-Gen (Generatie) had iets lagere nauwkeurigheid (ongeveer 5-10% lager) en een hogere False Negative Rate (geldige toegang werd soms ten onrechte geweigerd), maar bood wel direct bruikbare antwoorden.
  • Traditionele Classifiers (Cls): BERT-modellen presteerden goed, maar vertoonden grote variabiliteit. RoBERTa Large had bijvoorbeeld een zeer hoge False Positive Rate (58% op Dolly), wat betekent dat het te vaak ongeautoriseerde toegang gaf.

• Robuustheid:

  • Jailbreaks: Modellen getraind met specifieke "jailbreak"-voorbeelden (waarbij gebruikers proberen hun rol te manipuleren) waren aanzienlijk beter bestand tegen prompt-injectie (87% nauwkeurigheid vs. 70% bij de baseline).
  • Blacklisted Topics: Het model kon zeer effectief ( >99% nauwkeurigheid) antwoorden weigeren op onderwerpen die tegen het beleid zijn (zoals geweld of politiek), ongeacht de rol van de gebruiker.
  • Rol-mismatch: Modellen waren zeer goed in het detecteren van duidelijk ongeldige rollen (bijna 100% nauwkeurigheid), maar hadden meer moeite met subtiele verschillen binnen de hiërarchie (ongeveer 70-80% nauwkeurigheid).

• Invloed van Encoding:

  • Hiërarchische Nummers bleken het minst effectief: ze hadden de hoogste False Positive Rate (veel ongeautoriseerde toegang) en de hoogste False Negative Rate (te veel geweigerde toegang). LLMs lijken beter te begrijpen op basis van semantische namen ("CEO") dan op abstracte indices ("1.1").
  • Naam-gebaseerde encoding leverde betere generalisatie op, hoewel ze iets gevoeliger waren voor specifieke manipulaties van de rolnaam.

• Kwaliteit van Antwoorden:

  • Het toevoegen van rolinformatie aan de prompt had geen negatief effect op de kwaliteit van de gegenereerde antwoorden (correctheid, volledigheid en helderheid bleven hoog, gemiddeld ~4/5).

4. Bijdragen

1. Eerste systematische evaluatie: Een uitgebreide studie naar het fine-tunen van LLMs voor rolgebaseerde toegangscontrole (RBAC) in organisaties, inclusief vergelijking van classificatie- en generatiebenaderingen.
2. Nieuwe Datasets: Publicatie van twee complementaire datasets (hergebruikt en synthetisch) die specifiek zijn ontworpen om rolgevoelige scenario's en hiërarchische structuren te testen.
3. Robuustheidsanalyse: Een diepgaande analyse van hoe modellen reageren op jailbreaks, prompt-injectie en rolmanipulatie, wat cruciaal is voor veilige enterprise-implementaties.
4. Praktische inzichten: Het aantonen dat instructie-getrainde LLMs (LLM-Cls) de meest robuuste oplossing bieden voor toegangscontrole zonder in te leveren op de kwaliteit van de output.

5. Betekenis en Toekomstperspectief

Dit onderzoek is van groot belang voor de veilige adoptie van LLMs in bedrijven. Het toont aan dat het mogelijk is om generatieve AI-systemen te "leren" om de organisatiestructuur te respecteren, waardoor het risico op datalekken tussen afdelingen of niveaus wordt geminimaliseerd.

Beperkingen en toekomstig werk:

• De huidige aanpak vereist hertraining bij wijzigingen in de rolhiërarchie (geen dynamische updates na training).
• Er is nog geen integratie met externe kennisbronnen (zoals RAG - Retrieval-Augmented Generation) getest.
• Toekomstig onderzoek moet zich richten op het verbeteren van de discriminatie tussen zeer vergelijkbare rollen en het ontwikkelen van methoden voor dynamische toegangsupdates zonder volledige hertraining.

Kortom, de paper biedt een solide fundament voor het bouwen van veilige, contextbewuste LLM-systemen die de principes van "Least Privilege" in moderne organisaties kunnen toepassen.