Knowledge Graph Representations for LLM-Based Policy Compliance Reasoning
Dit artikel presenteert een agentiek framework dat kennisgrafieken construeert uit AI-beleidsdocumenten om redenering en nalevingsverificatie op basis van LLM's te verbeteren, en toont aan dat KG-augmentatie de prestaties verbetert bij diverse redeneertaken en dat door LLM's ontdekte schema's formele ontologieën kunnen evenaren of overtreffen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je probeert een enorm, verwarrend raadsel op te lossen waarbij de stukjes regels zijn die in drie verschillende talen zijn geschreven (de EU AI-wet, NIST-richtlijnen en OWASP-standaarden). Je hebt een zeer slimme assistent (een Large Language Model, of LLM) die veel boeken heeft gelezen, maar deze specifieke regelboeken niet perfect uit het hoofd kent. Als je de assistent een vraag stelt, kan het antwoord raden op basis van wat het "denkt" te weten, maar het kan de details verkeerd hebben of dingen verzinnen (hallucineren).
Dit artikel introduceert een nieuwe manier om die slimme assistent te helpen. In plaats van de assistent alleen maar te vragen om te onthouden, hebben de onderzoekers een digitaal archief (een Kennisgrafiek) speciaal voor deze AI-regels gebouwd.
Hier is hoe het systeem werkt, opgesplitst in eenvoudige stappen:
1. Het "Scan en Sorteer"-team (Constructie)
Eerst neemt het systeem de lange, saaie beleidsdocumenten en breekt ze op in kleine, hanteerbare stukjes. Vervolgens gebruikt het een AI-agent om elk stukje te lezen en de belangrijke "feiten" (zoals specifieke risico's, regels of verplichtingen) en de verbanden daartussen eruit te halen.
Denk hierbij aan een bibliothecaris die een 500-pagina's tellend regelboek leest en een set indexkaarten maakt.
- De "Strenge" Bibliothecaris (AIRO-schema): Deze bibliothecaris volgt een zeer strikte, vooraf gemaakte lijst met categorieën (zoals "Risico", "Bedreiging", "Gevolg"). Ze dwingt elk feit in deze specifieke vakjes.
- De "Creatieve" Bibliothecaris (Open schema): Deze bibliothecaris gebruikt geen vooraf gemaakte lijst. In plaats daarvan kijkt ze naar de tekst en maakt ze haar eigen beschrijvende labels (zoals "Risico op datavergiftiging" of "Transparantieregel") die het beste bij de inhoud passen.
2. De "Detective" (Retrieval)
Wanneer je een vraag stelt (bijvoorbeeld: "Schendt deze code de EU AI-wet?"), vraagt het systeem de assistent niet zomaar om te raden. Het treedt op als een detective:
- Het directe pad: Voor eenvoudige vragen (zoals "Wat is een hoog-risico AI-systeem?"), vindt de detective snel de exacte indexkaart en leest hij de quote.
- Het agent-pad: Voor complexe vragen (zoals "Hoe werken de EU-regels en NIST-regels samen?"), loopt de detective door het archief, volgt hij de verbindingen tussen de kaarten om alle bewijs te verzamelen dat nodig is om een compleet antwoord te bouwen.
3. De "Rechter" (Evaluatie)
De onderzoekers hebben dit systeem getest met vijf verschillende AI-modellen (van zeer krachtige tot kleinere, goedkopere modellen). Ze stelden 42 verschillende soorten vragen, variërend van eenvoudige opzoekingen tot complexe redeneringen over meerdere regels.
Ze vergeleken drie scenario's:
- Geen hulp: De AI beantwoordt uit zijn eigen geheugen.
- Strikt archief: De AI gebruikt de kaarten van de "Strenge" bibliothecaris.
- Creatief archief: De AI gebruikt de kaarten van de "Creatieve" bibliothecaris.
Wat ze vonden (De resultaten)
- Het archief helpt altijd: Het toevoegen van de kennisgrafiek verbeterde de antwoorden voor elk getest AI-model. De AI werd nauwkeuriger en kon, cruciaal, exacte citaten uit de regels geven om zijn antwoord te bewijzen, in plaats van alleen maar te raden.
- De "Creatieve" bibliothecaris was verrassend goed: Je zou denken dat een strikte, vooraf gemaakte lijst (de formele ontologie) beter zou zijn. De "Creatieve" bibliothecaris, die ter plekke haar eigen labels bedacht, presteerde echter even goed, en soms zelfs beter, dan de strenge. Dit suggereert dat het AI toestaan dingen in zijn eigen woorden te beschrijven effectiever kan zijn dan het dwingen in stijve vakjes.
- Grootte maakt uit (voor de detective): Het systeem werkte uitstekend voor de "grote hersenen" AI-modellen. Voor de kleinere, minder krachtige modellen maakte het "agent-pad" (waar de detective door de grafiek loopt) de dingen echter juist slechter. Het was alsof je een complexe kaart geeft aan een kind dat niet kan lezen; ze raakten verdwaald. Voor kleinere modellen was het beter om ze gewoon het directe antwoord te geven zonder de complexe stap van rondlopen.
De grote les
Het artikel bewijst dat als je wilt dat AI complexe veiligheidsregels volgt, je niet alleen op zijn geheugen moet vertrouwen. Je moet hem een gestructureerde, doorzoekbare kaart van die regels geven. Interessant genoeg hoef je geen perfect vooraf geplande kaart te hebben; een kaart die de AI zelf op basis van de tekst bouwt, werkt net zo goed. Je moet echter wel de complexiteit van de taak om de kaart te lezen afstemmen op de intelligentie van de AI die het lezen doet.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.