From Regulation to Implementation: A Critical Evaluation of LLM-Assisted Regulatory Compliance in Industry

In de moderne industriële wereld worden bedrijven geconfronteerd met een groeiende berg regels die ontworpen zijn om de planeet en de privacy van mensen te beschermen. Om te bewijzen dat zij zich aan deze regels houden, moeten bedrijven specifieke documenten creëren, die vaak compliance-artefacten worden genoemd. Beschouw deze als gedetailleerde rapporten die fungeren als een paspoort voor een product of een veiligheidsaudit voor een computersysteem. Eén belangrijke Europese regel vereist een digitaal paspoort voor elke verkochte batterij, waarin precies staat vermeld welke materialen erin zitten en hoe ze gerecycled kunnen worden. Een andere regel vereist een risicobeoordeling voor elk systeem dat persoonlijke gegevens verwerkt, om ervoor te zorgen dat de privé-informatie van mensen veilig is. Het handmatig creëren van deze documenten is moeilijk omdat de benodigde gegevens verspreid zijn over veel verschillende computersystemen en afkomstig zijn in rommelige, inconsistente formaten. Terwijl bedrijven worstelen met deze papierwinkel, hebben ze zich tot kunstmatige intelligentie gewend, specifiek grote taalmodellen, om deze rapporten voor hen te schrijven. Deze computerprogramma's zijn uitstekend in het lezen van tekst en het genereren van nieuwe inhoud, maar het blijft onduidelijk of ze erop kunnen vertrouwen dat ze strikte juridische instructies opvolgen zonder dingen te verzinnen of cruciale details te missen.

Een team van onderzoekers zette zich in om precies te testen hoe goed deze kunstmatige intelligentie-instrumenten presteren wanneer ze de opdracht krijgen om deze verplichte rapporten te schrijven. Ze richtten zich op twee zeer verschillende soorten documenten om te zien of de aard van de instructies de uitkomst veranderde. De eerste was een Digitaal Batterijpaspoort, een document met een zeer duidelijke, rigide structuur die door toezichthouders is gedefinieerd. Het tweede was een Data Protection Impact Assessment, een document dat vereist is voor privacywetgeving en dat veel meer open en vaag is in zijn instructies. De onderzoekers voerden vijf verschillende kunstmatige intelligentie-modellen een reeks taken uit. In sommige gevallen gaven ze de modellen een eenvoudige, korte instructie om het rapport te schrijven. In andere gevallen voorzagen ze de modellen van een lange, gedetailleerde gids die precies uitlegde welke informatie nodig was en hoe deze geformatteerd moest worden. Ze voerden deze tests meerdere keren uit om te zien of de modellen elke keer hetzelfde resultaat zouden produceren, en controleerden vervolgens of de gegenereerde rapporten alle juridisch vereiste informatie bevatten.

De resultaten toonden een scherpe tweedeling tussen hoe de modellen de twee soorten documenten afhandelden. Wanneer gevraagd werd om het Digitale Batterijpaspoort te maken, waren de kunstmatige intelligentiesystemen opmerkelijk consistent. Omdat de regels voor dit document zo specifelijk waren, produceerden de modellen bijna identieke outputs, ongeacht of de instructies kort of lang waren. Ze slaagden er bijna elke keer in om de noodzakelijke gegevens over batterijmaterialen te extraheren en deze correct te formatteren. Echter, het verhaal veranderde volledig toen de modellen een Data Protection Impact Assessment aanpakten. Hier betekende het gebrek aan een rigide structuur dat de modellen moeite hadden om consistent te blijven. Wanneer ze alleen de basisreglementtekst zonder extra begeleiding kregen, produceerden de modellen vaak rapporten die belangrijke secties misten of wild uiteenliepen van de ene poging naar de andere. De onderzoekers ontdekten dat voor deze vage taken het verstrekken van meer context en specifieke voorbeelden essentieel was om een betrouwbaar resultaat te krijgen. Zonder die extra hulp hadden de modellen de neiging om belangrijke details weg te laten, zoals hoe om te gaan met opslaglimieten van gegevens of hoe risico's voor individuen te beoordelen.

Een van de meest opvallende bevindingen was hoe de modellen reageerden op het niveau van detail in de instructies. Voor het strikte batterijpaspoort veranderde het toevoegen van meer details aan de prompt de kwaliteit van de output niet significant, maar het kan wel leiden tot meer hallucinaties in de output. Voor de privacybeoordeling was het tegenovergestelde echter waar. De modellen hadden die extra context nodig om goed te presteren. Wanneer de instructies te vaag waren, ontbraken de modellen vaak de vereiste secties, wat suggereert dat de huidige juridische taal te breed is voor deze instrumenten om zelfstandig betrouwbaar te interpreteren. De studie benadrukte ook dat verschillende kunstmatige intelligentie-modellen anders gedrag vertoonden; sommige waren consistent betrouwbaar over alle taken, terwijl andere de neiging hadden om belangrijke informatie weg te laten wanneer de instructies niet kristalhelder waren.

Uiteindelijk suggereert het onderzoek dat het succes van het gebruik van kunstmatige intelligentie voor juridische naleving sterk afhangt van het type document dat wordt gemaakt. Voor zeer gestructureerde taken zoals het batterijpaspoort is de technologie klaar voor gebruik met minimale opstarttijd. Maar voor complexe, open einden taken zoals privacybeoordelingen is het simpelweg vragen aan de computer om de wet te volgen niet genoeg. De onderzoekers concludeerden dat om deze instrumenten effectief te laten werken voor de vage delen van regelgeving, bedrijven tijd moeten investeren in het opstellen van gedetailleerde, specifieke prompts die de kunstmatige intelligentie door de noodzakelijke stappen leiden. Totdat regels zelf specifieker worden over wat deze documenten moeten bevatten, of totdat de manier waarop we deze machines instrueren verbetert, zal het gebruik van kunstmatige intelligentie voor compliance een mix blijven van hoge betrouwbaarheid voor sommige taken en aanzienlijk risico voor andere.