From Regulation to Implementation: A Critical Evaluation of LLM-Assisted Regulatory Compliance in Industry

In der modernen industriellen Welt stehen Unternehmen vor einem wachsenden Berg an Regeln, die darauf abzielen, den Planeten und die Privatsphäre der Menschen zu schützen. Um nachzuweisen, dass sie diese Regeln befolgen, müssen Unternehmen spezifische Dokumente erstellen, die oft als Compliance-Artefakte bezeichnet werden. Man kann sich diese als detaillierte Berichte vorstellen, die als Reisepass für ein Produkt oder als Sicherheitsaudit für ein Computersystem fungieren. Eine bedeutende europäische Regelung erfordert einen digitalen Pass für jede verkaufte Batterie, der genau auflistet, welche Materialien darin enthalten sind und wie sie zu recyceln sind. Eine andere Regel verlangt eine Risikobewertung für jedes System, das personenbezogene Daten verarbeitet, um sicherzustellen, dass die privaten Informationen der Menschen geschützt sind. Die Erstellung dieser Dokumente von Hand ist schwierig, da die benötigten Daten über viele verschiedene Computersysteme verstreut sind und in ungeordneten, inkonsistenten Formaten vorliegen. Während Unternehmen mit diesem Papierkram kämpfen, haben sie sich an künstliche Intelligenz gewandt, insbesondere an große Sprachmodelle, damit diese die Berichte für sie schreiben. Diese Computerprogramme sind exzellent darin, Texte zu lesen und neue Inhalte zu generieren, aber es bleibt unklar, ob man ihnen vertrauen kann, strikte rechtliche Anweisungen zu befolgen, ohne Dinge zu erfinden oder kritische Details zu übersehen.

Ein Forschungsteam setzte sich zum Ziel, genau zu testen, wie gut diese Werkzeuge der künstlichen Intelligenz abschneiden, wenn sie gebeten werden, diese obligatorischen Berichte zu schreiben. Die Forscher konzentrierten sich auf zwei sehr unterschiedliche Arten von Dokumenten, um zu sehen, ob die Art der Anweisungen das Ergebnis verändert. Das erste war ein Digitaler Batteriepass, ein Dokument mit einer sehr klaren, starren Struktur, die von den Regulierungsbehörden definiert wurde. Das zweite war eine Datenschutz-Folgenabschätzung, ein Dokument, das für Datenschutzgesetze erforderlich ist und dessen Anweisungen viel offener und vager sind. Die Forscher fütterten fünf verschiedene Modelle der künstlichen Intelligenz mit einer Reihe von Aufgaben. In einigen Fällen gaben sie den Modellen eine einfache, kurze Anweisung, den Bericht zu schreiben. In anderen Fällen stellten sie eine lange, detaillierte Anleitung bereit, die genau erklärte, welche Informationen benötigt wurden und wie diese zu formatieren waren. Sie führten diese Tests mehrfach durch, um zu sehen, ob die Modelle jedes Mal das gleiche Ergebnis lieferten, und prüften dann, ob die generierten Berichte alle rechtlich erforderlichen Informationen enthielten.

Die Ergebnisse zeigten eine scharfe Kluft in der Art und Weise, wie die Modelle die beiden Dokumententypen handhabten. Wenn sie gebeten wurden, den Digitalen Batteriepass zu erstellen, waren die Systeme der künstlichen Intelligenz bemerkenswert konsistent. Da die Regeln für dieses Dokument so spezifisch waren, produzierten die Modelle nahezu identische Ergebnisse, unabhängig davon, ob die Anweisungen kurz oder lang waren. Sie extrahierten erfolgreich die notwendigen Daten über die Batteriematerialien und formatierten diese fast jedes Mal korrekt. Doch die Geschichte änderte sich völlig, als die Modelle sich der Datenschutz-Folgenabschätzung widmeten. Hier führte der Mangel an einer starren Struktur dazu, dass die Modelle Schwierigkeiten hatten, konsistent zu bleiben. Wenn ihnen lediglich der grundlegende Regulierungstext ohne zusätzliche Anleitung gegeben wurde, erstellten die Modelle oft Berichte, die wichtige Abschnitte vermissen ließen oder sich von Versuch zu Versuch stark unterschieden. Die Forscher fanden heraus, dass es für diese vagen Aufgaben entscheidend war, dem Modell mehr Kontext und spezifische Beispiele zu geben, um ein zuverlässiges Ergebnis zu erhalten. Ohne diese zusätzliche Hilfe neigten die Modelle dazu, wichtige Details wegzulassen, wie etwa den Umgang mit Datenspeicherlimits oder die Bewertung von Risiken für Einzelpersonen.

Einer der auffälligsten Befunde war, wie die Modelle auf den Detailgrad der Anweisungen reagierten. Für den strengen Batteriepass führte das Hinzufügen von mehr Details zur Eingabe (Prompt) nicht zu einer signifikanten Änderung der Qualität des Ergebnisses, konnte aber zu mehr Halluzinationen im Output führen. Für die Datenschutzbewertung war jedoch das Gegenteil der Fall. Die Modelle benötigten diesen zusätzlichen Kontext, um gut zu funktionieren. Wenn die Anweisungen zu vage waren, ließen die Modelle oft erforderliche Abschnitte aus, was darauf hindeutete, dass die aktuelle Rechtssprache zu breit gefasst ist, als dass diese Werkzeuge sie allein zuverlässig interpretieren könnten. Die Studie hob auch hervor, dass verschiedene Modelle der künstlichen Intelligenz unterschiedlich reagierten; einige waren über alle Aufgaben hinweg konsistent zuverlässig, während andere dazu neigten, wichtige Informationen zu löschen, wenn die Anweisungen nicht kristallklar waren.

Letztlich legt die Forschung nahe, dass der Erfolg beim Einsatz von künstlicher Intelligenz für die rechtliche Compliance stark von der Art des zu erstellenden Dokuments abhängt. Für hochstrukturierte Aufgaben wie den Batteriepass ist die Technologie mit minimalem Aufwand einsatzbereit. Aber für komplexe, offene Aufgaben wie Datenschutzbewertungen reicht es nicht aus, den Computer einfach nur anzuweisen, das Gesetz zu befolgen. Die Forscher kamen zu dem Schluss, dass Unternehmen, um diese Werkzeuge für die vagen Teile der Regulierung effektiv einzusetzen, Zeit in die Erstellung detaillierter, spezifischer Prompts investieren müssen, die die künstliche Intelligenz durch die notwendigen Schritte leiten. Bis die Regulierungen selbst spezifischer darüber werden, was diese Dokumente enthalten müssen, oder bis sich die Art und Weise, wie wir diese Maschinen instruieren, verbessert, wird der Einsatz von künstlicher Intelligenz für die Compliance eine Mischung aus hoher Zuverlässigkeit für einige Aufgaben und erheblichem Risiko für andere bleiben.