Knowledge Graph Representations for LLM-Based Policy Compliance Reasoning
Dieser Beitrag stellt ein agentic Framework vor, das aus KI-Richtlinien-Dokumenten Wissensgraphen konstruiert, um die auf LLMs basierende Schlussfolgerung und die Compliance-Verifikation zu verbessern, und zeigt, dass eine KG-Erweiterung die Leistung bei verschiedenen Schlussfolgerungsaufgaben steigert und dass von LLMs entdeckte Schemata formale Ontologien erreichen oder übertreffen können.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, ein riesiges, verwirrendes Puzzle zu lösen, dessen Teile Regeln sind, die in drei verschiedenen Sprachen verfasst sind (der EU-KI-Gesetz, NIST-Richtlinien und OWASP-Standards). Sie haben einen sehr klugen Assistenten (ein Large Language Model, oder LLM), der viele Bücher gelesen hat, diese spezifischen Regelwerke jedoch nicht perfekt auswendig gelernt hat. Wenn Sie dem Assistenten eine Frage stellen, könnte er die Antwort basierend auf dem raten, was er „zu wissen" glaubt, aber dabei Details falsch wiedergeben oder sich Dinge ausdenken (halluzinieren).
Dieser Artikel stellt eine neue Methode vor, um diesem klugen Assistenten zu helfen. Anstatt den Assistenten einfach nur zu bitten, sich zu erinnern, haben die Forscher einen digitalen Aktenschrank (ein Wissensgraph) speziell für diese KI-Regeln erstellt.
So funktioniert das System, aufgeschlüsselt in einfache Schritte:
1. Das „Scannen und Sortieren"-Team (Konstruktion)
Zunächst zerlegt das System die langen, langweiligen Richtlinien-Dokumente in kleine, handhabbare Abschnitte. Anschließend nutzt es einen KI-Agenten, um jeden Abschnitt zu lesen und wichtige „Fakten" (wie spezifische Risiken, Regeln oder Verpflichtungen) sowie die Verbindungen zwischen ihnen herauszufiltern.
Stellen Sie sich dies wie einen Bibliothekar vor, der ein 500-seitiges Regelwerk liest und einen Satz von Indexkarten erstellt.
- Der „Strenge" Bibliothekar (AIRO-Schema): Dieser Bibliothekar folgt einer sehr strengen, vorgefertigten Liste von Kategorien (wie „Risiko", „Bedrohung", „Konsequenz"). Er zwingt jeden Fakt in diese spezifischen Fächer.
- Der „Kreative" Bibliothekar (Offenes Schema): Dieser Bibliothekar verwendet keine vorgefertigte Liste. Stattdessen betrachtet er den Text und erstellt eigene beschreibende Etiketten (wie „Datenvergiftungsrisiko" oder „Transparenzregel"), die am besten zum Inhalt passen.
2. Der „Detektiv" (Abruf)
Wenn Sie eine Frage stellen (z. B. „Verletzt dieser Code den EU-KI-Gesetz?"), fragt das System den Assistenten nicht einfach, zu raten. Es agiert wie ein Detektiv:
- Der direkte Pfad: Bei einfachen Fragen (wie „Was ist ein Hochrisiko-KI-System?") findet der Detektiv schnell die genaue Indexkarte und liest das Zitat vor.
- Der Agent-Pfad: Bei komplexen Fragen (wie „Wie funktionieren die EU-Regeln und NIST-Regeln zusammen?") geht der Detektiv durch den Aktenschrank, folgt den Verbindungen zwischen den Karten und sammelt alle Beweise, die für eine vollständige Antwort benötigt werden.
3. Der „Richter" (Evaluation)
Die Forscher testeten dieses System mit fünf verschiedenen KI-Modellen (von sehr leistungsstarken bis hin zu kleineren, günstigeren Modellen). Sie stellten 42 verschiedene Arten von Fragen, von einfachen Nachschlagen bis hin zu komplexen Schlussfolgerungen über mehrere Regeln hinweg.
Sie verglichen drei Szenarien:
- Keine Hilfe: Die KI antwortet aus ihrem eigenen Gedächtnis.
- Strenge Aktenschränke: Die KI verwendet die Karten des „strengen" Bibliothekars.
- Kreative Aktenschränke: Die KI verwendet die Karten des „kreativen" Bibliothekars.
Was sie herausfanden (Die Ergebnisse)
- Der Aktenschrank hilft immer: Das Hinzufügen des Wissensgraphen verbesserte die Antworten für jedes getestete KI-Modell. Die KI wurde genauer und konnte, was entscheidend ist, exakte Zitate aus den Regeln liefern, um ihre Antwort zu belegen, anstatt nur zu raten.
- Der „kreative" Bibliothekar war überraschend gut: Man könnte denken, eine strenge, vorgefertigte Liste (die formale Ontologie) wäre besser. Doch der „kreative" Bibliothekar, der sich seine eigenen Etiketten auf die Sprünge machte, schnitt genauso gut ab, manchmal sogar besser als der strenge. Dies deutet darauf hin, dass es effektiver sein kann, der KI zu erlauben, Dinge in ihren eigenen Worten zu beschreiben, als sie in starre Fächer zu zwingen.
- Die Größe spielt eine Rolle (für den Detektiv): Das System funktionierte hervorragend für die KI-Modelle mit dem „großen Gehirn". Für die kleineren, weniger leistungsfähigen Modelle jedoch verschlechterte der „Agent-Pfad" (bei dem der Detektiv durch den Graphen wandert) die Ergebnisse tatsächlich. Es war, als würde man einem Kind, das nicht lesen kann, eine komplexe Karte geben; sie verirrten sich. Für kleinere Modelle war es besser, ihnen einfach die direkte Antwort zu geben, ohne den komplexen Schritt des Umherwanderns.
Die große Erkenntnis
Der Artikel beweist, dass man, wenn man möchte, dass eine KI komplexe Sicherheitsregeln einhält, sich nicht einfach auf ihr Gedächtnis verlassen sollte. Man muss ihr eine strukturierte, durchsuchbare Karte dieser Regeln geben. Interessanterweise braucht man keine perfekt vorgeplante Karte; eine Karte, die die KI selbst basierend auf dem Text erstellt, funktioniert genauso gut. Allerdings muss man die Komplexität der Kartenlesaufgabe an die Intelligenz der KI anpassen, die das Lesen vornimmt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.