CTRAG: An In-Context Retrieval-based Framework for Automated Compliance Checking using LLMs
Dieses Paper stellt CTRAG vor, ein neuartiges Framework für Retrieval-Augmented Generation, das adaptives Chunking, dynamisches Retrieval und In-Context-Learning nutzt, um die Genauigkeit der Überprüfung regulatorischer Compliance durch den Abgleich von Kontrollfragen mit Unternehmensdokumentationen zu automatisieren und signifikant zu verbessern, was durch einen erfolgreichen realen Einsatz bei einer Big-Four-Professionalservices-Firma validiert wurde.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Verbrechen aufzuklären, aber statt eines Tatorts ist Ihr „Verbrechen“, dass ein Unternehmen gegen Regeln verstößt. In der Geschäftswelt gibt es tausende von Regeln – wie ein riesiges, unsichtbares Regelwerk dafür, wie man mit Geld umgeht, Geheimnisse schützt oder Daten sicher verwahrt. Zu prüfen, ob ein Unternehmen diese Regeln befolgt, nennt man „Compliance“. Traditionell fällt diese Aufgabe menschlichen Auditoren zu, die Berge von unordentlichem Papier durchwühlen müssen, um winzige Hinweise zu finden, die beweisen, dass das Unternehmen nach den Regeln spielt. Es ist langsam, langweilig und Menschen werden müde, was bedeutet, dass sie manchmal Hinweise übersehen oder verwirrt werden.
Hier kommt die Welt der Künstlichen Intelligenz ins Spiel, speziell eine Art intelligentes Computergehirn, das als Large Language Model (LLM) bezeichnet wird. Stellen Sie sich ein LLM wie einen superschnellen Leser vor, der fast alles auf der Welt gelesen hat und wie ein Mensch sprechen kann. Es gibt jedoch einen Haken: Diese intelligenten Gehirne erfinden manchmal Dinge (genannt „Halluzinationen“) oder vergessen spezifische Fakten, weil sie sich darauf verlassen, was sie auswendig gelernt haben, anstatt auf das, was direkt vor ihnen liegt. Um dies zu beheben, nutzen Wissenschaftler einen Trick namens „Retrieval-Augmented Generation“ (RAG). Stellen Sie sich vor, Sie geben dem Detektiv eine Taschenlampe und einen Stapel spezifischer Akten, die er durchsuchen kann, bevor er seinen Bericht schreibt. Die KI sucht zuerst die Fakten in den Dokumenten nach und nutzt dann ihr Gehirn, um die Antwort zu formulieren. Dieses Paper untersucht, wie man diese Suchfunktion der Taschenlampe und den abschließenden Bericht so perfekt wie möglich gestaltet, um zu prüfen, ob Unternehmen die Regeln einhalten.
Das neue Werkzeugset des Detektivs: CTRAG
Die Forscher hinter diesem Paper, die mit einer großen professionellen Dienstleistungsfirma zusammenarbeiten, haben ein neues System namens CTRAG entwickelt. Betrachten Sie CTRAG als einen hochtechnologischen Compliance-Detektiv, der darauf ausgelegt ist, die langweilige, zeitintensive Aufgabe zu automatisieren, zu prüfen, ob ein Unternehmen die Regeln befolgt. Anstatt dass ein Mensch Stunden damit verbringt, PDFs durchzublättern, nimmt CTRAG die Regeln (die als Fragen formuliert sind) und durchsucht die Dokumente des Unternehmens, um die Antworten zu finden.
Das Hauptziel des Papers war es herauszufinden, was der beste Weg ist, um diesen KI-Detektiv das Suchen beizubringen. Sie testeten verschiedene Strategien, um zu sehen, welche der KI half, die richtigen Hinweise zu finden, ohne durch irrelevante Störgeräusche abgelenkt zu werden.
Das „Chunking“-Rätsel: Wie man den Kuchen schneidet
Eine der größten Herausforderungen war die Frage, wie man die Unternehmensdokumente zerteilt. Stellen Sie sich vor, Sie haben einen 500-seitigen Roman und müssen einen bestimmten Satz finden. Wenn Sie das Buch in winzige 200-Zeichen-Stücke schneiden (wie das Schneiden einer Seite in Briefmarkengröße), verlieren Sie möglicherweise den Kontext der Geschichte. Wenn Sie es in riesige 3000-Zeichen-Stücke schneiden (wie das Halbieren des gesamten Buches), erhalten Sie vielleicht so viel zusätzlichen Text, dass der spezifische Hinweis in einem Meer aus Worten untergeht.
Das Team testete verschiedene „Chunk-Größen“ (wie groß die Textstücke sind):
- Winzige Stücke (200 Zeichen): Diese waren zu klein und fragmentiert. Die KI wurde verwirrt, weil sie das Gesamtbild nicht sehen konnte.
- Riesige Stücke (3000 Zeichen): Diese waren zu unübersichtlich. Die KI wurde von zu vielen Informationen überwältigt, als würde man versuchen, eine Nadel im Heuhaufen zu finden, wobei der Heuhaufen brennt.
- Der ideale Punkt (Sweet Spot): Sie fanden heraus, dass kleine Chunks (um die 800 Zeichen) am besten funktionierten. Es war, als würde man das Buch in handliche Absätze schneiden. Diese Größe war genau richtig, um den Kontext klar zu halten, ohne die KI in Rauschen zu ertränken.
Sie probierten auch eine ausgefeilte Methode namens „Meta-Chunking“ aus, bei der versucht wird, den Text basierend auf logischen Erzählbrüchen zu schneiden, anstatt nur an einer bestimmten Anzahl von Zeichen zu trennen. Obwohl dies klug klang, erwies es sich für diese spezifische Aufgabe als zu langsam und rechenintensiv, sodass sie bei den einfacheren, festen Größen schnitten.
Die Einstellung der „Taschenlampe“: Wie viele Dateien zu prüfen sind?
Wenn die KI eine Frage stellt, muss sie entscheiden, wie viele Dokumentenausschnitte sie heranzieht, um die Frage zu beantworten. Dies wird als K-Wert (oder Top-K) bezeichnet.
- Wenn die KI nur 1 Ausschnitt betrachtet, übersieht sie die Antwort vielleicht, wenn sie im zweiten Dokument versteckt ist.
- Wenn sie 5 Ausschnitte betrachtet, könnte sie durch zusätzliche, irrelevante Details abgelenkt werden.
- Die Forscher fanden heraus, dass das Betrachten von 4 Ausschnitten (K=4) die perfekte Balance war. Es gab der KI genug Beweise, um eine Entscheidung zu treffen, ohne von Ablenkungen beeinflusst zu werden.
Der KI beibringen, wie ein Mensch zu denken
Der größte Durchbruch kam durch eine Technik namens In-Context Learning (ICL). Stellen Sie sich vor, Sie bringen einem neuen Praktikanten bei, wie man einen Fall löst. Sie sagen nicht nur „Finde die Regel“; Sie zeigen ihm Beispiele: „Hier ist ein Fall, in dem ein Unternehmen einen Cloud-Anbieter genutzt hat, und hier ist der Grund, warum das als ‚Bestanden‘ zählt, obwohl das Unternehmen die Arbeit nicht selbst durchgeführt hat.“
Die KI hatte Schwierigkeiten mit „indirekter Compliance“ – Situationen, in denen ein Unternehmen eine Regel befolgt, weil dessen Anbieter (wie ein Cloud-Provider) sie befolgt. Oh ohne Hilfe hätte die KI „Nicht bestanden“ gesagt, weil das Unternehmen die Arbeit nicht direkt ausgeführt hat. Aber indem man der KI einige sorgfältig ausgewählte Beispiele fütterte (wie ein Referenzblatt vergangener Fälle), lernte die KI, das menschliche Urteilsvermögen nachzuahmen. Sie erkannte: „Ah, wenn der Anbieter konform ist, zählt das auch für uns!“
Die Ergebnisse: Schneller, schlauer und genauer
Als sie CTRAG in einem realen Szenario mit einer Big-Four-Dienstleistungsfirma testeten, waren die Ergebnisse beeindruckend:
- Genauigkeit: Das System erreichte einen F1-Score von 78 % und einen Recall von 85 %. In Detektivsprache bedeutet dies, dass es 85 % der tatsächlichen Regelverstöße fand und nicht viele Fälle übersah.
- Effizienz: Das System reduzierte den manuellen Aufwand für menschliche Prüfer um etwa 60 %.
- Die „Keine Beweise“-Lösung: Ein kniffliges Problem war, wenn die KI keine Informationen in den Dokumenten finden konnte. Anstatt zu raten, wurde das System so programmiert, dass es „Keine Beweise“ als „Nicht konform“ behandelt. Die Logik ist einfach: Wenn man in seinen Dokumenten nicht beweisen kann, dass man die Regel befolgt hat, hat man sie wahrscheinlich nicht eingehalten. Durch die Umklassifizierung dieser „Keine Beweise“-Fälle als Fehler fing das System viele potenzielle Regelverstöße ab, die es sonst übersehen hätte. Dieser entscheidende Schritt ermöglichte es dem System, die hohe Recall-Rate von 85 % zu erreichen, ohne die KI neu trainieren zu müssen.
Was sie ausschlossen
Das Paper war sehr deutlich darüber, was nicht funktionierte:
- Winzige Chunks (200 Zeichen) waren eine schlechte Idee; sie zerstörten den Kontext zu sehr.
- Riesige Chunks (3000 Zeichen) und Meta-Chunking waren zu verrauscht oder zu langsam, um für diese spezifische Aufgabe praktikabel zu sein.
- Direktes Prompting (einfach die KI fragen, ohne Beispiele zu geben) reichte nicht aus für schwierige Fälle, die Drittanbieter betreffen.
Das Fazit
Die Autoren schlagen vor, dass CTRAG ein mächtiges Werkzeug zur Optimierung von Compliance-Prüfungen ist, warnen jedoch davor, es als „gelöstes Problem“ zu bezeichnen. Sie merken an, dass ihre Tests auf 240 Regeln und 45 Dokumenten einer einzigen Organisation basierten. Während die Ergebnisse vielversprechend sind und darauf hindeuten, dass dieser Ansatz auf andere Unternehmen und Aufgaben (wie die Prüfung von Verträgen) skalierbar ist, sind weitere Tests über verschiedene Branchen hinweg erforderlich, um sicherzustellen, dass er überall funktioniert.
Kurz gesagt zeigt CTRAG, dass wir, indem wir der KI die richtig großen „Chunks“ an Informationen, die richtige Anzahl an „Taschenlampen-Strahlen“ und ein paar „Referenzblatt“-Beispiele geben, ein System bauen können, das Menschen hilft, die Regeln schneller und mit weniger Fehlern zu prüfen. Es ist keine Magie, aber es ist eine sehr intelligente Art, Technologie einzusetzen, um die Unternehmenswelt ehrlich zu halten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.