Neuro-Symbolic Agents for Regulated Process Automation: Challenges and Research Agenda
Dieses Paper plädiert für die Integration symbolischer Strukturen wie Regularien und Prozessmodelle als Kernarchitekturkomponenten in LLM-basierten Agenten für regulierte Branchen und schlägt ein „Compliance-by-Construction“-Paradigma vor, um Kontrollflussverletzungen zu verhindern, während es gleichzeitig zentrale neurosymbolische Forschungsherausforderungen identifiziert, um diesen Ansatz zu ermöglichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die Kernidee: Einen „Compliance-by-Construction“-Roboter bauen
Stellen Sie sich vor, Sie stellen einen sehr intelligenten, kreativen, aber etwas chaotischen Praktikanten (einen KI-Agenten) ein, um eine hochsensible Fabrik zu leiten. In dieser Fabrik wird Medizin hergestellt, daher könnte es Menschen krank machen und das Unternehmen verklagen, wenn der Praktikant einen Fehler macht.
Derzeit versuchen die meisten Unternehmen, diesen Praktikanten zu kontrollieren, indem sie Zäune und Sicherheitskräfte (genannt „Guardrails“ oder Leitplanken) um ihn herum aufstellen. Wenn der Praktikant versucht, etwas Falsches zu tun, stoppt der Wachmann ihn erst, nachdem er bereits damit begonnen hat.
Die Autoren argumentieren, dass dies nicht gut genug ist. Sie sagen, dass man in hochregulierten Branchen (wie der Herstellung von Medikamenten) nicht einfach darauf warten sollte, dass ein Wachmann einen Fehler entdeckt. Stattdessen sollte man die Fabrik selbst so bauen, dass es für den Praktikanten physisch unmöglich ist, bestimmte Arten von strukturellen Fehlern überhaupt erst zu begehen.
Sie nennen dies „Compliance-by-Construction“ (Regeltreue durch Konstruktion).
Das Problem: Warum „nur KI“ hier nicht funktioniert
Die Arbeit erklärt, dass die Herstellung von Medikamenten zwei sehr unterschiedliche Arten von Arbeit umfasst:
- Kreatives Denken: Einen unordentlichen Brief eines Lieferanten lesen, herausfinden, warum eine Maschine kaputtgegangen ist, oder einen Bericht schreiben. (Das, worin KI großartig ist).
- Strenge Regeln: Man muss die Rohstoffe prüfen, bevor man sie verwendet. Man m muss eine andere Person haben, die die Reparatur abzeichnet, als diejenste, die das Problem gefunden hat. (Das, wofür strenge Regeln da sind).
Der Konflikt:
- Der alte Weg (Business Process Management): Wir hatten früher ein starres Flussdiagramm, dem Menschen Schritte folgten. Es war sicher, aber Menschen sind langsam und können sich langweilen.
- Der neue Weg (Nur KI): Wir lassen die KI alles machen. Sie ist schnell und intelligent, aber sie könnte halluzinieren (Dinge erfinden) oder einen Schritt überspringen, weil sie „dachte“, dass er nicht notwendig sei.
- Die Gefahr: Wenn die KI einen Sicherheitsschritt überspringt, ist die gesamte Charge der Medizin ruiniert. Ein „Wächter“, der die Arbeit im Nachhinein prüft, ist zu spät; der Schaden ist bereits entstanden.
Die Lösung: Die „Gleise“-Analogie
Die Autoren schlagen einen neuro-symbolischen Ansatz vor. Denken Sie an ein Zugsystem:
- Der „neuronale“ Teil (Der Motor): Dies ist das Gehirn der KI. Es ist leistungsstark, kreativ und gut darin, Sprache zu verstehen. Es entscheidet, wie die Arbeit erledigt wird (z. B. „Wie schreibe ich diesen Sicherheitsbericht?“).
- Der „symbolische“ Teil (Die Gleise): Dies ist das strenge Regelwerk und die Prozesslandkarte. Es entscheidet, wohin der Zug fahren kann. Der Zug kann nicht von den Gleisen springen.
Wie es zusammenarbeitet:
- Die Gleise (Symbolische Struktur): Das System verfügt über eine vorgefertigte Karte der Regeln (z. B. „Schritt 1: Prüfen. Schritt 2: Analysieren. Schritt 3: Genehmigen“). Die KI kann erst zu Schritt 3 übergehen, wenn Schritt 1 und 2 vom System offiziell als „Erledigt“ markiert wurden.
- Der neuronale Agent (Der Motor): Sobald die Gleise den Zug erlauben, zu „Schritt 1“ zu fahren, nutzt die KI ihr Gehirn, um Dokumente zu lesen und die Details auszufüllen.
- Das Ergebnis: Die KI ist frei, innerhalb ihrer Spur kreativ zu sein, aber sie kann niemals von der Straße abkommen.
Die 5 großen Herausforderungen (Die Forschungsagenda)
Die Arbeit besagt, dass wir dies heute nicht einfach bauen können; wir müssen zuerst fünf spezifische Rätsel lösen:
- Gesetze in Code übersetzen: Gesetze sind in verwirrender menschlicher Sprache geschrieben (wie „Sicherstellung der Qualität“). Wir brauchen einen Weg, um diese Worte automatisch in strengen Computercode umzuwandeln, den die „Gleise“ durchsetzen können.
- Die „Mediations“-Schicht: Wir brauchen einen intelligenten Übersetzer zwischen der KI und den Regeln. Wenn die KI versucht zu sagen: „Ich überspringe die Inspektion, weil ich es eilig habe“, muss der Übersetzer sagen: „Nein, die Regeln besagen, dass du nicht fortfahren darfst, bis dieses Kästchen abgehakt ist.“
- Wissen, wann man um Hilfe bittet: Die KI sollte wissen, wann sie unsicher ist. Wenn die KI zu 99 % sicher ist, kann sie fortfahren. Wenn sie nur zu 50 % sicher ist, sollte das System automatisch stoppen und einen menschlichen Manager rufen. Dies wird als „Kalibrierte Autonomie“ bezeichnet.
- Das „Gedächtnis“-Buch: Die Fabrik hat tausende vergangene Fehler und Korrekturen. Wir brauchen ein System, in dem die KI diese alten Geschichten lesen, daraus lernen und neue Geschichten auf eine organisierte und durchsuchbare Weise zurück in das Buch schreiben kann (wie eine Bibliothek, nicht wie ein Haufen Papiere).
- Die „Warum“-Erklärung: Wenn ein Auditor fragt: „Warum haben Sie das getan?“, muss das System in der Lage sein, eine zweiteilige Antwort zu geben: „Ich habe dies getan, weil die Regeln es vorschrieben (symbolische Begründung), und hier sind die Beweise, die ich gefunden habe, um meine Entscheidung zu stützen (neuronale Begründung).“
Warum das jetzt wichtig ist
Die Arbeit weist darauf hin, dass bald ein neues Gesetz (der EU AI Act) in Kraft tritt (August 2026). Dieses Gesetz wird von Unternehmen, die Medizinprodukte herstellen, verlangen, nachzuweisen, dass ihre KI sicher, erklärbar und unter menschlicher Kontrolle ist.
Die Autoren argumenten, dass es nicht ausreichen wird, einfach nur „Leitplanken“ (wie ein Sicherheitsnetz) hinzuzufügen. Wir müssen die „Gleise“ (Compliance-by-Construction) bauen, damit die KI von Grund auf sicher ist.
Zusammenfassung
- Aktueller Stand: Wir nutzen KI und hoffen, dass sie keine Fehler macht, und prüfen ihre Arbeit im Nachhinein.
- Vorgeschlagener Zustand: Wir bauen ein System, in dem die KI zwar intelligent ist, die Regeln aber fest in die Architektur des Systems kodiert sind, was es unmöglich macht, die kritischsten Sicherheitsschritte zu verletzen.
- Ziel: Eine Partnerschaft zu schaffen, in der die Kreativität der KI durch die unbrechbare Struktur des Gesetzes geleitet wird.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.