🤖 AI

Runtime Uncertainty Monitoring for LLM-Based Multi-Agent Systems Using Bayesian Networks

Dieses Paper schlägt ein Multi-Agenten-Framework für die versicherungsmathematische Risikomodellierung vor, das Token-Ebene-Log-Wahrscheinlichkeiten und Bayessche Netze nutzt, um Laufzeitunsicherheit zu quantifizieren und zu propagieren, wodurch eine zuverlässige Entscheidungsunterstützung in hochsensiblen, auf LLMs basierenden Arbeitsabläufen gewährleistet wird.

Ursprüngliche Autoren: Bart Custers, Koorosh Aslansefat

Veröffentlicht 2026-07-29

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Bart Custers, Koorosh Aslansefat

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Welt vor, in der Computer nicht nur strikten Anweisungen folgen, sondern tatsächlich durch komplexe Aufgaben „chatten“ und „nachdenken“ können. Dies ist das Reich der Künstlichen Intelligenz, speziell eines Zweigs namens Large Language Models (LLMs). Betrachten Sie diese Modelle als unglaublich belesene Studenten, die fast alles im Internet gelesen haben. Sie sind großartig darin, Geschichten zu schreiben, Fragen zu beantworten und sogar Matheaufgaben zu lösen. Es gibt jedoch einen Haken: Sie sind ein wenig wie kreative Autoren, die manchmal Dinge erfinden (genannt „Halluzinationen“) oder ihre Meinung ändern, wenn man sie zweimal dieselbe Frage stellt.

Stellen Sie sich nun vor, Sie müssten eine lebenswichtige Entscheidung treffen, wie zum Beispiel die Berechnung der Höhe einer Kfz-Versicherungsprämie. Sie können nicht einfach einen dieser KI-Studenten raten lassen; Sie brauchen ein ganzes Team, das zusammenarbeitet. Hier kommen Multi-Agenten-Systeme ins Spiel. Anstatt eines einzelnen Roboters, der alles erledigt, haben Sie ein Team von Spezialisten: Einer sammelt die Daten, ein anderer baut das mathematische Modell, ein dritter prüft auf Fehler und ein vierter erklärt die Ergebnisse. Die große Frage, die sich Wissenschaftler stellen, lautet: „Wenn einer dieser KI-Teammitglieder verwirrt wird oder einen Fehler macht, wie wissen wir das, bevor das gesamte Projekt scheitert?“ Dieses Paper befasst sich genau mit diesem Problem und versucht, ein Sicherheitsnetz für KI-Teams bei hochsensiblen Finanzaufgaben zu bauen.

Das KI-Team und der „Konfidenz-Messwert“

In dieser Studie haben die Forscher eine digitale Versicherungsgesellschaft aufgebaut, die von einem Team aus KI-Agenten geleitet wird. Sie haben die KI nicht einfach willkürlich chatten lassen; sie bauten einen strengen Workflow mit einem „Zentralen Hub“, der wie ein Projektmanager fungiert. Dieser Manager teilt Aufgaben an vier spezifische KI-Spezialisten zu:

Der Datenaufbereitungs-Agent: Bereinigt die unordentlichen Zahlen.
Der Modellierungs-Agent: Baut die Mathematik zur Risikovorhersage.
Der Prüfungs-Agent: Überprüft die Arbeit auf Fehler.
Der Erklärungs-Agent: Stellt sicher, dass die Ergebnisse Sinn ergeben und fair sind.

Der knifflige Teil ist, dass diese KI-Agenten probabilistisch sind, was bedeutet, dass sie nicht jedes Mal eine einzige „richtige“ Antwort geben. Sie generieren Text Wort für Wort, und für jedes Wort hat der Computer eine winzige „Log-Wahrscheinlichkeit“ – eine Zahl, die angibt, wie wahrscheinlich das Modell es für dieses spezifische nächste Wort hielt. Normalerweise schauen Menschen nur auf die endgültige Antwort. Aber dieses Paper schlägt einen klugen Trick vor: Hören Sie auf das Flüstern der Konfidenz der KI.

Die Autoren erkannten, dass man die internen Konfidenzzahlen der KI nicht einfach nehmen und sagen kann: „Das ist zu 90 % korrekt.“ Das ist so, als würde man davon ausgehen, dass ein fließend sprechender Student definitiv die Wahrheit sagt. Stattdessen entwickelte das Team ein System, um diese rohen Konfidenz-Flüstertöne in ein Bayessches Netz zu übersetzen.

Das Bayessche Netz: Ein digitaler Dominoeffekt

Stellen Sie sich das Bayessche Netz wie ein riesiges, interaktives Flussdiagramm aus Dominosteinen vor. Jeder Dominostein repräsentiert einen Schritt im Versicherungs-Workflow. Wenn der erste Dominostein (Datenaufbereitung) wackelt, könnte er den zweiten (Modellierung) anstoßen, was wiederum den dritten (Prüfung) zu Fall bringen könnte.

Die Forscher nutzten die internen Konfidenzwerte der KI, um den „Wackel-Faktor“ für jeden Dominostein festzulegen. Sie behandelten die Konfidenz der KI nicht als Garantie für die Wahrheit. Stattdessen kalibrierten sie sie durch Testläufe, um zu sehen, wie oft die KI tatsächlich richtig lag, wenn sie sich sicher fühlte. Dann speisten sie diese kalibrierten Zahlen in das Netzwerk ein.

Das Ergebnis? Das Netzwerk konnte ihnen zeigen, wie sich Unsicherheit durch das gesamte System ausbreitet. Selbst wenn jeder einzelne KI-Agent sich seiner eigenen Arbeit zu 80 % sicher war, konnte das Netzwerk berechnen, dass der gesamte Workflow nur eine Erfolgschance von 55 % hatte, weil sich die kleinen Zweifel aufsummierten. Es ist wie eine Kette von vier Personen, die einen Wassereimer weiterreichen; wenn jede Person zu 80 % sicher ist, dass sie nicht verschüttet, könnte der Eimer am Ende vielleicht immer noch halb leer sein.

Was sie fanden: Der Temperatur-Test

Um zu sehen, ob ihr Sicherheitsnetz funktionierte, ließen die Forscher das KI-Team durch verschiedene „Temperaturen“ laufen. In der KI-Sprache steuert die „Temperatur“, wie zufällig oder kreativ die KI ist.

Niedrige Temperatur (0,2): Die KI ist sehr konservativ und repetitiv.
Hohe Temperatur (1,2): Die KI ist wild, kreativ und neigt zu Fehlern.

Sie testeten vier Szenarien:

Sicheres Szenario: Alle waren bei niedriger Temperatur. Das System war sehr zuverlässig, mit einer Erfolgschance von 87,1 %.
Gemischtes Szenario: Die Daten- und Modellierungs-Agenten waren ruhig, aber die Prüfungs- und Erklärungs-Agenten waren etwas wild. Der Erfolg sank auf 69,0 %.
Moderates Szenario: Alle waren auf einer Standard-„mittleren“ Einstellung. Der Erfolg betrug 59,2 %.
Risikoreiches Szenario: Nur ein Agent (der Erklärungs-Agent) wurde sehr wild. Obwohl alle anderen ruhig waren, stürzte die Erfolgsrate des gesamten Systems auf 42,8 % ab.

Dies zeigte, dass das System sehr sensibel ist. Ein einziges wackeliges Glied in der Kette kann die Zuverlässigkeit des gesamten Projekts nach unten ziehen.

Das Urteil: Wer hat die Fehler entdeckt?

Das Team testete die KI-Agenten auch, indem es die Daten heimlich manipulierte (wie das Verstecken von Zahlen oder das Hinzufügen von künstlichem Rauschen), um zu sehen, ob die Agenten dies bemerken würden.

Llama 2 und Llama 3.1: Diese Modelle waren für die Aufgabe okay, übersahen aber viele der versteckten Fehler. Llama 2 entdeckte nur 45 % der Fehler, und Llama 3.1 entdeckte 65 %.
Qwen2.5: Dieses Modell war der Star der Show. Es entdeckte 90 % der Fehler und war viel besser darin, seine Strategie anzupassen, wenn Dinge schiefgingen.

Die Studie fand auch heraus, dass die einzelnen KI-Agenten oft sehr selbstbewusst waren (sie bewerteten sich selbst auf etwa 0,80 bis 0,90), die kombinierte Unsicherheit des gesamten Workflows jedoch viel niedriger war. Beispielsweise war bei Verwendung des Qwen-Modells die Konfidenz der einzelnen Agenten hoch, aber die Sicherheit des gesamten Workflows betrug nur 0,6012.

Warum das wichtig ist

Dieses Paper behauptet nicht, alle Probleme der KI in der Versicherungswirtschaft gelöst zu haben. Stattdessen schlägt es eine neue Art vor, das KI-Team während der Arbeit zu beobachten. Indem wir ein Bayessches Netz nutzen, um zu verfolgen, wie sich kleine Zweifel aufsummieren, können wir erkennen, wann ein Workflow „unsicher“ wird, bevor er ein schlechtes Ergebnis produziert.

Die Forscher zeigten, dass diese Methode standardmäßige versicherungsmathematische Ergebnisse (die Mathematik zur Preisgestaltung von Versicherungen) reproduzieren kann, während sie uns gleichzeitig eine klare Sicht auf die Stabilität des Systems gibt. Es legt nahe, dass wir in hochsensiblen Jobs der KI nicht nur auf ihre endgültige Antwort vertrauen sollten; wir müssen auf das „Flüstern“ ihrer Konfidenz hören und beobachten, wie dieses Flüstern durch das Team reist. Wenn ein Agent beginnt, unsicher zu klingen, sollte das gesamte System wissen, dass es innehalten und prüfen muss, um zu verhindern, dass ein kleiner Fehler zu einer finanziellen Katastrophe wird.

Technisches Resümee: Laufzeit-Unsicherheitsüberwachung für LLM-basierte Multi-Agenten-Systeme mittels Bayesscher Netze

Problemstellung

Die Integration von auf Large Language Models (LLM) basierenden Multi-Agenten-Systemen (MAS) in hochsensiblen Bereichen wie der versicherungsmathematischen Risikomodellierung stellt erhebliche Anforderungen an Zuverlässigkeit und Transparenz. Während LLMs das Potenzial bieten, komplexe Arbeitsabläufe in den Bereichen Datenaufbereitung, Modellentwicklung und Validierung zu automatisieren, führt ihre probabilistische Natur Risiken wie Halluzinationen, Variabilität zwischen verschiedenen Durchläufen und mangelnde Erklärbarkeit mit sich. In regulierten Versicherungsumgebungen können unzuverlässige Ergebnisse zu fehlerhaften Risikobewertungen, ungerechter Preisgestaltung und der Nichteinhaltung regulatorischer Vorschriften führen. Es besteht eine kritische Lücke in aktuellen Ansätzen: Bestehende Evaluierungsmetriken konzentrieren sich oft auf aufgabenspezifische Genauigkeit, erfassen jedoch nicht, wie Unsicherheit entsteht und durch interdependenten Agenten-Workflows propagiert wird. Zudem lassen sich Standard-Unsicherheitsschätzungen (wie Token-Ebene-Log-Wahrscheinlichkeiten) nicht direkt in die Wahrscheinlichkeit des Aufgabenerfolgs übersetzen, noch berücksichtigen sie den kumulativen Effekt von Fehlern über einen mehrstufigen Prozess hinweg.

Methodik

Die Autoren schlagen ein Framework zur Laufzeit-Sicherheitsüberwachung vor, das darauf ausgelegt ist, Unsicherheit innerhalb eines LLM-basierten MAS zu quantifizieren und zu propagieren. Die Methodik besteht aus drei Kernkomponenten:

1. Multi-Agenten-System-Architektur

Das System verwendet eine zentralisierte Stern-Topologie, bei der ein Zentraler Hub vier spezialisierte Agenten via Nachrichtenübermittlung koordiniert, um eine direkte Kommunikation zwischen den Agenten zu verhindern und so eine kontrollierte Aufsicht zu gewährleisten:

Data Preparation Agent (Datenaufbereitungs-Agent): Übernimmt die Datenerfassung, Bereinigung und Kodierung.
Modelling Agent (Modellierungs-Agent): Entwickelt prädiktive Modelle.
Reviewing Agent (Prüfungs-Agent): Bewertet die Ausgaben aus den Daten- und Modellierungsphasen hinsichtlich Konsistenz und Performance.
Explanation Agent (Erklärungs-Agent): Bewertet Interpretierbarkeit, Konzeptkonformität (unter Verwendung von Testing with Concept Activation Vectors) und Fairness (via Gruppenvergleichen).

Das Framework nutzt drei Open-Source, Decoder-only Transformer-Modelle (Llama 2 7B, Llama 3.1 8B und Qwen2.5 7B), die auf lokalen Maschinen ausführbar sind.

2. Unsicherheitsquantifizierung via Log-Wahrscheinlichkeiten

Das Framework extrahiert Token-Ebene-Log-Wahrscheinlichkeiten ( $log p_\theta$ ) aus den LLM-Ausgaben. Da rohe Log-Wahrscheinlichkeiten von der Sequenzlänge beeinflusst werden und nicht direkt mit dem Aufgabenerfolg korrelieren, wenden die Autoren einen Transformationsprozess an:

Längen-Normalisierung: Log-Wahrscheinlichkeiten werden über die Sequenzlänge $L$ gemittelt, um einen zusammenfassenden Score $s_i$ zu generieren.
Kalibrierung: Der normalisierte Score wird in ein begrenztes Konfidenzmerkmal $q_i = \exp(s_i)$ transformiert.
Kalibrierungsfunktion: Eine Funktion $f_{cal}$ , die durch Validierungsdurchläufe geschätzt wurde, bildet $q_i$ auf die Wahrscheinlichkeit einer erfolgreichen Aufgabenerfüllung $P(X_i = success | q_i)$ ab.

3. Bayessches Netz (BN) zur Propagation

Um die Abhängigkeiten zwischen den Workflow-Stufen zu modellieren, werden die kalibrierten Konfidenzwerte in ein Bayessches Netz integriert.

Struktur: Jede Workflow-Stufe (z. B. Datenaufbereitung, Prüfung, Modellierung) stellt einen Knoten dar. Gerichtete Kanten repräsentieren bedingte Abhängigkeiten.
Logik: Das Netzwerk nutzt bedingte Wahrscheinlichkeitstabellen (CPTs), um zu definieren, wie der Erfolg eines nachgelagerten Tasks von den Erfolgen seiner Elternknoten abhängt. Beispielsweise wird der finale Workflow-Erfolgsknoten als "AND"-Gatter modelliert, welches den Erfolg aller Elternknoten voraussetzt.
Inferenz: Während der Workflow ausgeführt wird, aktualisiert der Zentrale Hub das BN mit neuen Evidenzen (Unsicherheitsscores), was die Berechnung von Posterior-Wahrscheinlichkeiten ermöglicht. Dies visualisiert, wie sich Unsicherheit von den einzelnen Agenten-Ausgaben bis zum finalen Systemzustand akkumuliert.

Zentrale Beiträge

Die Arbeit präsentiert einen neuartigen Ansatz zur Laufzeitüberwachung, der über statische Evaluation hinausgeht:

Framework zur Unsicherheitspropagation: Es führt eine Methode ein, um Token-Ebene-Log-Wahrscheinlichkeiten in kalibrierte Aufgaben-Konfidenzschätzungen zu transformieren und diese durch ein Bayessches Netz zu propagieren. Dies modelliert explizit die Unterscheidung zwischen intrinsischer Unsicherheit (auf einer einzelnen Stufe) und extrinsischer Unsicherheit (die von früheren Entscheidungen propagiert wird).
Strukturierter Sicherheitsmechanismus: Das Framework bietet eine strukturierte Darstellung der Workflow-Stabilität und ist in der Lage, "unsichere" Zustände zu identifizieren, in denen die Unsicherheit in spezifischen Komponenten die allgemeine Systemzuverlässigkeit signifikant verschlechtert.
Empirische Validierung im versicherungsmathematischen Kontext: Der Ansatz wird innerhalb eines realistischen versicherungsmathematischen Workflows validiert und zeigt, dass das System die Basis-Aktuarsleistung reproduzieren kann, während es gleichzeitig granulare Einblicke in die Workflow-Stabilität bietet.

Ergebnisse

Die Evaluierung wurde über drei LLM-Backends unter Verwendung der Originaldaten sowie 20 systematisch perturbierter Datensätze (die Fehler wie fehlende Werte, Verteilungsverschiebungen und Label-Rauschen einführten) durchgeführt.

Performance: Das MAS erreichte hohe Aufgabenerfolgsraten (80–90 %) und eine prädiktive Performance (RMSE), die mit Baseline-Aktuarmodellen über alle Backends hinweg vergleichbar ist.
Unsicherheitsvarianz: Es wurden signifikante Unterschiede in der durch das Bayessche Netz abgeleiteten Workflow-Gewissheit beobachtet. Beispielsweise zeigten einzelne Agenten oft eine hohe Konfidenz, doch reduzierte die Propagation der Unsicherheit die Gesamtwahrscheinlichkeit des Workflow-Erfolgs (z. B. von ~80 % individueller Gewissheit auf ~55 % Gesamtzertraue in einem Standard-Szenario).
Temperatur-Sensitivität: Experimente mit variierender LLM-Temperatur bestätigten, dass erhöhte Randomität in den Agenten-Antworten die Wahrscheinlichkeit des Gesamterfolgs des Workflows direkt senkt. Ein "riskantes" Szenario mit hoher Temperatur in einem einzelnen Agenten senkte die Zuverlässigkeit des gesamten Systems erheblich.
Fehlererkennung: Das Qwen2.5 7B Backend demonstrierte eine überlegene Fehlererkennung (90 %) und Adaptivität im Vergleich zu den Llama-Modellen (45–65 %), insbesondere beim Umgang mit Verteilungsverschiebungen.
Limitierungen: Das System zeigte eine Sensitivität gegenüber Verteilungsänderungen (Populationsverschiebungen), war jedoch weniger zuverlässig bei der Erkennung fehlender Werte oder Spärlichkeit (Sparsity), was spezifische Bereiche für Verbesserungen im Validierungsprozess aufzeigt.

Bedeutung und Ansprüche

Die Arbeit behauptet, dass ihre primäre Bedeutung in der Bereitstellung einer strukturierten, interpretierbaren Methode zur Überwachung der Laufzeit-Unsicherheit in LLM-basierten MAS liegt. Durch die Kombination von Signalen auf Token-Ebene mit Bayesscher Inferenz bietet das Framework einen Sicherheitsmechanismus, der in der Lage ist, schwache Elemente in einem Workflow zu identifizieren, bevor diese zu kritischen Ausfällen führen.

Die Autoren vertreten eine moderate Position und merken an, dass die aktuelle Implementierung eine Proof-of-Concept darstellt. Das Bayessche Netz modelliert einen abstrahierten Ausführungspfad statt der vollständigen dynamischen Kontrolllogik (es modelliert derzeit z. B. keine iterativen Revisionsschleifen oder zeitliche Abfolgen jenseits direkter Eltern-Kind-Abhängigkeiten). Die Autoren schlagen vor, das Modell auf Dynamische Bayessche Netze oder Einflussdiagramme zu erweitern, als zukünftige Forschungsrichtung. Letztlich zeigt die Arbeit, dass es möglich ist, hochsensible Entscheidungsfindungen mit LLM-Agenten zu unterstützen, indem die Unsicherheit, die durch komplexe, mehrstufige Workflows propagiert wird, explizit quantifiziert und visualisiert wird.