💻 computer science

AI Risk-Management Control in Human-in-the-Loop Systems: Governing the Operating Confidence Threshold as a Delegation Boundary

Dieses Paper schlägt vor, den Betriebsschwellenwert für das Konfidenzniveau in Human-in-the-Loop-KI-Systemen als eine formale, prüfbare Risikoakzeptanzkontrolle zu behandeln, die aus einer expliziten Kosten-Nutzen-Analyse abgeleitet wird, anstatt ihn lediglich als einen Abstimmungsparameter zu betrachten, und demonstriert dessen Wirksamkeit bei der Stabilisierung der automatisierten Delegation sowie der Minimierung der menschlichen Überprüfung in regulierten professionellen Umfeldern.

Ursprüngliche Autoren: Musarat Kabir-Chisty

Veröffentlicht 2026-10-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Musarat Kabir-Chisty

Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

In der modernen Arbeitswelt wird zunehmend von künstlicher Intelligenz verlangt, Entscheidungen zu treffen, die von Bedeutung sind. Sie sortiert Dokumente, gleicht Namen in Datenbanken ab und markiert wichtige Informationen. Doch eine kritische Frage bleibt von den meisten Softwares unbeantwortet: Wann sollte der Computer für sich selbst entscheiden und wann sollte er innehalten und um Hilfe bei einem Menschen bitten? Dies ist nicht nur eine technische Einstellung; es ist eine Frage des Vertrauens und der Verantwortung. Wenn eine Maschine zu selbstbewusst handelt, wenn sie im Unrecht ist, kann sie schweren Schaden anrichten, der erst bemerkt wird, wenn es zu spät ist. Wenn sie zu vorsichtig agiert, verschwendet sie die Zeit teurer menschlicher Experten, die wichtigere Aufgaben erledigen könnten. Der Punkt, an dem die Maschine die Entscheidung an einen Menschen zurückgibt, wird als Konfidenzschwellenwert bezeichnet. Betrachten Sie dies wie ein Tempolimitschild auf einer Autobahn: Es sagt dem Fahrer genau, wann er langsamer werden und die Kontrolle übernehmen muss. Bis jetzt haben viele Organisationen dieses Limit durch Raten oder durch die Wahl einer glatten Zahl wie neunzig Prozent festgelegt, ohne eine klare Begründung dafür, warum genau diese Zahl gewählt wurde.

Eine neue Studie von Musarat Kabir-Chisty argumentt, dass dieses Limit kein Ratespiel sein sollte. Stattdessen sollte es eine sorgfältig berechnete Entscheidung sein, die mit derselben Ernsthaftigkeit behandelt wird wie jede andere Sicherheitsregel in einem regulierten Beruf. Der Autor, der in der Rechtstechnologie tätig ist, entwickelte eine Methode, um den perfekten „Übergabepunkt“ zu finden, indem er die Kosten zweier verschiedener Arten von Fehlern gegeneinander abwägt. Der erste Fehler geschieht, wenn der Computer auf eine falsche Antwort agiert, ohne dass zuvor ein Mensch einen Blick darauf geworfen hat. Der zweite geschieht, wenn der Computer um Hilfe bei einem Menschen bittet, obwohl er tatsächlich die richtige Antwort hatte. In Bereichen wie dem Recht oder dem Einwanderungsrecht ist der erste Fehler weitaus gefährlicher als der zweite. Eine falsch versendete Akte an ein Gericht kann einen Fall ruinieren, während die Überprüfung einer korrekten Akte durch einen Menschen nur wenige zusätzliche Minuten dauert. Die Studie schlägt vor, dass Organisationen ihren Konfidenzschwellenwert basierend darauf festlegen sollten, wie viel sie bereit sind, in menschliche Zeit zu investieren, um das Risiko eines nicht überprüften Fehlers zu vermeiden.

Um diese Idee zu testen, wandte der Forscher die Methode auf zwei reale Systeme an, die in einer Anwaltskanzlei in London eingesetzt werden. Das erste System hilft Einwanderungsanwälten, tausende von Mandantendokumenten zu verwalten. Jedes Mal, wenn eine neue Datei eingeht, versucht der Computer, das Dokument in den richtigen Ordner zu sortieren. Wenn der Computer sich sehr sicher ist, legt er das Dokument automatisch ab. Wenn er unsicher ist, leitet er die Datei zur Überprüfung an einen menschlichen Anwalt weiter. Das zweite System befasst sich mit Mandantenakten und versucht, Namen aus einer Liste neuer Klienten mit einer Datenbank bestehender Fälle abzugleichen. Auch hier gilt: Wenn der Treffer eindeutig ist, verknüpft das System die Datensätze; wenn er mehrdeutig ist, muss ein Mensch entscheiden. In beiden Fällen betrachtete das Team die tatsächlichen Werte, die der Computer tausenden von Dokumenten und Datensätzen zuordnete, um zu sehen, wie das System bei verschiedenen Konfidenzniveaus performte.

Die Ergebnisse zeigten etwas Überraschendes darüber, wie diese Systeme tatsächlich agieren. Bei der Aufgabe der Dokumentensortierung waren die Konfidenzwerte des Computers nicht gleichmäßig verteilt. Stattdessen waren sie scharf in zwei Gruppen unterteilt: Das System war entweder extrem selbstbewusst, mit Werten nahe dem Maximum, oder es war recht unsicher. Es gab sehr wenige Fälle, in denen der Computer sich „so halbwegs“ sicher war. Aufgrund dieser Lücke stellten die Forscher fest, dass die genaue Wahl der Zahl für den Schwellenwert nicht viel ausmachte, solange sie in diesem leeren Raum zwischen dem Selbstbewussten und dem Unsicheren platziert wurde. Ob sie das Limit bei zweiundneunzig Prozent oder bei fünfundneunzig Prozent festlegten, das System würde exakt dieselben Dokumente an die menschlichen Prüfer senden. Dies machte die Entscheidung robust und sicher. Beim zweiten Task, der die Mandantenakten betraf, war das Muster noch deutlicher. Die Werte für Übereinstimmungen waren entweder sehr hoch oder sehr niedrig, mit fast nichts dazwischen. Dies bedeutete, dass das System fast die Hälfte der Fälle automatisch bearbeiten konnte, während es nur eine winzige Handvoll wirklich schwieriger Fälle den menschlichen Experten überließ.

Die Studie zeigte auch, dass dieser Ansatz die Verantwortlichkeit verändert. Indem man den Schwellenwert als formale Regel statt als Softwareeinstellung behandelt, kann die Organisation klar dokumentieren, warum sie entschieden hat, die Maschine in bestimmten Fällen handeln zu lassen und in anderen nicht. Wenn ein Fehler auftritt, können sie zurückblicken und sehen, dass die Entscheidung auf Basis eines berechneten Kompromisses zwischen den Kosten der menschlichen Zeit und dem Risiko eines Fehlers getroffen wurde. Dies macht das System prüfbar. Die Forscher fanden heraus, dass, wenn sie ihre Methode anwandten, die Anzahl der Fehler, die der Computer ohne menschliche Hilfe machte, extrem gering war, während auch die Anzahl der Fälle, in denen er unnötigerweise um Hilfe bat, auf ein Minimum begrenzt wurde. Das System arbeitete effizient, weil es so konzipiert war, dass es den spezifischen Risiken des Jobs entsprach und nicht bloß einer generischen Regel folgte.

Diese Arbeit legt nahe, dass die Zukunft der künstlichen Intelligenz in Hochrisikofeldern davon abhängt, wie gut wir diese Übergabepunkte managen. Es reicht nicht aus, einen klugen Computer zu bauen; wir müssen auch einen klugen Prozess entwickeln, um zu entscheiden, wann wir ihm vertrauen. Die Studie demonstriert, dass Organisationen durch die Betrachtung der tatsächlichen Daten und das Verständnis der realen Kosten von Fehlern diese Limits mit Zuversicht festlegen können. Sie können sicherstellen, dass menschliche Experten weder von einfachen Aufgaben überwältigt werden, die sie nicht erledigen müssen, noch in den seltenen Momenten blind sind, in denen die Maschine sich irren könnte. Letztendlich ist das Ziel nicht, das menschliche Urteilsvermögen zu ersetzen, sondern genau zu definieren, wo es beginnt und endet, um eine Partnerschaft zu schaffen, in der sowohl die Maschine als auch der Mensch ihre jeweiligen Stärken ausspielen.

Technisches Resümee: KI-Risikomanagement-Kontrolle in Human-in-the-Loop-Systemen

Problemstellung
In hochsensiblen organisatorischen Kontexten (z. B. Rechtswesen, Finanzwesen, Gesundheitswesen) operieren KI-Systeme zunehmend unter einem „Confidence-Gated“-Paradigma: Das System handelt automatisch, wenn der Konfidenzwert eines Modells einen Schwellenwert ( $\tau$ ) überschreitet, und überlässt die Entscheidung andernfalls einer menschlichen Überprüfung. Während bestehende Governance-Frameworks eine menschliche Aufsicht vorschreiben, geben sie selten Orientierungshilfe darüber, wie die spezifische Entscheidungsgrenze operationalisiert werden soll, an der die Autorität vom Menschen auf die Maschine übergeht.

Derzeit werden Betriebsschwellenwerte oft als technische Hyperparameter behandelt, die willkürlich auf glatte Zahlen (z. B. 0,90 oder 0,95) gesetzt werden, ohne eine explizite Rechtfertigung. Dieses Paper argumenttiert, dass der Betriebsschwellenwert fundamental eine Risikoakzeptanz-Kontrolle ist. Er definiert das Niveau des verbleibenden automatisierten Fehlers, das eine Organisation ohne menschliche Überprüfung zu tolerieren bereit ist. In regulierten Umfeldern wie der juristischen Praxis sind die Kosten von Fehlern asymmetrisch: Ein False Accept (automatisches Handeln auf Basis einer falschen Entscheidung) kann Datensätze korrumpieren oder berufliche Pflichten verletzen, während ein False Reject (die Eskalation einer korrekten Entscheidung) lediglich Expertenzeit verschwendet. Die Behandlung des Schwellenwerts als bloßen Tuning-Parameter verschleiert die ethischen und Governance-bezogenen Implikationen der Delegation folgenreicher Entscheidungen an Maschinen.

Methodik
Das Paper schlägt ein transparentes, kostensensitives Framework vor, um den Betriebsschwellenwert als „Entscheidungsdelegationsgrenze“ zu steuern. Die Methodik besteht aus drei Kernkomponenten:

Formulierung als Selektive Klassifikation: Das Problem wird als selektive Klassifikation (Klassifikation mit Ablehnungsoption) unter asymmetrischen Fehlerkosten formuliert. Das System minimiert eine gesamte erwartete Kostenfunktion $J(\tau)$ :
$J(\tau) = C_{FA} \cdot FA(\tau) + C_{FR} \cdot FR(\tau)$
Wobei $C_{FA}$ und $C_{FR}$ die Kosten von False Accepts und False Rejects sind sowie $FA(\tau)$ und $FR(\tau)$ die erwarteten Häufigkeiten dieser Fehler bei Schwellenwert $\tau$ darstellen. Der optimale Schwellenwert $\tau^*$ ist der Punkt, an dem die Grenzkosten der Aufnahme eines zusätzlichen automatisierten Fehlers gleich den Grenzkosten einer unnötigen Eskalation sind.
Governance des Kostenverhältnisses: Das Verhältnis $C_{FA} : C_{FR}$ wird nicht durch das Modell bestimmt, sondern durch organisatorische Werte und Risikotoleranz. Das Paper empfiehlt, dass dieses Verhältnis von einem Risiko-Eigentümer oder einer Compliance-Funktion verwaltet wird, abgeleitet aus den tatsächlichen Konsequenzen von Fehlern (Reversibilität, regulatorische Exposition, betroffene Population) und dokumentiert wird. Alternativ können Organisationen ein maximal tolerierbares selektives Risiko festlegen und den niedrigsten Schwellenwert wählen, der dieses erreicht.
Empirische Validierung und Sensitivität: Die Methode erfordert:
- Kalibrierung: Verifizierung, dass Konfidenzwerte die beobachtete Genauigkeit widerspiegeln (z. B. via Reliability Diagrams), da moderne Foundation Models oft überkonfident sind.
- Verteilung der Scores: Untersuchung der Verteilung der Konfidenzwerte, um zu bestimmen, ob der Betriebspunkt in einem „flachen Becken“ (robust gegenüber kleinen Änderungen von $\tau$ ) oder einem „steilen Hang“ (fragil) liegt.
- Pro-Kategorie-Schwellenwerte: Anerkennung der Tatsache, dass ein einzelner globaler Schwellenwert für heterogene Daten suboptimal sein kann; pro-Kategorie Schwellenwerte können durch Anwendung des Kostenobjektivs innerhalb spezifischer Klassen abgeleitet werden.

Zentrale Beiträge

Reframing des Schwellenwerts: Der primäre Beitrag ist ein Governance-Shift: Der Betriebsschwellenwert wird nicht als Modellparameter, sondern als Governance-Artefakt betrachtet. Er ist die spezifische Kontrolle, die die delegierte Maschinenautorität instanziiert, und muss dokumentiert, gerechtfertigt und regelmäßig überprüft werden.
Kostensensitives Protokoll: Ein reproduzierbares Protokoll zur Ableitung des Schwellenwerts aus einem expliziten erwarteten Kostenobjektiv, welches die Mechanismen des maschinellen Lernens mit rechtlicher Rechenschaftspflicht und beruflicher Verantwortung verknüpft.
Auditierbarkeit: Das Framework bietet einen Mechanismus, um delegierte Autorität auditierbar zu machen. Durch die Dokumentation des Kostenverhältnisses, der Score-Verteilung und des resultierenden Schwellenwerts können Organisationen die Begründung für automatisierte Entscheidungen im Falle eines negativen Ausgangs rekonstruieren.

Ergebnisse aus Implementierungen
Die Methode wurde anhand zweier realer Implementierungen innerhalb einer regulierten juristischen Praxis demonstriert:

Dokumentklassifikation (Einwanderungsfallarbeit):
- Aufgabe: Automatisches Ablegen von Dokumenten in Fall-Checklisten.
- Daten: 2.471 vom Klassifikator gesehene Dokumente.
- Verteilung: Die Konfidenzwerte waren scharf bimodal verteilt, mit 99,0 % der Dokumente (2.447 von 2.471), die $\ge 0,98$ scoren, und einem spärlichen Korridor zwischen 0,60 und 0,95.
- Ergebnis: Der kostenminimierende Schwellenwert ( $\tau^*$ ) lag im Bereich [0,83, 0,85]. Der eingesetzte Schwellenwert von 0,92 wurde als konservative Marge höher angesetzt. Die Analyse zeigte, dass der Betriebspunkt robust ist; die Kostenfunktion $J(\tau)$ ist über einen weiten Bereich flach, was bedeutet, dass kleine Variationen des Schwellenwerts die erwarteten Kosten nicht signifikant verändern. Das System erreichte ein selektives Risiko von 0,04 % bei einer Abdeckung von 99,6 %.
Entity Resolution (Datensatzverknüpfung):
- Aufgabe: Abgleich von Mandanten-Entitäten gegen eine Fallendatenbank.
- Daten: 270 abgeglichene Entitäten.
- Verteilung: Scharf bimodal mit einem High-Confidence-Modus ( $\ge 0,90$ ) und einem Low-Confidence-Modus ( $\le 0,65$ ), wobei eine komplett leere Lücke zwischen 0,70 und 0,90 besteht.
- Ergebnis: Der Schwellenwert für den Auto-Link wurde auf 0,90 gesetzt. Da keine Entitäten im Bereich 0,70–0,90 lagen, war die Wahl von 0,90 empirisch robust; jeder Schwellenwert innerhalb der leeren Lücke würde exakt dieselben Entitäten routen. Nur 2,2 % der Fälle erforderten eine menschliche Überprüfung, wodurch die Aufsicht auf genuin ambivalente Fälle konzentriert wurde.

Bedeutung und Ansprüche
Das Paper beansprucht bescheiden, dass sein Beitrag eher in der Governance als in der Machine-Learning-Methodik liegt. Das Kriterium der erwarteten Kosten ist klassisch; die Neuheit liegt in der Umdeutung des Schwellenwerts zu einem gesteuerten, dokumentierten und auditierbaren Artefakt.

Rechenschaftspflicht: Die Behandlung des Schwellenwerts als Governance-Artefakt stellt eine Kette der Verantwortung wieder her. Es stellt sicher, dass die „Entscheidungsdelegationsgrenze“ keine opake Konfiguration, sondern eine bewusste organisatorische Entscheidung ist, die der Überprüfung unterliegt.
Sinnvolle Aufsicht: Durch die Gestaltung des Schwellenwerts, um die menschliche Aufmerksamkeit auf genuin unsichere Fälle zu konzentrieren (statt Reviewer mit einfachen Fällen zu überfluten oder Fehler zu verbergen), unterstützt die Methode eine „sinnvolle menschliche Aufsicht“ statt einer rein nominellen Abzeichnung.
Generalisierbarkeit: Obwohl am juristischen Workflow demonstriert, ist das Framework anwendbar auf alle Hochrisiko-„Accept-or-Defer“-Systeme (z. B. Onboarding im Finanzwesen, klinische Datensätze), bei denen eine KI oberhalb eines Konfidenzschwellenwerts agiert.

Das Paper schließt mit der Feststellung, dass das Setzen des Schwellenwerts ein Akt des institutionellen Designs ist, der moralische und berufliche Verantwortung delegiert. Daher bedarf es derselben expliziten Rechtfertigung und Dokumentation wie jede andere Delegation von konsequenter Autorität.

Technisches Resümee: KI-Risikomanagement-Kontrolle in Human-in-the-Loop-Systemen

Mehr davon