Auditable machine learning for high-stakes decisions

In der modernen Welt treffen Algorithmen Entscheidungen, die Leben prägen. Sie entscheiden, wer einen Kredit erhält, wer eine Kaution bekommt, wer für einen Job eingestellt wird und welche Patienten eine dringende medizinische Versorgung erhalten. Jahrelang bestand der Standardweg, diese Entscheidungen zu verstehen, darin, zu fragen, welche Faktoren die Wahrscheinlichkeit nach oben oder unten gedrückt haben. Wenn einer Person ein Kredit verweigert wurde, könnte eine Erklärung besagen, dass ihr Einkommen zu niedrig oder ihre Verschuldung zu hoch war. Aber dieser Ansatz behandelt jeden Faktor als Punkt auf einer Skala, bei der ein hoher Wert in einem Bereich einen niedrigen Wert in einem anderen einfach kompensieren kann. Diese Logik der „vollständigen Kompensation“ funktioniert gut bei der Platzierung von Werbeanzeigen, versagt aber, wenn Gesetze und Vorschriften im Spiel sind. In der realen Welt der Verwaltung sind einige Bedingungen absolute Tore. Ein fehlendes Dokument, eine Vorstrafe oder eine spezifische medizinische Kontraindikation können eine Entscheidung vollständig vetoieren, ungeachtet dessen, wie stark die anderen Beweise auch sein mögen. Umgekehrt kann eine bestimmte Kombination von Fakten ausreichen, um eine Genehmigung zu garantieren, unabhängig von anderen Schwächen. Bis jetzt hatten maschinelle Lernmodelle Schwierigkeiten, diese Sprache der absoluten Anforderungen und hinreichenden Auslöser zu sprechen, und boten oft nur vage Erzählungen darüber an, was ein Ergebnis beeinflusst hat, anstatt das Ergebnis selbst zu zertifizieren.

Eine neue Studie stellt ein System vor, das speziell für diese hochsensiblen, prüfbaren Entscheidungen entwickelt wurde. Die Forscher entwickelten ein Modell namens Bipolar Logic Network, das auf einer einfachen, aber kraftvollen Idee basiert: dass viele reale Entscheidungen aus zwei verschiedenen Arten von Regeln aufgebaut sind, die zusammenwirken. Die erste Art identifiziert, was ausreicht, um ein Ergebnis auszulösen, wie etwa ein Satz von Bedingungen, die, wenn sie erfüllt sind, ein positives Ergebnis garantieren. Der zweite Typ identifiziert, was notwendig ist, und fungiert als ein Satz von Toren, die für jedes positive Ergebnis passiert werden müssen. Wenn eine notwendige Bedingung fehlt, wird die Entscheidung sofort im Keim erstickt (vetoiert), so wie ein fehlender Schlüssel nicht durch ein größeres Portemonnaie ersetzt werden kann. Das System lernt diese zwei Sätze von Regeln gleichzeitig aus Daten und kombiniert sie zu einer einzigen Vorhersage. Im Gegensatz zu anderen Modellen, die versuchen, eine Black-Box-Entscheidung im Nachhinein zu erklären, baut dieses System die Entscheidung und ihre Erklärung als dasselbe Objekt auf. Die Vorhersage ist die Regel, und die Regel ist die Vorhersage.

Die Forscher testeten diesen Ansatz über dreißig verschiedene reale Datensätze hinweg, die Bereiche von der Kreditwürdigkeitsprüfung über die Strafjustiz bis hin zur medizinischen Diagnose und Mitarbeiterbindung abdecken. Sie verglichen ihr neues System mit zehn anderen populären Methoden des maschinellen Lernens, einschließlich komplexer „Black-Box“-Modelle, die für ihre hohe Genauigkeit, aber geringe Transparenz bekannt sind, sowie einfacherer „White-Box“-Modelle, die transparent, aber oft weniger genau sind. Die Ergebnisse zeigten, dass das neue System eine Genauigkeit erreichte, die bei den spezifischen Aufgaben, bei denen prüfbare Regeln entscheidend sind, statistisch mit den besten Black-Box-Modellen gleichauf lag. Es schnitt besser ab als traditionelle Entscheidungsbäume und andere regelbasierte Systeme, und während es etwas weniger genau war als ein spezifisches transparentes Modell namens additives Modell, bot es etwas, das dieses Modell nicht konnte: eine klare, boolesche Struktur, die explizit angibt, was erforderlich ist und was ausreicht. In der spezifischen Domäne der Audit-Entscheidungsaufgaben erreichte das System die Leistung des leistungsstarken XGBoost-Modells, eines Industriestandards, während es gleichzeitig einen klaren, überprüfbaren Logikpfad bereitstellte.

Über die reine Genauigkeit hinaus konzentrierte sich die Studie darauf, ob das System tatsächlich die schwierigen Fragen beantworten kann, die Regulierungsbehörden und Prüfer stellen. Können wir beweisen, dass eine bestimmte Bedingung notwendig war? Können wir einen Weg zur Genehmigung finden, der eine Regel umgeht? Das System demonstrierte die Fähigkeit, notwendige Bedingungen mit hoher Präzision zu rekonstruieren und übertraf dabei bestehende Methoden, die in den Sozialwissenschaften und der Epidemiologie für diesen Zweck verwendet werden. In Tests mit synthetischen Politikszenarien machte das System sehr wenige Fehler bei der Veto-Entscheidung von Fällen, die hätten zugelassen werden müssen, wobei die Fehlablehnungen unter einem halben Prozent blieben. Bei der Anwendung auf reale Daten, wie etwa Aufzeichnungen über Mitarbeiterfluktuation, identifizierte das System erfolgreich „Hygiene-Faktoren“ – Bedingungen wie Einkommen oder Jobrolle, die, falls sie fehlen, als Veto wirken – und unterschied sie von „Motivatoren“, die ein positives Ergebnis auslösen könnten. Diese Unterscheidung spiegelt langjährige Theorien der Organisationspsychologie wider, wonach das Fehlen von Grundbedürfnissen Unzufriedenheit verursacht, deren Vorhandensein jedoch nicht zwangsläufig Zufriedenheit bewirkt. Das Modell lernte diese Struktur von selbst, ohne darauf hingewiesen zu werden.

Die Forscher unterzogen das System auch strengen Prüfungen, um sicherzustellen, dass es nicht nur Daten auswendig lernt oder Widersprüche erzeugt. Sie verifizierten, dass die von ihm generierten Regeln niemals einander widersprechen und dass das System konsistent „Ja“ oder „Nein“ auf Fragen beantworten kann, ob ein bestimmter Satz von Fakten ausreicht, um eine Entscheidung auszulösen, oder ob ein fehlender Fakt sie blockieren würde. In einem Test mit biologischen Daten, bei denen die wahren Ursache-Wirkungs-Beziehungen bekannt waren, identifizierte das System in dreiundachtzig Prozent der untersuchten Fälle korrekt die Richtung des Einflusses. Dies deutet darauf hin, dass das Modell nicht nur Muster findet, sondern die zugrunde liegende Logik dessen erfasst, wie diese Systeme funktionieren. Die Studie merkte auch sorgfältig an, wo das System nicht so gut funktioniert. Wenn die Daten kontinuierliche Signale beinhalten, wie etwa das Erkennen eines Klangs oder eines Bildes, bei denen ein Faktor einen anderen perfekt kompensieren kann, sinkt die Leistung des Systems im Vergleich zu Modellen, die für solche Aufgaben konzipiert sind. Dies ist kein Fehler, sondern ein Merkmal seines Designs; das System gibt zu, wenn die Welt nicht nach strikten Toren und Triggern operiert, und schneidet in diesen Szenarien schlechter ab, was ein vorhersehbares und ehrliches Ergebnis ist.

Die Bedeutung dieser Arbeit liegt in ihrer Fähigkeit, die Lücke zwischen dem Bedürfnis nach hoher Genauigkeit und dem Bedürfnis nach absoluter Transparenz zu schließen. In Bereichen wie Finanzen, Justiz und Gesundheitswesen kann eine Entscheidung nicht getroffen werden, wenn sie nicht geprüft werden kann. Aktuelle Werkzeuge zwingen einen oft zu einer Wahl zwischen einem hochgradig genauen Modell, das seine Argumentation nicht erklären kann, und einem einfachen Modell, das leicht zu erklären, aber oft fehlerhaft ist. Dieser neue Ansatz bietet einen Mittelweg, auf dem das Modell sowohl genau genug ist, um nützlich zu sein, als auch strukturiert genug, um zertifiziert werden zu können. Er bietet eine Möglichkeit, nicht nur zu fragen: „Warum wurde diese Person abgelehnt?“, sondern: „Was genau war erforderlich, damit diese Person genehmigt wurde, und wurde diese Anforderung erfüllt?“ Durch das Erlernen der dualen Struktur aus hinreichenden Triggern und notwendigen Toren bietet das System eine Sprache, die der Logik der Gesetze und Richtlinien entspricht, die es durchsetzen soll. Es behauptet nicht, das genaueste Modell für jedes mögliche Problem zu sein, aber für die spezifische, kritische Domäne von Entscheidungen mit hohem Einsatz bietet es einen neuen Standard dafür, was es bedeutet, eine prüfbare Maschine zu sein.