💻 computer science

Target-confidence Recourse Using tSeTlin machines: TRUST

Das Papier schlägt TRUST vor, ein Framework, das probabilistische Tsetlin-Maschinen und Bayessche Optimierung nutzt, um robuste, interpretierbare kontrafaktische Erklärungen zu generieren, indem es direkt nach minimalen Eingabeveränderungen sucht, die benutzerdefinierte Vorhersagekonfidenzziele erfüllen, wodurch die Fragilität konventioneller Methoden zur Grenzüberschreitung für Rekursion überwunden wird.

Ursprüngliche Autoren: K. Darshana Abeyrathna, Sara El Mekkaoui, Nils Enric Canut Taugbøl, Anuja Vats

Veröffentlicht 2026-06-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: K. Darshana Abeyrathna, Sara El Mekkaoui, Nils Enric Canut Taugbøl, Anuja Vats

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie beantragen einen Kredit und der Computer der Bank sagt „Nein“. Sie fragen: „Was muss ich ändern, um ein ‚Ja‘ zu bekommen?“

Die meisten aktuellen KI-Systeme geben lediglich eine Minimalvorschlag als Antwort: „Wenn Sie Ihr Einkommen um nur 1 $ erhöhen, wird der Computer seine Entscheidung zu ‚Ja‘ ändern.“

Dieses Paper bezeichnet dies als „Boundary-Hugging“-Kontrafaktualität (grenznah haftendes Kontrafaktum). Es ist, als stünde man direkt am Rand einer Klippe. Technisch gesehen befinden Sie sich auf der sicheren Seite, aber eine kleine Brise (ein kleiner Fehler in den Daten oder eine leichte Änderung des Modells) könnte Sie sofort wieder zurück in die Gefahr stoßen. Es ist ein fragiles „Ja“.

TRUST ist eine neue Methode, die von Forschern bei DNV vorgeschlagen wurde und das Spiel verändert. Anstatt zu fragen: „Was ist die kleinste Änderung, um ein Ja zu erhalten?“, fragt sie: „Was ist die kleinste Änderung, um ein konfiantes Ja zu erhalten?“

Hier erklärt das Paper dies anhand einfacher Analogien:

1. Das Ziel: Vom „Rand der Klippe“ zum „Tiefen Tal“

Auf die alte Weise möchte die KI lediglich, dass Sie die Linie überschreiten. Mit der TRUST-Methode sagen Sie der KI: „Ich möchte die Linie nicht nur überschreiten; ich möchte zu 80 % sicher sein, dass ich in Sicherheit bin.“

Die Analogie: Stellen Sie sich vor, Sie wandern durch einen nebligen Wald.
- Alte Methode: Die KI sagt Ihnen, Sie sollen einen Schritt nach vorne machen. Sie sind nun technisch gesehen auf dem „sicheren Pfad“, aber Sie sind immer noch im Nebel. Wenn Sie stolpern, könnten Sie wieder in die Gefahrenzone gerätet.
- TRUST-Methode: Sie sagen der KI: „Ich möchte so weit gehen, bis ich in einer Lichtung bin, in der ich zu 90 % sicher bin, dass ich mich nicht verlaufen werde.“ Die KI wird Ihnen vielleicht sagen, dass Sie fünf Schritte statt eines machen müssen. Sie sind nun tiefer in der Sicherheitszone. Wenn Sie stolpern, sind Sie immer noch sicher.

2. Der Motor: Die „Logikrätsel“-Maschine (Tsetlin Machine)

Um dies zu erreichen, haben die Forscher keine Standard-Black-Box-KI (wie ein tiefes neuronales Netzwerk) verwendet, die eine Zahl liefert, aber nicht erklärt, warum. Sie verwendeten etwas, das eine Probabilistic Tsetlin Machine (PTM) genannt wird.

Die Analogie: Betrachten Sie eine Standard-KI als einen Magier, der ein Kaninchen aus einem Hut zieht. Sie sehen das Kaninchen (das Ergebnis), aber Sie wissen nicht, wie es passiert ist.
Die PTM: Betrachten Sie die PTM als ein Team von Logik-Detektiven. Jeder Detektiv hat eine spezifische Regel, wie zum Beispiel: „Wenn der Antragsteller unter 73 ist UND über wenige Lymphknoten verfügt, dann ist die Wahrscheinlichkeit hoch, dass er überlebt.“
- Diese Detektive sagen nicht nur „Ja“ oder „Nein“. Sie sagen: „Ich bin mir zu 90 % sicher, dass diese Regel zutrifft“, oder „Ich bin mir nur zu 50 % sicher.“
- Die endgültige Entscheidung ist eine Abstimmung unter all diesen Detektiven.

3. Die Superkraft: Zu sehen, warum eine Option besser ist

Dies ist der einzigartige Anspruch des Papers. Da die KI aus diesen Logik-Detektiven besteht, kann TRUST erklären, warum ein Vorschlag zuverlässiger ist als ein anderer, selbst wenn sie sich ähnlich sehen.

Das Szenario: Stellen Sie sich zwei Personen vor, die einen Kredit beantragen wollen.
- Person A ändert ihr Einkommen gerade so weit, dass sie die Regel gerade eben erfüllt.
- Person B ändert ihr Einkommen ein Stück mehr, um die Regel bequem zu erfüllen.
Die alte KI: Könnte sagen: „Person A ist besser, weil sie weniger geändert hat.“
TRUST: Schaut auf die „Detektive“ und sagt: „Der Erfolg von Person A hängt von einer Regel ab, die sehr wackelig ist. Wenn sich ihre Daten leicht ändern, könnte diese Regel aufhören zu funktionieren. Der Erfolg von Person B basiert auf Regeln, die absolut solide sind. Obwohl Person B mehr geändert hat, ist ihr ‚Ja‘ viel stabiler.“

Das Paper nennt dies „Clause-Level Attribution“ (Attribution auf Klauselebene). Es ist, als könnte man unter die Motorhaube eines Autos schauen und genau sehen, welches Motorteil wackelt, anstatt nur zu wissen, dass das Auto fährt.

4. Die Ergebnisse: Ein wenig mehr Aufwand für große Sicherheit

Die Forscher testeten dies mit realen Daten (wie der Vorhersage des Überlebens nach einer Operation) und künstlich erzeugten Daten.

Das Ergebnis: Als sie nach einem Ergebnis mit „hoher Konfidenz“ fragten (z. B. 92 % sicher), schlug die KI Änderungen vor, die etwas größer waren als das absolute Minimum.
Der Ertrag: Diese Vorschläge waren viel robuster. Als die Forscher „Rauschen“ (simulierte Fehler oder kleine Änderungen) zu den Daten hinzufügten, scheiterten die „Minimalvorschläge“ oft und wurden wieder zu einem „Nein“. Die „High-Confidence“-Vorschläge blieben ein „Ja“.

Zusammenfassung

TRUST ist ein Werkzeug, das es Ihnen ermöglicht, zu einer KI zu sagen: „Ich will nicht nur ein Ja; ich will ein stabiles, zuverlässiges Ja.“

Es nutzt eine spezielle Art von KI, die aus logischen Regeln besteht (wie ein Team von Detektiven), um die kleinste Änderung zu finden, die Sie vornehmen müssen, um dieses Sicherheitsniveau zu erreichen. Es gibt zu, dass man manchmal etwas mehr ändern muss, um ein Ergebnis zu erhalten, dem man wirklich vertrauen kann, und es erklärt genau, warum diese zusätzliche Änderung das Ergebnis sicherer macht.

Was das Paper NICHT behauptet:

Es behauptet nicht, dass dies für jede Art von KI funktioniert (es bezieht sich spezifisch auf die Tsetlin Machine).
Es behauptet nicht, dass dies ein medizinischer Heilwert oder ein garantierter Weg zur Kreditgenehmigung in der realen Welt ist; es ist ein Forschungsrahmen, der an Datensätzen getestet wurde.
Es sagt nicht, dass dies schneller als aktuelle Methoden ist (tatsächlich stellt es fest, dass es langsamer sein kann, da es komplexere Suchvorgänge durchführt).

Technisches Resümee: Target-Confidence Recourse Using tSeTlin Machines (TRUST)

Problemstellung

Kontrafaktische Erklärungen (Counterfactual Explanations, CEs) sind der Standardmechanismus zur Bereitstellung von algorithmischem Rekurs (Recourse) in Entscheidungssystemen mit hohem Risiko (z. B. Kreditgenehmigung, klinische Risikostratifizierung). Die gängige Formulierung von Rekurs zielt darauf ab, die minimale Änderung eines Inputs $x$ zu finden, die erforderlich ist, um die Entscheidung eines Modells von negativ zu positiv zu ändern. Formal handelt es sich hierbei um ein Optimierungsproblem, das die Distanz $d(x, x')$ unter der Nebenbedingung minimiert, dass die vorhergesagte Wahrscheinlichkeit $M(x') \geq 0,5$ gilt.

Das Paper identifiziert zwei kritische Einschränkungen in dieser binären Rahmung:

Fragilität: Kontrafaktische Erklärungen, die nahe der Entscheidungsgrenze generiert werden (wo $M(x') \approx 0,5$ ), sind oft instabil gegenüber Rauschen, Modellaktualisierungen oder Perturbationen. Sie erfüllen technisch gesehen zwar die Bedingung des Label-Wechsels, scheitern aber in der Praxis aufgrund geringer Konfidenzmargen.
Fehlende Ausrichtung auf die Entscheidungsfindung: Reale Entscheidungssysteme verwenden häufig explizite Konfidenzschwellenwerte (z. B. die Anforderung von 80 % Konfidenz für eine Genehmigung). Bestehende Methoden können Fragen wie „Welche minimale Änderung ist erforderlich, um eine Genehmigung mit mindestens 80 % Konfidenz zu erreichen?“ nicht direkt beantworten. Sie behandeln Konfidenz als eine Post-hoc-Eigenschaft statt als ein vom Benutzer spezifizierbares Optimierungsziel.

Obwohl vorangegangene Arbeiten Robustheit indirekt durch Margenbeschränkungen oder Nachbarschaftsgültigkeit adressiert haben und unsicherheitsbewusste Methoden (wie CLUE oder probabilistische Zertifikate) existieren, erlaubt keine der Methoden dem Nutzer, ein gewünschtes Konfidenzniveau direkt als primäre Nebenbedingung während der Generierung von Rekurs zu spezifizieren.

Methodik: Das TRUST-Framework

Die Autoren schlagen TRUST (Target-confidence Recourse Using tSeTlin Machines) vor, ein Framework, das Rekurs als ein Target-Confidence-Problem neu formuliert.

1. Problemformulierung

Anstatt $d(x, x')$ unter der Nebenbedingung $M(x') \geq 0,5$ zu minimieren, sucht TRUST ein Kontrafaktum $x'$ , das die Kosten $d(x, x')$ unter einer benutzerdefinierten Zielkonfidenz $\tau \in (0,5, 1)$ und einer Toleranz $\epsilon$ minimiert:
$\min_{x'} d(x, x') \quad \text{s.t.} \quad |M(x') - \tau| \leq \epsilon$
Diese Formulierung generalisiert Standard-CEs (die wiederhergestellt werden, wenn $\tau = 0,5$ ) und ermöglicht die explizite Generierung von Rekursoptionen bei variierenden Konfidenzniveaus, was eine fundierte Trade-off-Analyse zwischen Kosten und Robustheit ermöglicht.

2. Modellinstanziierung: Probabilistic Tsetlin Machine (PTM)

Um dieses Framework zu instanziieren, nutzen die Autoren eine Probabilistic Tsetlin Machine (PTM) gepaart mit Bayesscher Optimierung (BO).

Warum PTM? Im Gegensatz zu Black-Box-Wahrscheinlichkeitsklassifikatoren (z. B. kalibrierte neuronale Netze), bei denen Konfidenzscores keine direkte Interpretierbarkeit besitzen, zerlegt die PTM Vorhersagen in menschlich interpretierbare logische Klauseln mit probabilistischen Aktivierungen. Diese Struktur ermöglicht es dem Modell, Merkmalsänderungen direkt mit Verschiebungen der Vorhersagekonfidenz zu verknüpfen.
Warum Bayessche Optimierung? Der Suchraum für Kontrafaktika ist nicht-konvex und potenziell aufwendig zu evaluieren, insbesondere bei stochastischen Modellen. BO wird eingesetzt, um den Eingaberaum effizient zu durchsuchen, wobei Exploration und Exploitation ausbalanciert werden, um Kandidaten zu finden, die der Zielkonfidenz $\tau$ entsprechen und gleichzeitig die Distanz minimieren. Theoretische Garantien unter Regularitätsbedingungen gewährleisten asymptotische Optimalität.

3. Klausel-basierte Kontrafaktische Attribution

Ein distinkter Beitrag des TRUST-Frameworks ist die Fähigkeit zur Klausel-basierten Attribution (Clause-Level Attribution). Wenn mehrere Kontrafaktika dieselbe Zielkonfidenz erreichen, sich aber in Kosten oder Stabilität unterscheiden, ermöglicht die PTM-Struktur den Praktikern, diese Unterschiede auf spezifische logische Regeln zurückzuführen.

Das Framework analyst die „Feuerungs-Wahrscheinlichkeiten“ (firing probabilities) einzelner Klauseln.
Es identifiziert, ob ein Kontrafaktum Regeln robust erfüllt (tief innerhalb der probabilistischen Grenzen der Regel) oder fragil (nahe der Grenze der Regelbedingung).
Dies liefert eine mechanistische Erklärung dafür, warum eine Rekursoption zuverlässiger ist als eine andere – eine Fähigkeit, die in Merkmals-Erklärungen von Black-Box-Modellen fehlt.

Kernbeiträge

Target-Confidence Formulierung: Das Paper führt Gleichung (2) als das erste CE-Ziel ein, bei dem die Vorhersagekonfidenz eine benutzerdefinierte Nebenbedingung und keine emergente Eigenschaft ist. Dies verschiebt das Paradigma von einem „minimalen Label-Flip“ hin zu einer „minimalen Änderung für einen spezifischen Risiko-Schwellenwert“.
Klausel-basierte Attribution: Durch die Nutzung der PTM ermöglichen die Autoren eine neue Erklärungsebene, die Merkmalsänderungen über interpretierbare logische Klauseln mit Konfidenzverschiebungen verbindet. Dies unterstützt den Vergleich konkurrierender Rekursoptionen basierend auf der Stabilität der zugrunde liegenden Entscheidungsregeln.
Robustheit durch Design: Das Framework stellt eine praktische Verbindung zwischen konfidenzbewussten Kontrafaktika und Robustheit her. Durch das direkte Anvisieren höherer Konfidenzniveaus wird Robustheit durch Konstruktion erreicht (Bewegung tiefer in die Region der positiven Klasse) anstatt durch Post-hoc-Filterung.

Experimentelle Ergebnisse

Die Autoren evaluierten TRUST auf zwei synthetischen Datensätzen (2D und 5D) sowie zwei realen Datensätzen (Iris Binäre Klassifikation und Haberman Survival). Sie verglichen TRUST (PTM + BO) mit Standard-Gradienten-basierten (Wachter) und Sampling-basierten (GrowingSpheres) Baselines aus der CARLA-Library.

Wichtigste Erkenntnisse:

Robustheit vs. Kosten-Trade-off: TRUST ermöglicht eine explizite Kontrolle über den Trade-off. Bei einer niedrigeren Zielkonfidenz ( $\tau=0,50$ ) produziert TRUST Kontrafaktika mit minimaler Distanz (vergleichbar mit oder besser als die Baselines). Bei einer höheren Zielkonfidenz ( $\tau=0,85$ ) generiert TRUST Kontrafaktika, die signifikant robuster gegenüber Rauschen sind (sie erreichen auf mehreren Benchmarks 100 % Robustheit), während sie gleichzeitig niedrige Rekurskosten beibehalten.
Leistungskennzahlen: Auf dem Haberman-Datensatz erreichte TRUST eine L2-Distanz von 0,10 bei einer Konfidenz von 0,92 mit perfekter Robustheit und übertraf damit die Baselines, die Schwierigkeiten hatten, hohe Konfidenz ohne Einbußen bei der Robustheit zu halten.
Interpretierbarkeit: Eine qualitative Analyse auf dem Haberman-Datensatz zeigte, dass zwei Kontrafaktika, die dieselbe logische Regel erfüllen (z. B. „Positive Lymphknoten $\leq 4$ “), sehr unterschiedliche Zuverlässigkeiten aufweisen können. Die Klausel-basierte Analyse von TRUST enthüllte, dass ein Kontrafaktikum mit 4 Lymphknoten fragil war (nahe der Regelgrenze), während eines mit 2 Lymphknoten robust war, was den Unterschied in der Konfidenz-Stabilität mechanistisch erklärte.

Signifikanz und Ansprüche

Das Paper behauptet, dass TRUST eine konfidenzbewusste und interpretierbare Grundlage für algorithmischen Rekurs in Hochrisiko-Szenarien bietet. Die Signifikanz liegt in:

Verschiebung des Optimierungsziels: Der Übergung von binärem Label-Flipping zur Erfüllung benutzerdefinierter Risiko-Schwellenwerte passt besser zu regulatorischen und praktischen Entscheidungsbedürfnissen (z. B. EU AI Act, DSGVO).
Mechanistische Erklärung: Im Gegensatz zu bisherigen Methoden, die nur Merkmalsänderungen anbieten, erklärt TRUST, warum eine Rekursoption robust oder fragil ist, indem es die Stabilität der zugrunde liegenden logischen Klauseln offenlegt.
Praktischer Nutzen: Es ermöglicht Entscheidungsträgern, zwischen Rekursoptionen basierend auf einem transparenten Kosten-Konfidenz-Robustheit-Spektrum zu wählen, anstatt gezwungen zu sein, die „billigste“ Option zu akzeptieren, die möglicherweise instabil ist.

Die Autoren bleiben bescheiden hinsichtlich der Limitationen und merken an, dass das Framework auf gut kalibrierten probabilistischen Vorhersagen basiert, dass die aktuelle Implementierung (PTM) im Vergleich zu Gradienten-basierten Methoden einen Rechenaufwand verursacht und dass eine breitere Validierung über größere Benchmarks hinweg zukünftige Arbeit ist. Sie behaupten jedoch, dass der vorgeschlagene Rahmen erfolgreich die Lücke zwischen theoretischem Rekurs und stabiler, handlungsfähiger Entscheidungsunterstützung schließt.