Argumentation for Explainable and Globally Contestable Decision Support with LLMs

Die Arbeit stellt ArgEval vor, ein Framework, das die Anwendung von Large Language Models in hochriskanten Bereichen wie der Glioblastom-Behandlung verbessert, indem es von einer reinen Fall-basierten Argumentation zu einer strukturierten, global anfechtbaren Bewertung allgemeiner Entscheidungsoptionen übergeht.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen extrem klugen, aber etwas chaotischen Assistenten. Dieser Assistent hat die gesamte Bibliothek der Welt gelesen und kann fast alles beantworten. Aber wenn Sie ihn um eine wichtige Entscheidung bitten – zum Beispiel: „Welche Behandlung ist für meinen 85-jährigen Patienten mit einem Hirntumor am besten?" – dann gibt er Ihnen eine Antwort, ohne zu erklären, warum er zu diesem Schluss kam. Und das Schlimmste: Wenn er einen Fehler macht, können Sie ihn kaum korrigieren, weil Sie nicht wissen, wo genau er im Gedankengang hakt.

Das ist das Problem mit den heutigen großen KI-Sprachmodellen (LLMs) in kritischen Bereichen wie der Medizin. Sie sind wie ein Orakel: Man bekommt eine Antwort, aber keine Erklärung, und wenn die Antwort falsch ist, bleibt sie oft falsch, auch für den nächsten Patienten.

Die Autoren dieses Papiers, Adam, Matthew und Francesca, haben eine Lösung namens ArgEval entwickelt. Hier ist eine einfache Erklärung, wie das funktioniert, mit ein paar bildhaften Vergleichen:

1. Das alte Problem: Der „Einzel-Fall"-Ansatz

Bisherige Methoden waren wie ein Detektiv, der jeden Fall einzeln untersucht.
Wenn ein neuer Patient hereinkommt, fragt man die KI: „Was halten Sie von Operation A?" Die KI denkt kurz nach, sucht in ihrem Gedächtnis nach Argumenten für und gegen diese Operation bei diesem speziellen Patienten und gibt eine Antwort.

• Das Problem: Wenn die KI sich bei diesem einen Patienten irrt, müssen Sie sie wieder fragen: „Warum war das falsch?" Sie gibt eine Erklärung, aber diese Erklärung gilt nur für diesen einen Fall. Wenn Sie den Fehler korrigieren, ist die KI beim nächsten Patienten wieder genau so dumm wie vorher. Sie lernt nicht aus dem einzelnen Fehler.

2. Die neue Lösung: ArgEval – Der „Bauplan"-Ansatz

ArgEval ändert die Strategie komplett. Statt jeden Fall einzeln zu betrachten, baut die KI zuerst einen großen, strukturierten Bauplan (einen „Werkzeugkasten") für alle möglichen Entscheidungen.

Stellen Sie sich das so vor:

• Der Bauplan (Ontologie): Zuerst liest die KI alle medizinischen Leitlinien und erstellt eine Art Karte aller möglichen Behandlungen (Operation, Strahlentherapie, Chemotherapie etc.).
• Die Argumentations-Fabrik (QBAF): Für jede dieser Behandlungen baut die KI ein festes Gerüst aus Argumenten.
  • Beispiel bei „Operation": Es gibt Argumente, die sagen: „Operation ist gut, wenn der Tumor leicht zu entfernen ist." (Ein Pfeil nach oben).
  • Es gibt Argumente, die sagen: „Operation ist schlecht, wenn der Patient sehr alt ist oder der Tumor in einem gefährlichen Bereich liegt." (Ein Pfeil nach unten).
  • Die KI berechnet für jedes Argument eine Stärke (wie stark wiegt dieses Argument?).

Dieses Gerüst ist allgemeingültig. Es gilt für alle Patienten, die jemals behandelt werden.

3. Wie es im echten Leben funktioniert (Der Fall)

Jetzt kommt ein konkreter Patient (z. B. ein 85-Jähriger mit einem Tumor im Thalamus).

• Das Einsetzen: Die KI nimmt den allgemeinen Bauplan für „Operation" und füllt ihn mit den Daten dieses Patienten.
• Der Filter: Da der Patient 85 ist und der Tumor in einem kritischen Bereich liegt, werden die Argumente, die für eine Operation sprechen, herausgefiltert oder geschwächt. Die Argumente gegen die Operation werden aktiviert.
• Das Ergebnis: Die KI rechnet die verbleibenden Argumente durch und sagt: „Operation ist für diesen Patienten nicht ratsam."
• Der Clou: Die KI zeigt Ihnen genau das Gerüst, das sie benutzt hat. Sie sehen: „Ah, hier steht: Wenn Tumor im Thalamus -> Keine Operation."

4. Der große Vorteil: Globale Korrektur (Der „Schalter")

Das ist der wichtigste Teil, der ArgEval so besonders macht.

Stellen Sie sich vor, die KI empfiehlt fälschlicherweise eine Operation für einen Patienten, obwohl sie es nicht sollte.

• Bei alten Methoden: Sie müssten die KI bitten, den Fehler bei diesem einen Patienten zu korrigieren. Das war's.
• Bei ArgEval: Sie schauen in den allgemeinen Bauplan. Sie sehen, dass das Argument „Operation ist gut" zu stark gewichtet war oder dass eine Bedingung falsch formuliert wurde.
  • Sie ändern einen einzigen Schalter im Bauplan (z. B. „Für Patienten über 70 mit Tumor im Thalamus: Operation ist streng verboten").
  • Die Magie: Dieser eine kleine Change wirkt sich sofort auf alle zukünftigen Patienten aus, die ähnliche Merkmale haben. Sie korrigieren nicht nur einen Fall, Sie verbessern das System für die ganze Welt. Das nennen die Autoren „globale Anfechtbarkeit".

Zusammenfassung mit einer Metapher

Stellen Sie sich vor, Sie sind ein Koch.

• Die alte KI ist ein Koch, der für jeden Gast ein neues Rezept aus dem Kopf erfindet. Wenn er dem Gast A zu viel Salz gibt, ist er beim Gast B wieder genauso salzig.
• ArgEval ist ein Koch, der erst ein perfektes Kochbuch mit genauen Regeln schreibt (z. B. „Wenn der Gast über 80 ist, dann weniger Salz"). Wenn er merkt, dass das Rezept für alte Gäste nicht stimmt, ändert er eine Zeile im Kochbuch. Ab sofort kocht er für alle zukünftigen Gäste über 80 richtig.

Warum ist das wichtig?

In der Medizin (und anderen wichtigen Bereichen) ist es lebenswichtig, dass man versteht, warum eine Entscheidung getroffen wurde, und dass man Fehler im System dauerhaft beheben kann, ohne das ganze System neu programmieren zu müssen. ArgEval macht KI nicht nur schlauer, sondern auch transparenter, korrigierbar und effizienter.

Kurz gesagt: ArgEval verwandelt die KI von einem mysteriösen Orakel in einen überprüfbaren und lernfähigen Berater, dessen Regeln man gemeinsam mit Experten verbessern kann.

Technische Zusammenfassung

1. Problemstellung

Große Sprachmodelle (LLMs) zeichnen sich zwar durch starke allgemeine Fähigkeiten aus, sind jedoch für den Einsatz in hochriskanten Domänen (wie der Medizin) aufgrund ihrer Intransparenz (Opazität) und Unvorhersehbarkeit (z. B. Halluzinationen) problematisch.

• Mangelnde Erklärbarkeit: Herkömmliche Methoden wie „Chain-of-Thought" (CoT) liefern oft untreue Erklärungen, die nicht den tatsächlichen internen Schlussfolgerungsprozessen des Modells entsprechen.
• Eingeschränkte Anfechtbarkeit: Bestehende Ansätze, die Argumentation mit LLMs kombinieren (z. B. ArgLLMs, ArgRAG), beschränken sich meist auf vordefinierte binäre Entscheidungen und ermöglichen nur eine lokale Anfechtbarkeit (Korrektur für einen spezifischen Einzelfall). Eine Änderung der zugrundeliegenden Logik für zukünftige Fälle ist nicht vorgesehen, was zu wiederholten Fehlern führt.

2. Methodik: Das ArgEval-Framework

Die Autoren stellen ArgEval vor, ein Framework, das von einer fallbezogenen Argumentation zu einer strukturierten Evaluation allgemeiner Entscheidungsoptionen übergeht. Der Prozess gliedert sich in zwei Hauptphasen:

A. Allgemeine Aufgabenverarbeitung (General Task Processing)

In dieser Phase wird das Entscheidungswissen aus Richtlinien extrahiert, bevor ein konkreter Fall vorliegt:

1. Konstruktion einer Entscheidungs-Ontologie: Aus natürlichen Sprachdokumenten (z. B. klinischen Leitlinien) wird eine strukturierte Ontologie aller möglichen Entscheidungsoptionen (z. B. verschiedene Therapien) extrahiert.
2. Erstellung allgemeiner QBAFs (Quantitative Bipolar Argumentation Frameworks): Für jede Option in der Ontologie wird ein allgemeines QBAF generiert.
   • Ein LLM miniert Argumente für und gegen eine Option sowie deren gegenseitige Angriffs- und Unterstützungsbeziehungen.
   • Es werden natürlichsprachliche Bedingungen (z. B. „Patient ist älter als 65") für jedes Argument extrahiert.
   • Diese Bedingungen werden in formale JSON-Schemata übersetzt, um Parameter für die spätere Instanziierung zu definieren.
   • Jedes Argument erhält eine Basis-Score (Intrinsische Stärke), die von einem LLM geschätzt wird.

B. Fallspezifische Inferenz (Case-Specific Inference)

Bei der Behandlung eines konkreten Patienten:

1. Parameter-Extraktion: Ein LLM extrahiert strukturierte Parameter aus der Patientenbeschreibung (z. B. Alter, KPS-Wert, Tumorlage) basierend auf dem globalen Schema.
2. Instanziierung: Die allgemeinen QBAFs werden mit den extrahierten Parametern instanziiert. Argumente, deren Bedingungen nicht erfüllt sind (z. B. „Tumor im Thalamus" vs. „chirurgische Resektion möglich"), werden zusammen mit ihren Nachkommen entfernt.
3. Berechnung der Empfehlung: Ein gradueller Semantik-Algorithmus (DF-QuAD) berechnet die endgültige Stärke der verbleibenden Argumente. Das Ergebnis ist ein Erklärbarer Empfehlungsscore.

C. Globale Anfechtbarkeit (Global Contestability)

Das Kernmerkmal von ArgEval ist die Möglichkeit, das gemeinsame allgemeine QBAF zu bearbeiten. Wenn ein Benutzer eine Empfehlung anfechtet, kann er:

• Die Basis-Scores der Argumente im allgemeinen Framework anpassen.
• Neue Argumente hinzufügen oder Bedingungen im Schema ändern.
  Da das allgemeine Framework für alle zukünftigen Fälle gilt, führt eine Korrektur an einem Beispiel zu einer sofortigen Verbesserung der Vorhersagen für alle zukünftigen Fälle, die dieselben Bedingungen erfüllen.

3. Schlüsselergebnisse

Die Methode wurde am Beispiel der Behandlungsempfehlung für Glioblastome (ein aggressiver Hirntumor) evaluiert.

• Leistungsfähigkeit: ArgEval erreicht in Bezug auf die Übereinstimmung mit klinischen Labels (Label Match Rate - LMR) und die Rangfolge der Empfehlungen (NDCG) wettbewerbsfähige Ergebnisse im Vergleich zu Baselines wie reinen LLMs und adaptierten ArgLLMs.
• Effizienz: ArgEval ist deutlich kosteneffizienter. Da die Argumentationsstrukturen vorab generiert werden, benötigt ArgEval bei der Inferenz deutlich weniger Token (bis zu 8,7-mal weniger als die günstigste ArgLLMs-Variante).
• Auswirkung der Anfechtbarkeit (Case Study): In einem Experiment wurde ein einzelner Fall manuell korrigiert, indem die Basis-Scores im allgemeinen QBAF für eine bestimmte Therapieoption angepasst wurden.
  • Ergebnis: Diese eine Anpassung führte nicht nur zur Korrektur des spezifischen Falls, sondern verbesserte die Gesamtleistung auf dem gesamten Datensatz signifikant (LMR stieg von 0,8009 auf 0,8784). Dies beweist den Wert der globalen Anfechtbarkeit.

4. Hauptbeiträge

1. Neues Framework (ArgEval): Ein System, das durch Argumentation sowohl treue Erklärbarkeit als auch globale Anfechtbarkeit bietet, indem es von fallbasierten zu allgemeinen Entscheidungsräumen wechselt.
2. Anwendung im Gesundheitswesen: Erfolgreiche Demonstration an der Glioblastom-Behandlung, die zeigt, dass das System klinischen Praktiken folgt und dabei nur einen Bruchteil der Rechenkosten anderer Methoden verbraucht.
3. Nachweis des Nutzens globaler Korrekturen: Ein empirischer Beleg dafür, dass die Korrektur eines einzelnen Beispiels im allgemeinen Argumentationsrahmen die Leistung des Modells für zukünftige Fälle nachhaltig verbessert.

5. Bedeutung und Ausblick

Das Paper adressiert eine kritische Lücke im Einsatz von KI in hochriskanten Bereichen: Die Unfähigkeit, Modelle nicht nur lokal, sondern systemisch zu korrigieren.

• Vertrauen: Durch die Verwendung von formalen Argumentationsframeworks (QBAFs) statt „Black-Box"-Vorhersagen wird die Nachvollziehbarkeit der Entscheidungen gewährleistet.
• Skalierbarkeit: Die Trennung von allgemeinem Wissen (Ontologie/QBAF) und fall-spezifischer Inferenz ermöglicht eine effiziente Skalierung.
• Zukunft: Die Autoren schlagen vor, die Benutzerfreundlichkeit der Anfechtung durch User-Studies weiter zu erforschen und das Framework auf andere Domänen außerhalb der Medizin zu übertragen.

Zusammenfassend stellt ArgEval einen Paradigmenwechsel dar: Weg von der reinen Generierung von Antworten für Einzelfälle hin zu einem strukturierten, überprüfbaren und global korrigierbaren Entscheidungssystem.