Technische Zusammenfassung: Neurosymbolisches Lernen für Argumentation zur Inferenzzeit

Problemstellung

Die Verifikation von Behauptungen ist eine kritische Aufgabe in hochriskanten Bereichen wie Gesundheitswesen, Finanzen und wissenschaftlicher Entdeckung. Während Large Language Models (LLMs) in diesem Bereich vielversprechend sind, reicht eine Standard-Binärklassifizierung (Wahr/Falsch) oft nicht aus, wenn zugrundeliegende Informationen unvollständig oder widersprüchlich sind. In solchen Fällen ist ein „Unsicher"-Urteil angemessener als eine erzwungene binäre Entscheidung. Darüber hinaus müssen in hochriskanten Szenarien die Erklärungen für diese Urteile vertrauenswürdig sein – das bedeutet, der Schlussfolgerungsprozess muss die Faktoren, die die endgültige Entscheidung bestimmen, tatsächlich widerspiegeln, anstatt sich auf nachträgliche Rationalisierungen zu verlassen, die möglicherweise nicht mit der internen Logik des Modells übereinstimmen.

Bestehende Ansätze behandeln Argumentation oft nur als ErklärungsSchicht zur Inferenzzeit oder verlassen sich auf fertige LLMs zur Generierung von Argumenten, ohne diese für die spezifische Verifikationsaufgabe zu optimieren. Zudem konzentrieren sich viele Reinforcement-Learning (RL)-Ansätze für Schlussfolgerungen auf Aufgaben mit überprüfbaren, deterministischen Ergebnissen (z. B. Mathematik) und adressieren nicht die inhärente Unsicherheit der Behauptungsverifikation, bei der Ergebnisse mehrdeutig sein können.

Methodik: Argumentation zur Inferenzzeit (ITA)

Die Autoren stellen Argumentation zur Inferenzzeit (ITA) vor, ein trainierbares neurosymbolisches Framework, das für die ternäre Behauptungsverifikation (Wahr, Falsch, Unsicher) entwickelt wurde. Im Gegensatz zu früheren Methoden, die Argumentation ausschließlich zur Erklärung nutzen, integriert ITA formale Argumentationssemantik direkt in den Trainingsloop, um sowohl die Argumentgenerierung als auch die Bewertung zu steuern.

Kernframework

Das System operiert auf Quantitativen Bipolaren Argumentationsframeworks (QBAFs):

1. Argumentgenerierung: Ein LLM (parametrisiert durch $\theta$) generiert eine Menge von unterstützenden ($S_c$) und angreifenden ($T_c$) Argumenten für eine gegebene Behauptung $c$. Die Behauptung selbst wird als Argument $a_c$ behandelt.
2. Zuweisung eines Basiswerts: Ein lernbarer Basiswert-Modell (BSM) (parametrisiert durch $\phi$) weist jedem generierten Argument eine intrinsische Stärke (Basiswert) $\tau(a) \in [0, 1]$ zu. Der Basiswert der Behauptung ist auf einen neutralen Prior von 0,5 festgelegt.
3. Semantische Aggregation: Eine deterministische Argumentationssemantik-Funktion, DF-QuAD, aggregiert die Basiswerte sowie die Unterstützungs-/Angriffsbeziehungen, um eine finale argumentative Stärke $\hat{v}_c = \sigma(a_c)$ für die Behauptung zu berechnen.
4. Herleitung des Urteils: Die finale Stärke wird unter Verwendung fester Schwellenwerte auf ein ternäres Urteil abgebildet:
   • Falsch: $\hat{v}_c \leq 1/3$
   • Wahr: $\hat{v}_c \geq 2/3$
   • Unsicher: $1/3 < \hat{v}_c < 2/3$

Trainingsstrategien

ITA employs zwei verschiedene Trainingsphasen zur Optimierung der Komponenten:

1. Schwach überwacht Lernen für Basiswerte (BSM):

   • Priming-Phase: Der Regressionskopf des BSM wird mittels überwachtem Lernen auf Tripeln aus (Behauptung, Argument, Basiswert) initialisiert, wobei die Werte durch Prompting eines Basis-LLMs generiert werden.
   • Semantischer Verlust-Phase: Der BSM wird mit einer neurosymbolischen Verlustfunktion feinabgestimmt. Der Verlust ist der mittlere quadratische Fehler (MSE) zwischen der vorhergesagten Behauptungsstärke (abgeleitet via DF-QuAD) und dem Ground-Truth-Label (abgebildet auf 0, 0,5 oder 1). Da DF-QuAD differenzierbar ist, können Gradienten durch die Semantik zurückpropagiert werden, um den BSM zu aktualisieren.
   • Auxiliäre Verluste: Um lokale Eigenschaften zu verbessern, führen die Autoren einen Konsistenzverlust (Minimierung der Varianz für semantisch äquivalente Argumente) und einen Ranking-Verlust (Durchsetzung einer vordefinierten Ordnung der Argumentqualität) ein.

2. Reinforcement Learning für Argumentgenerierung:

   • Der Argumentgenerator wird mittels Group Relative Policy Optimization (GRPO) optimiert.
   • Belohnungsfunktion: Die Belohnung wird aus der finalen Behauptungsstärke $\hat{v}_c$ abgeleitet, die vom BSM und DF-QuAD produziert wird. Sie bietet maximale Belohnung für Stärken, die innerhalb des korrekten Klassifikationsintervalls liegen (z. B. hohe Stärke für „Wahr"-Labels), und linear abnehmende Belohnungen, wenn sich die Stärke vom korrekten Schwellenwert entfernt. Dies verwandelt die Argumentationssemantik in ein Trainingssignal, das den Generator dazu anregt, Argumente zu produzieren, die zu korrekten Urteilen führen.

Hauptbeiträge

1. Trainierbares Neurosymbolisches Framework: Die Einführung von ITA, das die Rolle der Argumentation von einer statischen ErklärungsSchicht zur Inferenzzeit zu einer dynamischen Lernschnittstelle erweitert, bei der Semantik das Modelltraining steuern.
2. Optimierungsstrategien: Der Vorschlag zweier neuer Trainingsstrategien:
   • Lernen von Basiswerten über nachgelagerte argumentative Urteile anstatt sich ausschließlich auf statische LLM-Werte zu verlassen.
   • Verwendung formaler Argumentationssemantik zur Generierung von Belohnungen für Reinforcement Learning, um die Argumentgenerierung für die spezifische Aufgabe der Behauptungsverifikation zu optimieren.
3. Vertrauenswürdige Erklärbarkeit: Durch Konstruktion ist das finale Urteil eine deterministische Funktion der generierten Argumente, ihrer gelernten Werte und der Semantik. Dies stellt sicher, dass die Erklärung dem Entscheidungsprozess vertrauenswürdig ist und die Fallstricke nachträglicher Schlussfolgerungsspuren vermeidet.

Experimentelle Ergebnisse

Die Autoren bewerteten ITA an zwei Datensätzen für die ternäre Behauptungsverifikation: TFU Evaluation Claims (abgeleitet von StrategyClaim und DEBATunE) und AVeriTeC (realweltliche Behauptungen). Sie verglichen ITA mit nicht-argumentativen Baselines (direkte Vorhersage via SFT und GRPO) und argumentativen Baselines (Verwendung fertiger LLMs für Argumente und Werte).

• Leistung:

  • Basiswert-Modelle: Gelernte BSMs schnitten signifikant besser ab als argumentative Baselines, die konstante oder gepromptete Werte verwendeten. Das am besten abschneidende BSM (trainiert auf von GPT-5 generierten Argumenten mit semantischem, Ranking- und Konsistenzverlust) erreichte 0,677 Genauigkeit auf TFU und 0,460 balancierte Genauigkeit auf AVeriTeC, übertraf alle vertrauenswürdig erklärbaren Baselines und konkurrierte mit den stärksten Baselines für direkte Vorhersagen.
  • Argumentgeneratoren: Das Training des Argumentgenerators via GRPO ergab gemischte, aber positive Ergebnisse und zeigte leichte Verbesserungen gegenüber untrainierten Generatoren, wenn sie mit geprompteten Werten kombiniert wurden, obwohl die Gewinne weniger konsistent waren als diejenigen aus dem Training des BSM.
  • Kombination: Die Kombination eines trainierten Generators mit einem trainierten BSM erbrachte keine additiven Verbesserungen gegenüber dem besten BSM allein, was darauf hindeutet, dass der Bewerter auf eine spezifische Argumentverteilung kalibriert ist.

• Lokale Eigenschaften: Das Training mit auxiliären Verlusten verbesserte signifikant die Konsistenz der Werte für paraphrasierte Argumente und das Ranking von Argumenten nach Qualität, was zeigt, dass das Framework wünschenswerte lokale Eigenschaften jenseits der reinen nachgelagerten Genauigkeit lernen kann.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass ITA zeigt, dass formale Argumentationssemantik als nützliches Trainingssignal für LLMs dienen kann, nicht nur als Aggregationsregel zur Inferenzzeit. Durch die Integration von Argumentation in den Trainingsloop erreicht das System eine wettbewerbsfähige Leistung im Vergleich zu Methoden der direkten Vorhersage, während es prozedurale Vertrauenswürdigkeit bewahrt – das Urteil wird explizit aus überprüfbaren argumentativen Strukturen abgeleitet.

Die Autoren positionieren diese Arbeit als einen Schritt hin zu transparenterer und zuverlässigerer KI in hochriskanten Bereichen, in denen die Fähigkeit zu erklären, warum eine Behauptung unsicher oder falsch ist, ebenso wichtig ist wie die Klassifizierung selbst. Sie erkennen Einschränkungen an, darunter das Fehlen einer externen Evidenzsuche (Argumente werden aus Modellwissen generiert) und die Beschränkung auf Argumentationsframeworks der Tiefe 1, und verweisen diese als Richtungen für zukünftige Arbeiten.