Technische Zusammenfassung: Abduktives Schließen mit probabilistischem Common Sense

1. Problemstellung

Der Beitrag adressiert die Grenzen aktueller neurosymbolischer Ansätze für das Schließen in Large Language Models (LLMs). Während bestehende Methoden natürliche Sprache erfolgreich in formale Logik übersetzen und Solver nutzen, scheitern sie häufig, da formale Solver keinen Zugriff auf notwendiges Common-Sense-Weltwissen haben (z. B. „Weiß ist eine Farbe").

Bisherige Versuche, diese Lücke zu schließen (z. B. LLM-Tres, ARGOS), beruhen auf einem abduktiven Schließrahmen, in dem das LLM fehlende Prämissen ($L$) generiert, um eine Anfrage ($c$) logisch aus dem Kontext ($S$) ableitbar zu machen. Diese Methoden gehen jedoch implizit von einem monolithischen Common Sense aus: dass es einen einzigen, allgemein anerkannten Satz von Fakten $L$ gibt, den alle als wahr akzeptieren.

Die Autoren argumentieren, dass diese Annahme fehlerhaft ist. In der Realität variieren Common-Sense-Überzeugungen zwischen Individuen. Zwei Personen können sich über eine Anfrage nicht aufgrund von Schlussfolgerungsfehlern uneinig sein, sondern weil sie unterschiedliche, aber vertretbare Sätze von Common-Sense-Überzeugungen ($L_1$ vs. $L_2$) vertreten, die zu widersprüchlichen Schlussfolgerungen führen. Darüber hinaus macht die Annahme eines monolithischen Common Sense die Wahrscheinlichkeit der Wahrheit einer Proposition schwer interpretierbar und reduziert sie oft auf einen nicht interpretierbaren Konfidenzwert statt auf eine echte Wahrscheinlichkeit.

Das Kernproblem: Wie lässt sich der Wahrheitswert einer Anfrage $c$ gegeben Prämissen $S$ bestimmen, wenn die notwendigen Common-Sense-Annahmen nicht allgemein vereinbart sind, sondern innerhalb einer Population von Schlussfolgernden variieren?

2. Methodik: Probabilistisches Abduktives Common Sense (PACS)

Die Autoren schlagen PACS vor, einen Rahmen, der Common Sense als Wahrscheinlichkeitsverteilung über eine Population von Schlussfolgernden modelliert, anstatt als einen einzigen statischen Satz von Fakten.

2.1 Theoretischer Rahmen

Die Autoren definieren die Abduktive Wahrscheinlichkeit dafür, dass eine Anfrage $c$ wahr ist, als den Erwartungswert über die Menge aller Menschen ($R$):
$$AP(S, c) \equiv \mathbb{E}_{R} [ \mathbb{1}[S \land L(R) \vdash c] ]$$
wobei $L(R)$ die Menge der Common-Sense-Überzeugungen darstellt, die vom Schlussfolgernden $R$ gehalten werden. Eine Anfrage gilt als „abduktiv wahr", wenn die Mehrheit der Schlussfolgernden zu dem Schluss käme, dass sie wahr ist.

Da der vollständige Überzeugungsvektor $L$ für jedes Individuum unzugänglich ist, approximiert die Methode diese Erwartung, indem sie individuell „Gedanken" (epistemische Aussagen) sequentiell abtastet.

2.2 Der Abtastalgorithmus

Der Algorithmus behandelt die Suche nach einem Beweis als Prozess des Abtastens einzelner Elemente eines Überzeugungsvektors $L = (L_1, L_2, \dots, L_{|D|})$.

1. Kettenregel-Abtastung: Der Prozess tastet Überzeugungen einzeln unter Verwendung der Kettenregel ab: $p(L) = p(L_1)p(L_2|L_1)\dots$.
2. Frühes Stoppen: Die Abtastung erfordert nicht die Generierung des vollständigen Überzeugungsvektors. Sie stoppt, sobald die akkumulierten Überzeugungen $\hat{l}$ in Kombination mit den Prämissen $S$ die Anfrage ($S \land \hat{l} \vdash c$) oder ihre Negation ($S \land \hat{l} \vdash \neg c$) logisch ableiten.
3. Optimierung als MDP: Die Suche nach der optimalen Reihenfolge zum Abtasten von Überzeugungen, um die Rechenkosten (Stoppzeit) zu minimieren, wird als Markov-Entscheidungsprozess (MDP) formuliert.
   • Zustand: Der aktuelle Satz abgetasteter Überzeugungen.
   • Aktion: Auswahl der nächsten Überzeugungsproposition zum Abtasten.
   • Belohnung: Minimierung der erwarteten Anzahl zukünftiger Schritte bis zum Erreichen einer Schlussfolgerung.

2.3 Surrogat-Score-Funktion

Die Berechnung des exakten erwarteten Belohnungswerts erfordert Kenntnis der vollständigen Verteilung $p(L)$, was unlösbar ist. Die Autoren leiten einen lösbaren Surrogat-Score basierend auf Modellzählung (die Anzahl der möglichen Welten, die die Logik erfüllen) ab.
Der vorgeschlagene Score, den man gierig minimieren soll, lautet:
$$\text{Score}(\phi(t)|S) = \#\sigma_{S \land l_{\phi(1:t)}} \times (v_{S \land \hat{l}_t} - b_{S \land \hat{l}_t}) + 1$$
Wobei:

• $\#\sigma$ die Anzahl der vollständig eingeschränkten erreichbaren Zustände ist.
• $v$ die Gesamtzahl der Variablen im Problem ist.
• $b$ die Anzahl der bereits eingeschränkten Variablen ist.
  Dieser Score approximiert die Reduktion der Unsicherheit und leitet die Suche hin zu den informativsten Common-Sense-Annahmen.

2.4 Implementierung

• LLM als Sampler: Das LLM fungiert als bedingter Sampler für die nächste Überzeugungsproposition $l_i$.
• Strahl-ähnliche Suche: Der Algorithmus tastet in jedem Schritt $n$ Kandidaten-Gedanken ab, behält aber die Top-$m$ bewerteten Pfade bei (eine Variante der Strahlsuche).
• Aggregation: Im Gegensatz zur Standard-Strahlsuche, die den einzelnen höchstbewerteten Pfad auswählt, aggregiert PACS die Ergebnisse aller abgeschlossenen Suchpfade. Die endgültige Antwort wird durch eine Mehrheitsabstimmung über die Schlussfolgerungen dieser diversen Pfade bestimmt.

3. Hauptbeiträge

1. Probabilistischer Common-Sense-Rahmen: Der Beitrag führt eine formale Definition abduktiven Schließens ein, die die Heterogenität menschlicher Common-Sense-Überzeugungen explizit modelliert und sich von der Annahme einer monolithischen Wahrheit löst.
2. PACS-Algorithmus: Ein neuartiger Algorithmus, der LLMs und formale Logik-Solver kombiniert, um diverse Schlussfolgerungspfade abzutasten, wobei Modellzählung zur Steuerung der Suche nach minimalen Erklärungen verwendet wird.
3. Empirische Validierung: Der Nachweis, dass die Modellierung von Überzeugungsschwankungen und die Aggregation diverser Pfade zu einer höheren Genauigkeit führt als Methoden, die einen einzigen „korrekten" Schlussfolgerungspfad annehmen oder sich ausschließlich auf LLM-Konfidenzwerte verlassen.

4. Experimentelle Ergebnisse

Die Autoren evaluierten PACS auf drei Datensätzen: FOLIO (logisches Schließen), CosmosQA und QUAIL (Leseverstehen umgewandelt in wahr/falsch).

• Leistung: PACS übertraf Chain-of-Thought (COT), Self-Consistency (SC) und frühere neurosymbolische Methoden (LoT, LLM-Tres, ARGOS) auf FOLIO und QUAIL.
  • Auf FOLIO erreichte PACS 88 % Genauigkeit (unter Verwendung von Llama 3.3 70B), verglichen mit 78 % für die zweitbeste neurosymbolische Methode (ARGOS) und 73 % für COT.
  • Auf QUAIL erreichte PACS 91 % und übertraf die heuristische Strahlsuch-Baseline (If-Beam) um 6 %.
• Vielfalt und Robustheit: PACS reduzierte den Prozentsatz der Probleme, bei denen kein korrekter Schlussfolgerungspfad gefunden wurde, erheblich (z. B. 3 % auf FOLIO gegenüber 16 % für If-Beam). Dies zeigt, dass PACS den Lösungsraum effektiver erkundet.
• Vergleich mit „Denk"-Modellen: Selbst bei Verwendung eines kleineren, nicht-denkenden Modells (Llama 3 8B) übertraf PACS ein modernes 120B „Denk"-Modell (GPT-OSS-120B) auf FOLIO (82 % vs. 82 % auf QUAIL, aber 88 % vs. 82 % auf FOLIO), was darauf hindeutet, dass prinzipielle Suchalgorithmen effektiver sein können als die reine Skalierung der Modellgröße.
• Pfadlänge: PACS fand kürzere Schlussfolgerungspfade (durchschnittliche Länge 4,6 auf FOLIO) im Vergleich zu If-Beam (6,7), was auf eine bessere Planung und weniger „Überdenken" hindeutet.

5. Bedeutung und Behauptungen

Der Beitrag behauptet, dass der Erfolg von PACS zwei Kern-Erkenntnisse validiert:

1. Heterogenität ist entscheidend: Schlussfolgerungssysteme sollten nicht fragen „Was ist die richtige Antwort?", sondern „Was würden die meisten Menschen als richtig bezeichnen?". Dies erfordert die Summierung über diverse Stichproben-Rationale statt die Suche nach einem einzigen monolithischen Beweis.
2. Zielgerichtete Suche: Systeme sollten nicht fragen „Was sind einige wahre Aussagen?", sondern „Welche wahren Aussagen werden mir helfen, dieses Problem zu lösen?". Dies erfordert eine Minimierungsstrategie (Finden des kürzesten, direktesten Pfades) statt einer exhaustiven Generierung.

Die Autoren schließen, dass ihr Rahmen, trotz relativ naiver Annahmen (z. B. gleichmäßige Verteilung der Lösungen), zeigt, dass das Entwerfen konkreter, prinzipieller Suchalgorithmen ein effizienterer Weg zur Verbesserung der Schlussfolgerungsfähigkeiten ist als das bloße Feinabstimmen von LLMs oder das Verlassen auf deren implizite Konfidenz.

6. Einschränkungen

Die Autoren erkennen mehrere Einschränkungen an:

• Annahme der Gleichförmigkeit: Die Herleitung des Surrogat-Scores geht von einem gleichförmigen Modell für die Verteilung erreichbarer Zustände ($p(\sigma_i|l)$) aus, was wahrscheinlich unrealistisch ist.
• Übersetzungsfehler: Die Methode verlässt sich auf ein vortrainiertes LLM zur Übersetzung natürlicher Sprache in Logik. Fehler in diesem Übersetzungsschritt führen zu Rauschen, was insbesondere im CosmosQA-Datensatz festgestellt wurde, wo Übersetzungsfehler häufiger waren.
• Umfang: Der Beitrag untersucht nicht das Feinabstimmen eines dedizierten logischen Übersetzungsmodells, noch schlägt er ein komplexeres Modell für die Überzeugungsverteilung vor, da er diese als außerhalb des aktuellen Rahmens liegend betrachtet.