LOGICAL-COMMONSENSEQA: A Benchmark for Logical Commonsense Reasoning

1. Problemstellung

Herkömmliche Benchmarks für Common-Sense-Reasoning (wie CommonsenseQA) basieren meist auf der Auswahl einer einzigen atomaren Antwort aus mehreren Optionen. Dieser Ansatz verschleiert jedoch die inhärente Mehrdeutigkeit realer Situationen, in denen oft mehrere Interpretationen plausibel, gegenseitig ausschließend oder gemeinsam unplausibel sein können.

Das Hauptproblem besteht darin, dass aktuelle Large Language Models (LLMs) zwar statistische Muster erkennen, aber Schwierigkeiten haben, logische Beziehungen zwischen mehreren plausiblen Aussagen zu verknüpfen. Insbesondere fehlt es Modellen an der Fähigkeit, kompositionelles Reasoning durchzuführen, bei dem sie bewerten müssen, ob zwei Aussagen gemeinsam (UND), alternativ (ODER) oder gemeinsam unplausibel (WEDER NOCH) sind. Bestehende Benchmarks testen dies nicht systematisch, was zu einer Überschätzung der tatsächlichen Reasoning-Fähigkeiten von Modellen führt.

2. Methodik und Datensatzkonstruktion

Die Autoren stellen LOGICAL-COMMONSENSEQA vor, einen Benchmark, der Common-Sense-Reasoning als logische Komposition über Paare atomarer Aussagen neu definiert.

• Datengrundlage: Der Datensatz basiert auf CommonsenseQA (12.247 MCQs).

• Konstruktions-Pipeline (3 Stufen):

  1. Generierung: Mit GPT-4o-mini werden für 5.000 Fragen zusätzliche atomare Antwortkandidaten generiert (sowohl plausible als auch unplausible). Der Fokus liegt auf mehrstufigem kausalem oder situativem Reasoning statt auf oberflächlichen lexikalischen Hinweisen.
  2. Verfeinerung und Filterung: Eine weitere LLM-Pass entfernt inkonsistente Antworten, trivial lösbare Optionen und identifiziert „Near-Miss"-Distraktoren (Aussagen, die semantisch passen, aber einen subtilen Common-Sense-Verstoß enthalten). Dies ergibt pro Frage 3 korrekte und 4 inkorrekte atomare Optionen.
  3. Deterministische Logische Komposition: Ein symbolisches Programm kombiniert Paare dieser atomaren Optionen zu logischen Kompositionen, markiert mit drei Operatoren:
     • AND: Beide Aussagen sind unabhängig plausibel.
     • OR: Mindestens eine Aussage ist plausibel.
     • NEITHER/NOR: Keine der beiden Aussagen ist plausibel.
     • Zusätzlich gibt es eine MIXED-Bedingung, bei der verschiedene Operatoren innerhalb derselben Frage vorkommen.

• Human Validation: Um die Validität zu sichern, wurde eine Studie mit dem „Awareness–Consensus"-Framework durchgeführt. Annotatoren bewerteten nicht nur ihre eigene Überzeugung (Awareness), sondern auch, ob sie glauben, dass die Mehrheit anderer dies teilen würde (Consensus). Dies unterstreicht den sozialen Charakter von Common Sense.

• Datensatzgröße: Der finale Datensatz umfasst 19.996 Instanzen (je 4.999 für AND, OR, NEITHER/NOR und MIXED).

3. Experimentelles Setup

Die Autoren evaluierten eine breite Palette von Modellen:

• Modelltypen: Encoder-only (z.B. DeBERTa), Encoder-Decoder (z.B. Flan-T5, Entailer) und Decoder-only LLMs (Open-Weight wie LLaMA-3, Qwen; Closed-Source wie Gemini).
• Einstellungen: Zero-Shot, Few-Shot (bis 3-Shot), Chain-of-Thought (CoT) und Supervised Fine-Tuning (SFT).
• Metriken: Genauigkeit (Accuracy) und Macro-F1.

4. Wichtige Ergebnisse

Die Experimente offenbaren signifikante Lücken in den Reasoning-Fähigkeiten aktueller Modelle:

• Leistung nach Operator-Typ:

  • AND (Konjunktion): Modelle performen relativ gut (z.B. LLaMA-3.3-70B: ~81% F1).
  • OR (Disjunktion): Mittelmäßige Leistung (~60-77% F1).
  • NEITHER/NOR (Negation): Der Leistungseinbruch ist drastisch. Selbst die stärksten Modelle erreichen im Zero-Shot-Setting oft nur ~13–24% F1.
  • MIXED: Die Leistung fällt ebenfalls stark ab, da Modelle die Operatoren nicht zuverlässig unterscheiden können.

• Vergleich mit Fine-Tuning: Während Zero- und Few-Shot-Modelle bei Negation versagen, erreichen feinabgestimmte (fine-tuned) Modelle (z.B. LLaMA-3.1-8B-FT) über alle Operatoren hinweg hohe Werte (83–95% F1). Dies zeigt, dass die Aufgabe lernbar ist und die Fehler im Zero-Shot-Setting auf Inferenz-Limitationen (fehlende Generalisierung) und nicht auf mangelndes Wissen zurückzuführen sind.

• Vergleich mit CommonsenseQA: Ein Modell (LLaMA-3.1-8B), das auf dem ursprünglichen CommonsenseQA 72,2% erreicht, bricht auf LOGICAL-COMMONSENSEQA bei NEITHER/NOR auf nur 13,9% ein. Dies beweist, dass herkömmliche Benchmarks die Fähigkeiten von Modellen überschätzen.

• Fehleranalyse (Decomposition): Eine Zerlegungsanalyse zeigt, dass das Problem nicht allein in der Schätzung der Plausibilität einzelner Aussagen liegt (diese ist oft korrekt). Das Versagen entsteht durch das Zusammenspiel von:

  1. Plausibilitätsschätzung.
  2. Verankerung des Operators (Grounding).
  3. Wettbewerb zwischen Distraktoren.
     Besonders bei NEITHER/NOR neigen Modelle zu „Negations-Inversion" (Wählen der plausibelsten Aussage trotz Negationsoperators) oder „Plausibility-Dominance" (Ignorieren der Negation, wenn die Aussagen inhaltlich stark passen).

5. Hauptbeiträge

1. Neuer Benchmark: Einführung von LOGICAL-COMMONSENSEQA als erster Benchmark, der Common-Sense-Reasoning explizit als logische Komposition (AND, OR, NEITHER/NOR) über atomare Aussagen modelliert.
2. Aufdeckung von Schwächen: Demonstration, dass State-of-the-Art-LLMs bei negationsbasiertem Common-Sense-Reasoning fundamental versagen, obwohl sie bei einfachen Auswahlfragen gut abschneiden.
3. Sozialer Kontext: Integration des „Awareness–Consensus"-Frameworks, um Common Sense als sozial geteilte Erwartung und nicht als absolute Wahrheit zu modellieren.
4. Diagnostisches Werkzeug: Bereitstellung einer kontrollierten Umgebung, um spezifische Reasoning-Fehler (z.B. das Nicht-Verstehen von Negation in Kombination mit Plausibilität) zu isolieren.

6. Bedeutung und Ausblick

Die Arbeit zeigt, dass die aktuelle KI-Forschung bei der Bewertung von Common-Sense-Reasoning zu oberflächlich ist. Die Fähigkeit, logische Operatoren auf plausible Aussagen anzuwenden – insbesondere unter Negation –, ist eine kritische Hürde für robustes maschinelles Denken. LOGICAL-COMMONSENSEQA bietet einen standardisierten Weg, um zukünftige Modelle zu testen und zu verbessern, die nicht nur Fakten abrufen, sondern komplexe, mehrdeutige soziale und logische Szenarien verstehen können. Zukünftige Arbeiten könnten den Operator-Satz erweitern (z.B. Implikation, Kausalität) und die Anwendung auf offene Frage-Antwort-Szenarien oder Dialoge untersuchen.