FregeLogic at SemEval 2026 Task 11: A Hybrid Neuro-Symbolic Architecture for Content-Robust Syllogistic Validity Prediction
Der Beitrag stellt FregeLogic vor, ein hybrides neuro-symbolisches System für SemEval 2026, das durch die Kombination eines LLM-Ensembles mit einem Z3-SMT-Löser die Vorhersagegenauigkeit syllogistischer Gültigkeit verbessert und gleichzeitig den Einfluss inhaltlicher Voreingenommenheit signifikant reduziert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die große Herausforderung: Logik vs. Vorurteile
Stellen Sie sich vor, Sie müssen entscheiden, ob ein logischer Schluss (ein Syllogismus) wahr ist.
- Beispiel: „Alle Katzen sind Säugetiere. Alle Säugetiere haben vier Beine. Also haben alle Katzen vier Beine." (Das ist logisch korrekt).
- Das Problem: Menschen (und auch KI-Modelle) sind oft faul. Wenn der Schluss glaubhaft klingt, aber logisch falsch ist, glauben wir ihm trotzdem.
- Beispiel: „Alle Katzen sind Säugetiere. Alle Säugetiere fliegen. Also fliegen alle Katzen."
- Logisch ist das falsch (Katzen fliegen nicht). Aber weil der erste Satz „Alle Säugetiere fliegen" so absurd klingt, merken wir den Fehler sofort. Wenn der Satz aber „Alle Katzen sind Säugetiere. Alle Säugetiere sind Tiere. Also sind alle Katzen Tiere" lautet, ist er logisch korrekt, aber langweilig.
- Die KI macht oft Fehler, wenn sie von der „Realität" (ob etwas glaubhaft ist) abgelenkt wird, statt nur auf die reine Logik zu schauen. Das nennt man den Inhaltseffekt.
Die Lösung: FregeLogic – Ein Team aus Träumern und einem strengen Richter
Die Autoren haben ein System namens FregeLogic gebaut, das wie eine clever zusammengesetzte Arbeitsgruppe funktioniert. Es besteht aus zwei Teilen:
1. Das Team der „Träumer" (Die LLM-Ensemble)
Stellen Sie sich fünf verschiedene KI-Experten vor, die alle etwas anders denken.
- Sie sind wie ein Panel aus fünf Richtern oder Detektiven.
- Jeder hat eine andere Persönlichkeit (unterschiedliche Modelle wie Llama oder Qwen) und liest die Fälle mit unterschiedlichen Anweisungen (Prompting-Strategien).
- Wie sie arbeiten: Sie geben ihre Meinung ab (Gültig oder Ungültig). Wenn vier von fünf zustimmen, ist die Sache erledigt. Das Team ist sehr gut darin, die meisten Fälle schnell zu lösen.
Aber: Manchmal sind die fünf Experten sich uneinig. Oft ist es ein 3-zu-2 Ergebnis.
- Die Entdeckung der Autoren: Wenn die Experten sich streiten (3 gegen 2), liegt das fast immer daran, dass einer oder mehrere von ihnen von der „Realität" oder dem Inhalt des Satzes abgelenkt wurden. Sie haben ihre Logik durch Vorurteile ersetzt.
2. Der „strenge Richter" (Der Z3-Solver)
Hier kommt der zweite Teil ins Spiel: Ein mathematischer Logik-Solver namens Z3.
- Stellen Sie sich Z3 als einen extrem strengen, aber völlig blinden Richter vor.
- Z3 interessiert sich nicht dafür, ob Katzen fliegen können oder ob der Satz glaubhaft klingt. Er sieht nur die reine Struktur, wie ein Mathematiker, der nur Zahlen sieht.
- Z3 ist wie ein Schiedsrichter, der nur auf die Regeln schaut, nicht auf die Spieler.
Wie das System zusammenarbeitet (Der „Tiebreaker")
Das Geniale an FregeLogic ist, dass der strenge Richter nicht jeden Fall entscheidet. Das wäre zu langsam und manchmal sogar falsch (weil er die Sprache nicht perfekt versteht).
Stattdessen funktioniert es so:
- Das Team stimmt ab.
- Ist das Ergebnis klar (z. B. 5:0 oder 4:1)? Dann nimmt das Team die Entscheidung. Der Richter muss nicht eingreifen.
- Ist das Ergebnis knapp (3:2)? Das ist das Signal! Das System sagt: „Achtung, hier gibt es Verwirrung durch Vorurteile!"
- Der Richter greift ein: Nur in diesen knappen Fällen schaut sich Z3 den Fall an. Da er keine Vorurteile hat, kann er oft den logischen Fehler finden, den die anderen übersehen haben.
Warum war das erfolgreich?
Die Autoren haben das System getestet und festgestellt:
- Das Team allein war gut, aber machte bei knappen Fällen Fehler, weil sie sich von der „Glaubwürdigkeit" der Sätze täuschen ließen.
- Der Richter allein war oft zu streng und verstand die Sprache manchmal nicht richtig (er sagte oft „falsch", auch wenn es „richtig" war, weil er die Struktur nicht richtig übersetzen konnte).
- Die Kombination: Durch das Mischen beider Welten (Neuro-symbolisch) wurde das System besser.
- Es wurde genauer (weniger Fehler insgesamt).
- Es wurde fairen (der „Inhaltseffekt" sank um 16 %). Das System wurde weniger von der Glaubwürdigkeit der Sätze beeinflusst.
Ein einfaches Bild zur Veranschaulichung
Stellen Sie sich vor, Sie müssen entscheiden, ob ein Bauwerk sicher ist.
- Die LLMs sind wie erfahrene Architekten, die das Gebäude ansehen und sagen: „Sieht stabil aus!" oder „Sieht wackelig aus!". Aber manchmal lassen sie sich von der Farbe des Hauses täuschen („Oh, es ist rot, rote Häuser sind sicherer!").
- Der Z3-Solver ist wie ein Computer, der nur die Statik berechnet. Er sieht keine Farbe, nur Zahlen und Kräfte.
- Das Problem: Wenn der Computer die Baupläne falsch liest (weil die Architekten die Sprache nicht perfekt übersetzt haben), rechnet er falsch.
- Die Lösung: Die Architekten arbeiten zusammen. Wenn sie sich einig sind, bauen sie weiter. Wenn sie sich streiten (weil einer vom roten Anstrich abgelenkt wurde), holen sie den Computer hinzu, um die Statik zu prüfen. Aber nur dann! So vermeiden sie, dass der Computer bei klaren Fällen unnötig eingreift, und nutzen seine Stärke genau dort, wo die Architekten verwirrt sind.
Fazit
FregeLogic zeigt, dass man die Stärken von KI (die kann viel und versteht Sprache) und die Stärken von klassischer Mathematik (die ist unbestechlich und logisch) kombinieren kann. Indem man den „strengen Richter" nur dann ruft, wenn die Experten sich streiten, bekommt man das Beste aus beiden Welten: Schnelligkeit, Genauigkeit und vor allem Fairness gegenüber der Logik, unabhängig davon, ob der Inhalt glaubhaft klingt oder nicht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.