UFAL-CUNI at SemEval-2026 Task 11: An Efficient Modular Neuro-symbolic Method for Syllogistic Reasoning
Das UFAL-CUNI-Team stellt ein effizientes modulares neuro-symbolisches System für die SemEval-2026-Aufgabe 11 vor, das einen kleinen 4-Milliarden-Parameter-LLM-Parser mit einem symbolischen Theorembeweiser kombiniert, um eine wettbewerbsfähige Genauigkeit in der syllogistischen Schlussfolgerung zu erreichen und dabei Zero-Shot-Baselines zu übertreffen, wobei jedoch die Grenzen der mehrsprachigen Fähigkeiten kleinerer Modelle aufgezeigt werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem sehr intelligenten, aber leicht abgelenkten Schüler (ein Large Language Model) beizubringen, logische Rätsel namens Syllogismen zu lösen. Diese Rätsel sehen so aus:
- Prämisse 1: Alle Katzen sind Tiere.
- Prämisse 2: Manche Tiere sind flauschig.
- Konklusion: Daher sind manche Katzen flauschig.
Das Problem ist, dass dieser Schüler eine schlechte Angewohnheit hat: Er lässt sein Weltwissen in den Weg kommen. Wenn das Rätsel lautet „Alle Katzen sind flauschig", könnte der Schüler „Wahr" antworten, nur weil er weiß, dass Katzen flauschig sind, selbst wenn die Logik des Rätsels diese Schlussfolgerung nicht tatsächlich stützt. Dies wird als „Content-Effekt" bezeichnet. Der Schüler ist durch das, was er für wahr hält, verzerrt, statt durch die Regeln des Rätsels.
Die Autoren dieses Papers haben ein spezielles „Nachhilfesystem" entwickelt, um dies zu beheben. So funktioniert ihr System, einfach erklärt:
1. Der Übersetzer (Der zweisprachige Dolmetscher)
Zuerst, wenn das Rätsel in einer Fremdsprache ist (wie Portugiesisch oder Russisch), verwendet das System ein Large Language Model, um es ins Englische zu übersetzen. Stellen Sie sich dies als einen Dolmetscher vor, der sicherstellt, dass alle die gleiche Sprache sprechen, bevor das Logikspiel beginnt.
2. Der Notationsexperte (Der LaTeX-Schreiber)
Dies ist der clevere Trick des Systems. Anstatt den Schüler zu bitten, das Rätsel direkt zu lösen, bittet das System ihn, die Sätze in einen spezifischen „Code" umzuschreiben, der Prädikatenlogik erster Stufe (FOL) genannt wird, geschrieben in einem Format namens LaTeX (das wie mathematische Formeln aussieht).
- Warum LaTeX? Die Autoren stellten fest, dass den Schüler zu bitten, direkt in der „Muttersprache" des Computers (Prover9-Syntax) zu schreiben, wie das Auffordern eines Menschen war, in Binärcode zu sprechen. Das führte zu zu vielen Fehlern.
- Die Analogie: Es ist wie ein Schüler zu bitten, eine Matheaufgabe zuerst mit Standardzeichen (, , ) auf eine Whiteboard zu schreiben, anstatt zu versuchen, sie direkt in einen Taschenrechner einzutippen, der nur einen seltsamen, spezifischen Code versteht. Der Schüler ist viel besser darin, die „Whiteboard"-Version zu schreiben, weil er sie in seinen Trainingsdaten gesehen hat.
3. Der Übersetzer (Der Code-Konverter)
Sobald der Schüler die Logik im „Whiteboard"-Format (LaTeX) geschrieben hat, fungiert ein einfaches Computerskript (ein „Transpiler") wie ein strenger Redakteur. Es wandelt diesen sauberen LaTeX-Code sofort in den spezifischen, starren Code um, den der Computer benötigt, um den Beweis auszuführen (Prover9-Syntax). Dieser Schritt ist rein mechanisch und involviert nicht den „abgelenkten" Schüler, daher macht er selten Fehler.
4. Der Richter (Der automatische Beweiser)
Schließlich gibt das System den starren Code an einen Theorembeweiser (eine Software namens Prover9) weiter. Dies ist ein Roboter-Richter, der keine Emotionen und kein Weltwissen hat. Ihm ist es egal, ob Katzen flauschig sind oder ob der Mond aus Käse besteht. Er prüft nur: Folgt die Konklusion mathematisch aus den Prämissen? Wenn die Mathematik funktioniert, sagt er „Valid". Wenn nicht, „Invalid".
5. Der Detektiv (Die wichtigen Hinweise finden)
Für schwierigere Rätsel, bei denen zusätzliche, nutzlose Sätze eingemischt sind, verwendet das System einen „greedy algorithm". Er agiert wie ein Detektiv, der versucht, einen Hinweis nach dem anderen zu entfernen. Wenn das Rätsel ohne einen bestimmten Hinweis noch Sinn ergibt, ist dieser Hinweis irrelevant. Wenn das Rätsel zusammenbricht, war dieser Hinweis notwendig. Dies stellt sicher, dass sich das System nur auf die Fakten konzentriert, die tatsächlich zählen.
Was haben sie herausgefunden?
- Klein ist schön: Sie verwendeten ein relativ kleines KI-Modell (4 Milliarden Parameter) für den „Schüler"-Teil. Obwohl kleine Modelle normalerweise mit komplexer Logik kämpfen, machte dieses System sie sehr gut darin, indem es das eigentliche Schließen an den Roboter-Richter auslagerte.
- Die Verzerrung besiegen: Indem sie die KI zwangen, zuerst in Logik zu übersetzen und dann ein Roboter das Ergebnis zu bewerten, gelang es ihnen, die KI daran zu hindern, durch reale Fakten verzerrt zu werden. Der „Content-Effekt" sank erheblich.
- Das Messproblem: Das Paper weist auch auf einen Fehler in der Bewertung des Wettbewerbs hin. Das Bewertungssystem war so empfindlich, dass selbst ein kleiner, zufälliger Fehler die Punktzahl eines Teams ruinieren konnte, was es schwierig machte, zu unterscheiden, ob ein System wirklich „gut" war oder nur „glücklich".
Das Fazit
Das Paper zeigt, dass man keine riesige, superintelligente KI braucht, um logische Rätsel zu lösen. Stattdessen kann man eine kleine KI als Übersetzer verwenden, um menschliche Sprache in Mathematik zu verwandeln, und dann einen dummen, aber perfekten Roboter die eigentliche Denkarbeit erledigen lassen. Diese Kombination verhindert, dass die KI durch das, was sie über die Welt „weiß", abgelenkt wird, und zwingt sie, sich strikt an die Regeln der Logik zu halten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.