HABIB_TAZ at SemEval-2026 Task 11: Disentangling Formal Logic from Content via Synthetic Training and Multi-Objective Optimization
Das HABIB_TAZ-System erreichte Spitzenplatzierungen in der SemEval-2026 Task 11 durch den Einsatz von mDeBERTa-v3-Modellen, die mit synthetischen syllogistischen Daten mittels Multi-Objective-Optimierung trainiert wurden, um formale Logik effektiv von Inhaltsverzerrungen über mehrere Sprachen hinweg zu entkoppeln.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bringen einem superintelligenten Roboter bei, wie man Logikrätsel löst. Sie geben ihm eine Regel: „Wenn alle Vögel fliegen können und ein Pinguin ein Vogel ist, dann kann ein Pinguin fliegen.“ Ein Mensch würde vielleicht innehalten und sagen: „Warte, Pinguine können nicht fliegen! Diese Regel ist in der realen Welt falsch.“ Aber ein Roboter, der sich zu sehr auf seinen „gesunden Menschenverstand“ verlässt, könnte verwirrt werden. Er könnte denken: „Oh, Pinguine sind Vögel, und Vögel fliegen, also muss die Schlussfolgerung wahr sein“, obwohl die Logik selbst fehlerhaft ist, weil die Ausgangsregel falsch war. Dies ist das knifflige Problem, das Wissenschaftler mit Large Language Models (LLMs) zu lösen versuchen. Dies sind die leistungsstarken KI-Gehirne hinter Chatbots und Suchmaschinen. Sie sind fantastisch darin, Geschichten zu schreiben und Fragen zu beantworten, aber sie haben oft Schwierigkeiten, zu trennen, was logisch wahr ist von dem, was glaubwürdig klingt. Sie lassen sich von „Inhaltseffekten“ austricksen, bei denen die reale Bedeutung der Wörter sie von der eigentlichen Struktur des Arguments ablenkt. Das Ziel dieser Forschung ist es, eine KI zu bauen, die wie ein strenger Logiker agiert: einer, der prüft, ob die Mathematik des Arguments funktioniert, ungeachtet dessen, ob die Geschichte albern oder vernünftig klingt.
Das Team hinter diesem Projekt, HABIB_TAZ, nahm an einem Wettbewerb namens SemEval-2026 Task 11 teil, um genau diese Fähigkeit zu testen. Ihre Mission war es, ein System zu entwickeln, das Syllogismen (eine Art von logischem Argument mit zwei Prämissen und einer Schlussfolgerung) in 12 verschiedenen Sprachen analysieren und entscheiden konnte, ob die Schlussfolgerung den Regeln folgte, selbst wenn die Prämissen unsinnig waren oder zusätzliche, ablenkende Sätze eingefügt wurden.
Um dies zu lösen, fütterten die Forscher ihre KI nicht einfach mit mehr realen Daten. Stattdessen bauten sie einen „synthetischen“ Trainingsplatz. Stellen Sie sich vor, sie hätten eine riesige Fabrik erschaffen, die Millionen von Logikrätseln unter Verwendung strenger, erfundener Regeln und Fantasie-Wörtern generiert, anstatt echte Tiere oder Objekte zu verwenden. Dies sollte verhindern, dass die KI Abkürzungen basierend auf realweltlichem Wissen lernt. Dann trainierten sie ihr KI-Modell, das auf einer leistungsstarken Sprachmaschine namens mDefter-v3 basiert, mit einem speziellen dreiteiligen Trainingsrezept. Erstens verwendeten sie eine Technik, um sicherzustellen, dass das Modell die schwierigeren, kniffligeren Beispiele nicht ignoriert. Zweitens fügten sie eine „Bias-Strafe“ hinzu, was wie ein Lehrer ist, der den Schüler sanft ausschimpft, jedes Mal, wenn er sich davon ablenken lässt, wie „plausibel“ eine Geschichte klingt, um ihn zu zwingen, sich nur auf die Logik zu konzentrieren. Drittens verwendeten sie eine Konsistenzprüfung, um sicherzustellen, dass das Modell verstand, dass ein komplexer Satz dasselbe logische Ding bedeutete wie ein einfacher.
Die Ergebnisse waren eine Mischung aus perfekten Punktzahlen und interessanten Herausforderungen. Bei den einfacheren Aufgaben – englischsprachige Rätsel, englische Rätsel mit Ablenkungen und Rätsel in 12 Sprachen ohne Ablenkungen – erreichte ihr System eine perfekte 100,0-Punktzahl. Es ignorierte die „Realwelt“-Tricks vollständig und brachte die Logik jedes Mal richtig auf den Punkt, mit null Bias. Die schwierigste Herausforderung war jedoch die Aufgabe „Noisy Multilingual“, bei der die KI mit 12 Sprachen und ablenkenden Sätzen zu tun hatte. Hier belegte das System den 6. Platz. Es lieferte 89,06 % der richtigen Antworten, zeigte aber immer noch einen geringen Anteil an Bias (2,89 %).
Die Forscher fanden heraus, dass ihr spezielles Trainingsrezept bei den leichteren Aufgaben Wunder wirkte und bewies, dass man eine KI zu einem reinen Logiker ausbilden kann, wenn man sie auf synthetischen, regelbasierten Daten trainiert, statt auf unordentlichem Realwelt-Text. Für die schwierigste Aufgabe stellten sie fest, dass das Modell eher mit den ursprünglichen multilingualen Daten als mit englischen Übersetzungen zu kämpfen hatte, was darauf hindeutet, dass die Art und Weise, wie das Modell verschiedene Sprachen handhabt, noch etwas wackelig ist. Sie entdeckten auch, dass das Hinzufügen einer spezifischen „Konsistenz“-Prüfung (unter Verwendung von KL-Divergenz) half, das Modell über verschiedene Sprachen hinweg stabil zu halten, obwohl dies viel Rechenleistung erforderte. Letztendlich legt das Paper nahe, dass, während wir KIs bauen können, die unglaublich gut in reiner Logik sind, das Konzept, sie über jede Sprache und jede Art von Rauschen hinweg robust zu machen, immer noch ein laufender Prozess ist. Das Team hat seine Code- und Datengenerierungswerkzeuge öffentlich zugänglich gemacht, in der Hoffnung, dass andere sie nutzen werden, um noch bessere, logischere KIs zu bauen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.