ITLC at SemEval-2026 Task 11: Normalization and Deterministic Parsing for Formal Reasoning in LLMs

Dit paper introduceert een methode voor ITLC bij SemEval-2026 Taak 11 die syllogismen omzet naar canonieke logische representaties en deterministische parsing toepast om inhoudseffecten in meertalige redeneertaken te verminderen, wat resulteert in top-5 prestaties zonder complexe fine-tuning.

De kern

Stel je voor dat je een groep slimme, maar soms een beetje vooroordeelvolle robots hebt die heel goed kunnen lezen en praten, maar soms te snel oordelen op basis van wat ze al weten over de wereld. Dit zijn de Grote Taalmodellen (LLMs).

Deze robots hebben een probleem: als je ze een logisch raadsel geeft, kijken ze vaak niet naar de structuur van het raadsel, maar naar de inhoud. Ze denken: "Oh, dit gaat over honden en katten? Dan moet het antwoord wel kloppen, want dat weet ik uit mijn leven." Maar in de logica maakt het niet uit of het over honden gaat of over groene kaas; het gaat erom of de conclusie noodzakelijk volgt uit de premises.

Dit artikel beschrijft hoe een team (ITLC) een slimme oplossing bedacht om deze robots "koud" en objectief te maken, zonder ze te herscholen of te hacken.

Hier is de uitleg in simpele taal, met wat creatieve vergelijkingen:

1. Het Probleem: De "Smakelijke" Valstrik

Stel je voor dat je een robot vraagt: "Alle bloemen zijn planten. Geen enkele roos is een plant. Dus, geen enkele roos is een bloem."
Een mens ziet direct: "Wacht, dat klopt niet, want de tweede zin is onzin." Maar een robot die te veel op zijn "wereldkennis" vertrouwt, kan in de war raken. Hij denkt: "Rozen zijn bloemen, dus de conclusie klinkt logisch," en negeert dat de tweede zin de hele logica kapot maakt.

Dit noemen de auteurs content effect (inhoudseffect). De robot laat zich afleiden door de betekenis van de woorden, in plaats van te kijken naar het skelet van het argument.

2. De Oplossing: De "Vertaal- en Scherpslijper"-Machine

Het team heeft een nieuwe methode bedacht die werkt als een twee-staps proces. Het is alsof je de robot eerst een bril opzet die alles in één kleur ziet, en daarna een strakke meetlat gebruikt.

Stap 1: De "Naamloze" Vertaling (Normalisatie)

Stel je voor dat je een gesprek hebt in het Spaans, Frans of Nederlands. De robot is hier soms slecht in.
De methode doet het volgende:

• Vertalen naar een neutrale taal: Ze nemen de zin en vertalen alleen de logische schakels (woorden als "alle", "geen", "sommige") naar het Engels.
• Verdwenen namen: De echte namen (zoals "hond", "kat", "auto") worden vervangen door simpele letters: A, B en C.
  • Voorbeeld: In plaats van "Alle honden zijn dieren", wordt het: "Alle A zijn B".
  • In plaats van "Geen enkele kat is een hond", wordt het: "Geen enkele C is A".

Dit is alsof je een ingewikkeld recept in een vreemde taal omzet naar een simpele lijst met ingrediënten: "Neem 2 koppen A, voeg 1 kop B toe." De smaak (de inhoud) is weg, maar de structuur (hoe je het moet maken) blijft perfect over.

Stap 2: De Strikte Regels (Deterministisch Parsers)

Nu de robot alleen nog maar letters en simpele regels ziet, gebruiken ze geen "slimme gok" meer. Ze gebruiken een strikte checklist (een deterministische parser).

• Het is als een slot en sleutel. Als de structuur van de zinnen (de "sleutel") niet perfect past in de regels van de logica (het "slot"), dan is het antwoord: Fout.
• Als het wel past, dan is het antwoord: Klopt.

Er is geen ruimte voor "misschien" of "het klinkt wel logisch". Het is of het wel, of het niet.

3. Waarom werkt dit zo goed?

In de wedstrijd (SemEval-2026) probeerden ze dit op een wereldwijd niveau, met zinnen in het Engels, Spaans, Swahili, en nog veel meer talen.

• De "Gewone" Robot (LLM-only): Probeerde het raadsel op te lossen door te denken. Hij viel vaak in de valstrik van de inhoud. Hij dacht: "Oh, dit gaat over appels, dus ik geloof het." Resultaat: Hij maakte fouten en had vooroordelen.
• De "Nieuwe" Methode (ITLC): Kijkt alleen naar de vorm. Omdat ze de namen hebben verwijderd, kan de robot niet meer "gissen" op basis van zijn kennis over appels of honden. Hij moet puur kijken of de letters A, B en C logisch met elkaar verbonden zijn.

Het resultaat? Hun methode kwam in de top 5 van alle deelnemers. Ze waren niet alleen heel nauwkeurig, maar ze maakten ook bijna geen fouten door vooroordelen.

4. De Grootste Les: Soms is "Dummen" Slimmer

De belangrijkste les uit dit paper is dat je niet altijd een super-slimme AI nodig hebt om logische raadsels op te lossen. Soms is het beter om de informatie eerst simpel en saai te maken.

Stel je voor dat je een ingewikkeld wiskundig probleem oplost. Als je blijft denken aan de "smaak" van de getallen (bijvoorbeeld: "3 is een geluksgetal"), maak je fouten. Maar als je de getallen gewoon als symbolen behandelt, kun je de oplossing stap voor stap vinden zonder te twijfelen.

Samenvattend:
De auteurs hebben een manier gevonden om slimme robots dwars te dwingen om te kijken naar de bouwtekening van een argument, in plaats van de inrichting. Door de inhoud te verwijderen en de structuur strak te houden, worden ze eerlijker, nauwkeuriger en minder bevooroordeeld, zelfs als ze in verschillende talen praten.

Het is alsof je een robot die altijd probeert te raden, omzet in een robot die alleen maar meet met een liniaal. En met een liniaal kom je altijd op hetzelfde, juiste antwoord.

Technische samenvatting

1. Het Probleem

Grote Taalmodellen (LLMs) kampen met een fundamenteel probleem bij redeneertaken: ze vertonen sterke inhoudseffecten (content effects). Dit betekent dat hun redeneringen vaak worden beïnvloed door hun vooraf getrainde wereldkennis en semantische plausibiliteit, in plaats van strikt te volgen naar de formele logische structuur van een argument. Dit leidt tot bias, onbetrouwbaarheid en gebrek aan robuustheid, vooral in meertalige contexten.

De uitdaging ligt in het ontkoppelen van de inhoudelijke betekenis van de termen van de formele logica. Traditionele aanpakken, zoals complexe fine-tuning of ingrijpen op activatieniveau, zijn vaak rekenintensief en niet altijd effectief in het volledig elimineren van deze bias.

2. Methodologie

Het team introduceert een nieuwe, onbevooroordeelde methode die inhoudseffecten reduceert door middel van expliciete structurele abstractie en deterministisch parseren. De aanpak bestaat uit drie hoofdstappen:

A. Normalisatie (Structuur Abstractie)

Het doel is om natuurlijke taalargumenten (syllogismen) om te zetten in een canonieke, logische representatie die alleen de structuur behoudt en de inhoudelijke bias verwijdert.

• Termenidentificatie: Het model identificeert drie semantische categorieën: het onderwerp (S), het predikaat (P) en de middenterm (M).
• Symbolische Mapping: Deze termen worden gemapt naar symbolische constanten (A, B, C) op basis van hun eerste verschijning.
• Engelse Pivot Normalisatie (EPN): Voor niet-Engelse talen wordt een geconstrueerde vertaling gebruikt. In plaats van vrije vertaling, vertaalt het model alleen de kwantificatoren (bijv. "alle", "geen") en koppelwerkwoorden naar het Engels, terwijl de oorspronkelijke termen in de brontaal behouden blijven. Dit voorkomt lexicale drift die de termidentiteit zou kunnen veranderen.

B. Deterministisch Parseren

Na normalisatie wordt de tekst verwerkt via een deterministische regelmatige expressie (regex) en een lookup-procedure:

• Categorisatie: Elke zin wordt gemapt naar een van de vier categorische vormen: A (Alle S zijn P), E (Geen S zijn P), I (Sommige S zijn P), O (Sommige S zijn niet P).
• Structuurherkenning: Het systeem identificeert de major-premise, minor-premise en conclusie, en bepaalt de "figuur" (de positie van de middenterm).
• Validatie: De geldigheid van het syllogisme wordt bepaald door de afgeleide "stimmung" (mood) en "figuur" te vergelijken met een vooraf gedefinieerde lijst van geldige vormen (bijv. AAA, EAE, etc.). Dit is een regelgebaseerde, niet-stochastische check.

C. Formele Validatie

• Het systeem controleert of de conclusie logisch noodzakelijk volgt uit de premises.
• Het detecteert ook "triviale" geldige gevallen (zoals petitio principii of directe inferenties) om deze niet per ongeluk als ongeldig te markeren.
• Voor de taak van het identificeren van relevante premises selecteert het systeem strikt de twee premises die structureel S en P verbinden via de middenterm.

3. Belangrijkste Bijdragen

• Nieuwe Architectuur: Een hybride aanpak die LLMs gebruikt voor normalisatie (vertaling en structuurherkenning) maar deterministische symbolische logica gebruikt voor de daadwerkelijke validatie. Dit vermijdt de onzekerheid van pure LLM-inferentie.
• Bias-Reductie: De methode toont aan dat het abstracteren van wereldkennis naar formele structuren de inhoudseffecten aanzienlijk reduceert zonder zware fine-tuning.
• Meertalige Robuustheid: Door de "English Pivot" strategie, waar kwantificatoren naar het Engels worden vertaald maar termen behouden blijven, wordt de prestatie over verschillende talen gestabiliseerd.

4. Resultaten

De methode werd geëvalueerd op de SemEval-2026 Task 11 benchmark, die zowel geldigheid als de omvang van inhoudseffecten meet.

• Ranking: Het team behaalde een top-5 ranking in alle 4 subtasks (Engels en meertalig, geldigheid en relevante premises).
• Engelse Taak:
  • Geldigheid: 100% nauwkeurigheid met 0% bias. Dit is een verbetering ten opzichte van een LLM-only baseline (98.43% accuraatheid, 2.13% bias).
  • Relevante Premises: 98.94% nauwkeurigheid.
• Meertalige Taak:
  • Met de EPN+Norm+Parsing aanpak werd 100% nauwkeurigheid en 0% bias bereikt voor geldigheid.
  • Zonder vertaling (Norm + Parsing) daalde de prestatie, wat aantoont dat kwantificator-interpretatie over talen heen een kritieke bottleneck is.
• Vergelijking: De deterministische aanpak overtrof de LLM-only baselines aanzienlijk in het verminderen van bias, zelfs als de pure nauwkeurigheid soms vergelijkbaar was. De LLM-only modellen neigden naar "plausibiliteitsbias" (accepteren van conclusies die semantisch logisch lijken, maar logisch niet volgen).

5. Betekenis en Conclusie

Dit paper demonstreert dat complexe redeneerproblemen niet per se vereisen dat LLMs "slimmer" worden gemaakt via massive fine-tuning. In plaats daarvan biedt een eenvoudige, interpreteerbare structuur (normalisatie + deterministisch parseren) een krachtig alternatief.

• Interpreteerbaarheid: De beslissingen zijn volledig traceerbaar tot logische regels, in tegenstelling tot de "black box" van neurale netwerken.
• Schaalbaarheid: De methode is lichtgewicht en werkt effectief over meerdere talen.
• Toekomst: Het werk onderstreept dat het ontkoppelen van inhoud en vorm essentieel is voor betrouwbare AI-redenering. Het biedt een blauwdruk voor het ontwikkelen van schaalbare, eerlijke redeneersystemen die niet afhankelijk zijn van de vooroordelen in de trainingsdata van het model.

Kortom, door syllogismen te vertalen naar een canonieke logische vorm en deze vervolgens met strikte regels te verifiëren, kan men de inherente bias van LLMs effectief omzeilen en een hoge mate van logische betrouwbaarheid bereiken.