FregeLogic at SemEval 2026 Task 11: A Hybrid Neuro-Symbolic Architecture for Content-Robust Syllogistic Validity Prediction

Probleemstelling

Het paper adresseert de uitdaging van syllogistisch redeneren bij taalmodellen (LLMs), met name het fenomeen van content effects (inhoudseffecten). LLMs hebben de neiging om hun logische oordeel te laten beïnvloeden door de "geloofwaardigheid" of realiteitswaarde van de stellingen, in plaats van puur op de logische structuur te focussen.

• De taak: SemEval-2026 Taak 11 (Subtask 1) vraagt om het voorspellen van de validiteit van syllogismen (geldig of ongeldig).
• De metriek: De evaluatie gebruikt een gecombineerde score die zowel nauwkeurigheid (accuracy) als een lage content effect (CE) belooft. Een lage CE betekent dat het model niet beïnvloed wordt door of een stelling "geloofwaardig" klinkt in de echte wereld.
• De uitdaging: Bestaande LLMs vertonen menselijke vooroordelen waarbij ongeloofwaardige maar logisch geldige argumenten vaak als ongeldig worden afgedaan, en omgekeerd.

Methodologie: FregeLogic

De auteurs presenteren FregeLogic, een hybride neuro-symbolische architectuur die de sterktes van LLM-ensembles combineert met formele logische verificatie. Het systeem bestaat uit drie hoofdblokken:

1. LLM Ensemble (Neuro-deel)

• Opbouw: Een ensemble van vijf klassenators, samengesteld uit drie open-weight modellen: Llama 4 Maverick, Llama 4 Scout en Qwen3-32B.
• Diversiteit: Om onafhankelijke fouten te maximaliseren, worden deze modellen gecombineerd met vier verschillende prompt-strategieën:
  • Zero-shot (directe vraag).
  • Few-shot (voorbeeldstelsel).
  • Few-shot Chain-of-Thought (CoT) met expliciete redenering.
  • Simple CoT (minimale instructie om structuur te identificeren).
• Selectie: Per "fold" (in de cross-validatie) worden de vijf beste (model, prompt)-combinaties geselecteerd op basis van een interne validatieset.

2. Z3 Formele Verificatie (Symbolisch deel)

• Rol: De Z3 SMT-solver (Satisfiability Modulo Theories) fungeert als een "tiebreaker" (beslissingsstem) die volledig neutraal is ten opzichte van semantische inhoud.
• Proces:
  1. Structuur-extractie: Een LLM extrahert de logische structuur (termen, premissen, conclusie) en zet deze om in een JSON-object. Hiervoor wordt gebruikgemaakt van de structured-output API van Amazon Bedrock, wat de extractiefouten drastisch verlaagt (van ~22% naar bijna 0%).
  2. FOL-codering: De syllogismen worden omgezet naar eerste-orde logica (FOL). Cruciaal is de toepassing van een Aristotelische interpretatie met existentiële import (bijv. "Alle S zijn P" impliceert dat er S's bestaan), wat is gevalideerd aan de hand van de dataset.
  3. Satisfiability Check: De solver controleert of de premissen consistent zijn en of de conclusie logisch volgt. Als de premissen inconsistent zijn, wordt het ensemble gevolgd om valse positieven te voorkomen.

3. Beslissingsmodule (Tiebreaker)

Het kernidee is dat onvermijdelijke onenigheid binnen het ensemble een signaal is voor content-bias.

• Stemmechanisme: Het ensemble geeft een stemvector van 5.
• Marge: De marge $m$ wordt berekend als $|2 \cdot \sum v_i - 5|$.
  • $m=5$: Unaniem (5-0 of 4-1).
  • $m=1$: Nieuwe split (3-2).
• Regel: Alleen bij een 3-2 split (marge $\le$ 1) wordt de Z3-verdict gebruikt als definitief antwoord. Bij een duidelijke meerderheid (4-1 of 5-0) wordt het ensemble-antwoord gehandhaafd. De hypothese is dat bij 3-2 splits de content-bias de modellen verdeelt, en dat Z3 hier de objectieve waarheid kan herstellen.

Belangrijkste Resultaten

De resultaten zijn gebaseerd op geneste 5-voudige cross-validatie op de dataset van 960 syllogismen.

• Verbetering: FregeLogic behaalt een 2.76 punt hogere gecombineerde score dan het puur ensemble.
• Drijfveren: Dit komt door een 16% reductie in content effect (van 3.39 naar 2.85) en een 0.9% stijging in nauwkeurigheid.
• Subgroepanalyse: De verbetering is het grootst bij "ongeldig-geloofwaardige" (Invalid-Believable) syllogismen, waar content-bias het sterkst werkt (nauwkeurigheid steeg van 90.2% naar 94.5%).
• Efficiëntie van de tiebreaker: De 3-2 splits komen slechts in 7.9% van de gevallen voor. Z3 slaagt erin om in 19 van de 30 gevallen waar het het ensemble corrigeert, de juiste beslissing te nemen (netto +8 correcties).

Key Contributions (Bijdragen)

1. Hybride Architectuur: Een bewezen effectieve methode om formele logica (Z3) selectief in te zetten op de momenten dat LLMs het minst zeker zijn (lage consensus), in plaats van overal of nergens.
2. Content Effect Reductie: Het aantonen dat ensemble-onenigheid een proxy is voor content-bias, en dat formele verificatie deze bias kan neutraliseren zonder de algehele nauwkeurigheid te schaden.
3. Technische Innovatie in Extractie: Het gebruik van structured-output API's voor het extraheren van logische structuren heeft de faalrate van de Z3-pipeline van ~22% naar bijna 0% teruggebracht, wat essentieel was voor de succesvolle integratie.
4. Validatie van Existentiële Import: Het paper bevestigt experimenteel dat de dataset een Aristotelische interpretatie vereist (met existentiële import), wat correcte FOL-codering mogelijk maakt.

Betekenis en Conclusie

FregeLogic demonstreert dat gerichte neuro-symbolische integratie superieur is aan pure LLM-approaches voor redeneertaken waar semantische bias een rol speelt.

• Significantie: Het paper biedt een blauwdruk voor het oplossen van het "content effect" probleem zonder de interne architectuur van de LLMs aan te passen (geen fine-tuning of activation steering nodig).
• Beperkingen: Het systeem is afhankelijk van de kwaliteit van de structuur-extractie door de LLM. Fouten in het identificeren van propositietypes (bijv. dubbele ontkenningen) kunnen leiden tot verkeerde Z3-uitspraken, hoewel dit zelden voorkomt.
• Toekomst: De auteurs suggereren dat dit mechanisme van "selectieve deferentie" (uitstel van beslissing bij onzekerheid) mogelijk generaliseert naar andere redeneertaken.

Samenvattend toont FregeLogic aan dat het combineren van de flexibiliteit van LLMs met de strikte logica van formele solvers, specifiek ingezet op de "moeilijke" gevallen, leidt tot robuustere en eerlijkere redeneersystemen.