SEF-CLGC at SemEval-2026 Task 11: Logical Notation Impact on Language Model Performance

Technische Samenvatting: SEF-CLGC bij SemEval-2026 Taak 11

Probleemstelling
Dit artikel behandelt SemEval-2026 Taak 11 Subtaak 1, die Large Language Models (LMs) uitdaagt om de logische geldigheid van syllogismen te bepalen door inhoudelijk redeneren te scheiden van formeel redeneren. Het kernprobleem is dat LMs vaak last hebben van "inhoudsbias" (content bias), waarbij hun oordelen over geldigheid worden beïnvloed door de realiteitswaarde van de argumenten in plaats van door hun logische structuur. Hoewel grotere modellen over het algemeen beter presteren, blijven zij vatbaar voor dezelfde redeneerbiases als mensen. De auteurs onderzoeken of Small Language Models (SLMs), wanneer zij getraind worden op een combinatie van natuurlijke taal en formele logische notaties, een concurrerende redeneerprestatie kunnen leveren terwijl zij deze biases verminderen.

Methodologie
De auteurs maken gebruik van en verbeteren een pipeline genaamd de Syllogistic Evaluation Framework-Common Logic Grammar Construction (SEF-CLGC). De methodologie verloopt via de volgende fasen:

1. Dataset Transformatie:

   • NL-naar-FOL Vertaling: Syllogismen in Natuurlijke Taal (NL) uit de taakdataset worden eerst vertaald naar First-Order Logic (FOL) met behulp van het OpenAI ChatGPT 5.2 model.
   • Categorisering: De SEF-component categoriseert syllogismen in vier typen: Hypothetisch, Disjunctief, Categorisch en Complex.
   • Notatiegeneratie: Met behruik van Backus-Naur Form (BNF) grammatica's genereert het systeem Abstract Syntax Trees (AST's) en transformeert het de FOL-representaties naar diverse logische notaties. De pipeline introduceert twee nieuwe notaties naast bestaande:
     • CLINGO: Een taal voor Answer Set Programming (ASP).
     • MINIFOL2: Een aangepaste notatie die FOL-operatoren vervangt door Booleaanse equivalenten en de existentiële kwantificator ("∃") elimineert.
   • De resulterende dataset bevat de originele NL-syllogismen en hun transformaties naar notaties zoals FOL, CLIF, CGIF, TFL+, CLINGO en MINIFOL2.

2. Model Training en Architectuur:

   • De auteurs gebruiken Flan-T5 modellen (specifiek small en large varianten), waarbij de scope beperkt blijft tot modellen met minder dan 1 miljard parameters om soberheid (frugality) te waarborgen.
   • Er worden twee modelfamilies getraind:
     • SEMEVAL Modellen: Vanilla Flan-T5 modellen die direct zijn gefinetuned op de splitsingen van de taakdataset.
     • FOLIO-SEMEVAL Modellen: Flan-T5 modellen die vooraf zijn gefinetuned op de FOLIO-dataset (een dataset voor logisch redeneren) voordat ze zijn gefinetuned op de SemEval-taakdata.
   • Training vindt plaats via Supervised Fine-Tuning (SFT), waarbij de input bestaat uit syllogismen in één of meerdere notaties, en het doel de validiteitslabel ("True" of "False") is.

3. Evaluatiemetrieken:

   • Prestaties worden gemeten aan de hand van Accuracy (ACC) en de Content Effect (CE), die het prestatieverschil tussen plausibele en implausibele syllogismen kwantificeert.
   • De primaire rangschikkingsmetriek is de Content Score (CS), gedefinieerd als $CS = \frac{ACC}{1 + \log(1 + CE)}$. Deze metriek beloont een hoge accuratesse terwijl een hoge inhoudsbias wordt bestraft.

Belangrijkste Resultaten

• Prestaties van SLMs: Het best presterende model, een FOLIO-SEMEVAL Flan-T5-large getraind op een combinatie van Natuurlijke Taal en FOL (NL-FOL), behaalde een Content Score van 27,80% en een accuratesse van 90,57% op de blind evaluatieset.
• Impact van Notaties:
  • In de SEMEVAL-familie (geen pre-training op FOLIO) presteerde Natuurlijke Taal (NL) alleen het best, gevolgd door NL-FOL. Zuivere formele notaties (bijv. FOL, CLIF) presteerden over het algemeen slechter dan NL.
  • In de FOLIO-SEMEVAL-familie veranderde de pre-training op logische data de hiërarchie aanzienlijk. De NL-CLIF combinatie bereikte de hoogste trainingsaccuratesse (0,95), en NL-FOL behaalde de hoogste evaluatie Content Score.
  • Notaties zoals MINIFOL2 en TFL+ presteerden slecht, waarschijnlijk door de onbekendheid van de modellen met hun specifieke syntactische structuren.
• Bias Reductie: Het gebruik van formele notaties, met name in combinatie met NL, verminderde de Content Effect (CE) aanzienlijk. Bijvoorbeeld, het NL-FOL model verminderde de CE naar 8,55 vergeleken met 9,57 voor het NL-alleen model in de FOLIO-SEMEVAL familie.
• Foutanalyse: De modellen toonden een sterk vermogen om geldige syllogismen te detecteren, maar hadden moeite met ongeldige syllogismen, wat resulteerde in een hoog aantal False Positives (het voorspellen van ongeldige syllogismen als geldig). Deze bias was prominenter aanwezig in modellen die waren voorgetraind op de FOLIO-dataset.

Betekenis en Claims
Het artikel claimt dat het werk aantoont dat Small Language Models levensvatbare agenten zijn voor complexe logische redeneertaken wanneer zij worden uitgebreid met formele logische notaties. Specifiek stellen de auteurs dat:

1. Soberheid en Concurrentiekracht: Het is mogelijk om een hoge accuratesse en concurrerende ranglijsten (7e in Content Effect, 10e in Accuracy) te behalen met SLMs, wat de trend om uitsluitend op massieve modellen te vertrouwen uitdaagt.
2. Bias Reductie: Het integreren van formele logische notaties (een neuro-symbolische benadering) hels de inhoudsbias verminderen, waardoor modellen meer over structuur kunnen redeneren dan over de realiteitswaarde.
3. Waarde van Pre-training: Voor-fine-tuning op logische datasets (zoals FOLIO) verbetert het vermogen van het model om formele notaties effectief te leren en te gebruiken, zelfs bij kleinschalige taken.

De auteurs concluderen dat hoewel hun aanpak effectief is, toekomstig werk nodig is om de onbalans in de categorieën van syllogismen binnen de dataset aan te pakken en om te onderzoeken wat de specifieke redenen zijn voor de moeilijkheden van de modellen met ongeldige syllogismen. Zij erkennen ook de beperking van het vertrouwen op een commercieel model voor de initiële NL-naar-FOL vertalingsstap.