SEF-CLGC at SemEval-2026 Task 11: Logical Notation Impact on Language Model Performance

Sintesi Tecnica: SEF-CLGC a SemEval-2026 Task 11

Definizione del Problema
Questo articolo affronta il SemEval-2026 Task 11 Subtask 1, che sfida i Large Language Models (LM) a determinare la validità logica dei sillogismi, separando il ragionamento sul contenuto dal ragionamento formale. Il problema centrale è che i LM spesso mostrano un "bias di contenuto", in cui i loro giudizi di validità sono influenzati dalla plausibilità nel mondo reale degli argomenti piuttosto che dalla loro struttura logica. Sebbene i modelli più grandi generalmente ottengano prestazioni migliori, rimangono soggetti agli stessi bias di ragionamento degli esseri umani. Gli autori indagano se i Small Language Models (SLM), quando addestrati su una combinazione di linguaggio naturale e notazioni logiche formali, possano raggiungere prestazioni di ragionamento competitive mitigando al contempo questi bias.

Metodologia
Gli autori utilizzano e potenziano una pipeline chiamata Syllogistic Evaluation Framework-Common Logic Grammar Construction (SEF-CLGC). La metodologia si articola attraverso le seguenti fasi:

1. Trasformazione del Dataset:

   • Traduzione NL-to-FOL: I sillogismi in linguaggio naturale (NL) del dataset del task vengono prima tradotti in logica del primo ordine (FOL) utilizzando il modello OpenAI ChatGPT 5.2.
   • Categorizzazione: La componente SEF categorizza i sillogismi in quattro tipi: ipotetici, disgiuntivi, categorici e complessi.
   • Generazione della Notazione: Utilizzando grammatiche Backus-Naur Form (BNF), il sistema genera alberi di sintassi astratta (AST) e trasforma le rappresentazioni FOL in varie notazioni logiche. La pipeline introduce due nuove notazioni insieme a quelle esistenti:
     • CLINGO: Un linguaggio per l'Answer Set Programming (ASP).
     • MINIFOL2: Una notazione personalizzata che sostituisce gli operatori FOL con equivalenti booleani ed elimina il quantificatore esistenziale ("∃").
   • Il dataset risultante include gli originali sillogismi in NL e le loro trasformazioni in notazioni quali FOL, CLIF, CGIF, TFL+, CLINGO e MINIFOL2.

2. Addestramento del Modello e Architettura:

   • Gli autori impiegano modelli Flan-T5 (nello specifico le varianti small e large), limitando l'ambito a modelli con meno di 1 miliardo di parametri per garantire la frugalità.
   • Vengono addestrate due famiglie di modelli:
     • Modelli SEMEVAL: Modelli Flan-T5 vanilla sottoposti a fine-tuning direttamente sugli split del dataset del task.
     • Modelli FOLIO-SEMEVAL: Modelli Flan-T5 pre-fine-tuned sul dataset FOLIO (un dataset di ragionamento logico) prima di essere sottoposti a fine-tuning sui dati del task SemEval.
   • L'addestramento prevede il Supervised Fine-Tuning (SFT) in cui l'input consiste in sillogismi in una o più notazioni, e il target è l'etichetta di validità ("True" o "False").

3. Metriche di Valutazione:

   • Le prestazioni sono misurate utilizzando l'Accuratezza (ACC) e l'Effetto di Contenuto (CE), che quantifica il divario di prestazioni tra sillogismi plausibili e implausibili.
   • La metrica di ranking primaria è il Content Score (CS), definito come $CS = \frac{ACC}{1 + \log(1 + CE)}$. Questa metrica premia l'alta accuratezza penalizzando al contempo l'alto bias di contenuto.

Risultati Chiave

• Prestazioni degli SLM: Il modello con le migliori prestazioni, un FOLIO-SEMEVAL Flan-T5-large addestrato su una combinazione di Linguaggio Naturale e FOL (NL-FOL), ha ottenuto un Content Score del 27,80% e un'accuratezza del 90,57% sul set di valutazione cieco.
• Impatto delle Notazioni:
  • Nella famiglia SEMEVAL (senza pre-addestramento su FOLIO), il solo Linguaggio Naturale (NL) ha ottenuto le prestazioni migliori, seguito da NL-FOL. Le pure notazioni formali (ad esempio, FOL, CLIF) hanno generalmente ottenuto prestazioni inferiori rispetto a NL.
  • Nella famiglia FOLIO-SEMEVAL, il pre-addestramento sui dati logici ha alterato significativamente la gerarchia. La combinazione NL-CLIF ha raggiunto la massima accuratezza di addestramento (0,95) e NL-FOL ha raggiunto il più alto Content Score di valutazione.
  • Notazioni come MINIFOL2 e TFL+ hanno ottenuto scarse prestazioni, probabilmente a causa della scarsa familiarità dei modelli con le loro specifiche strutture sintattiche.
• Mitigazione del Bias: L'uso di notazioni formali, in particolare in combinazione con NL, ha ridotto significativamente l'Effetto di Contenuto (CE). Ad esempio, il modello NL-FOL ha ridotto il CE a 8,55 rispetto a 9,57 per il modello NL-only nella famiglia FOLIO-SEMEVAL.
• Analisi degli Errori: I modelli hanno dimostrato una forte capacità di rilevare sillogismi validi, ma hanno avuto difficoltà con quelli invalidi, mostrando un alto tasso di Falsi Positivi (predire sillogismi invalidi come validi). Questo bias era più pronunciato nei modelli pre-addestrati sul dataset FOLIO.

Significatività e Rivendicazioni
Il paper sostiene che il suo lavoro dimostra la fattibilità di Small Language Models come agenti competitivi per compiti di ragionamento logico complesso quando aumentati con notazioni logiche formali. Nello specifico, gli autori affermano che:

1. Frugalità e Competitività: È possibile ottenere un'alta accuratezza e un ranking competitivo (7° nel Content Effect, 10° nell'Accuratezza) utilizzando SLM, sfidando la tendenza a fare affidamento esclusivamente su modelli massicci.
2. Riduzione del Bias: L'integrazione di notazioni logiche formali (approccio neuro-simbolico) aiuta a ridurre il bias di contenuto, permettendo ai modelli di ragionare maggiormente sulla struttura che sulla plausibilità del mondo reale.
3. Valore del Pre-addestramento: Il pre-fine-tuning su dataset logici (come FOLIO) migliora la capacità del modello di apprendere e utilizzare efficacemente le notazioni formali, anche su scala ridotta.

Gli autori concludono che, sebbene il loro approccio sia efficace, sono necessari lavori futuri per affrontare lo squilibrio delle categorie di sillogismi all'interno del dataset e per investigare le ragioni specifiche della difficoltà dei modelli con i sillogismi invalidi. Riconoscono inoltre il limite di affidarsi a un modello commerciale per la fase iniziale di traduzione NL-to-FOL.