ITLC at SemEval-2026 Task 11: Normalization and Deterministic Parsing for Formal Reasoning in LLMs

Il paper presenta un metodo innovativo che riduce i bias di contenuto nel ragionamento dei modelli linguistici multilingue trasformando i sillogismi in rappresentazioni logiche canoniche e applicando un parsing deterministico, ottenendo risultati di primo piano nella sfida SemEval-2026 Task 11.

L'essenziale

🧠 Il "Filtro Logico" contro l'Inganno dei Contenuti

Immagina che i Modelli Linguistici (LLM), come quelli che usi per chattare o scrivere, siano come studenti molto intelligenti ma un po' distratti. Questi studenti hanno letto quasi tutto internet. Quando chiedi loro di risolvere un problema di logica, spesso non guardano la struttura del ragionamento, ma si lasciano ingannare dal significato delle parole.

Il problema:
Se chiedi a uno studente: "Tutti i gatti sono animali. Alcuni animali sono neri. Quindi, alcuni gatti sono neri?", potrebbe dire "Sì" solo perché nella vita reale i gatti neri esistono. Ma logicamente, il ragionamento è sbagliato! Questo è quello che gli autori chiamano "effetto contenuto": il modello confonde ciò che è vero nel mondo reale con ciò che è logicamente valido.

🛠️ La Soluzione: La "Traduzione in Codice"

Il team ITLC (di SEACrowd) ha inventato un metodo per "pulire" la mente di questi studenti prima di farli ragionare. Immagina il loro metodo come un processo di traduzione in tre passaggi:

1. Il "Trasformatore di Abiti" (Normalizzazione)

Immagina che ogni argomento logico sia una persona vestita con abiti colorati e strani (le parole specifiche: "gatto", "micio", "felino").
Il primo passo del loro sistema è far spogliare queste persone e vestirle con abiti grigi identici e anonimi (le lettere A, B, C).

• Invece di dire "Tutti i gatti sono animali", il sistema dice: "Tutti gli A sono B".
• Invece di dire "Nessuna mela è un'arancia", dice: "Nessun C è un D".

Perché farlo? Perché togliendo il "colore" (il significato reale), il modello non può più essere distratto da ciò che sa del mondo. Deve guardare solo la forma dell'abito (la struttura logica).

2. Il "Traduttore di Lingue" (Pivot Inglese)

Poiché questi modelli sono molto bravi in inglese ma meno in altre lingue (come l'italiano, lo spagnolo o il bengalese), il sistema fa una cosa intelligente:

• Prende la frase in lingua straniera.
• La traduce solo per la grammatica logica (i "tutti", "nessuno", "alcuni") in inglese.
• Ma lascia le parole chiave (soggetti e oggetti) nella lingua originale.

È come se avessi un traduttore che ti dice: "Ok, la struttura è: 'Tutti gli [X] sono [Y]. Nessun [Z] è [Y]'", mantenendo le parole [X], [Y], [Z] nella loro lingua madre. Questo evita che il modello si confonda con le sfumature delle lingue straniere, ma mantiene l'identità dei termini.

3. Il "Controllore di Biglietti" (Parsing Deterministico)

Una volta che l'argomento è stato ridotto a una formula semplice (es. "Tutti gli A sono B"), il sistema non chiede più all'Intelligenza Artificiale di "pensare" o "indovinare".
Invece, usa un regolamento rigido e matematico (come un controllore dei biglietti in treno).

• Esiste una lista di regole fisse (es. "Se hai la forma X, la risposta è SÌ. Se hai la forma Y, la risposta è NO").
• Il sistema controlla la formula contro la lista. Non c'è spazio per l'errore o per l'opinione. È come usare una calcolatrice invece di chiedere a qualcuno di fare un calcolo a mente.

🏆 I Risultati: Perché è Geniale?

Hanno testato questo metodo su una gara internazionale (SemEval-2026) con domande in inglese e in molte altre lingue.

• Senza il filtro: I modelli AI facevano errori perché si fidavano troppo della loro "intuizione" sul mondo reale (es. "I cani sono animali, quindi...").
• Con il loro metodo: Hanno raggiunto quasi il 100% di precisione e hanno eliminato quasi completamente gli errori dovuti ai pregiudizi.

L'analogia finale:
Immagina di dover risolvere un puzzle.

• I modelli normali guardano i pezzi e dicono: "Questo pezzo sembra un cielo azzurro, quindi va messo qui!" (ma potrebbe essere sbagliato).
• Il metodo ITLC prende il pezzo, lo gira, misura i suoi angoli con un righello e dice: "Questo pezzo ha un angolo di 90 gradi e un bordo ondulato. Secondo il manuale, va messo qui."

💡 In sintesi

Il paper ci dice che non serve rendere le Intelligenze Artificiali più "intelligenti" o più complesse per farle ragionare meglio. A volte, basta toglierle le distrazioni (il significato delle parole), tradurle in un linguaggio semplice e farle seguire regole rigide. È un approccio "semplice ma potente" che funziona anche quando si parla lingue diverse, rendendo l'AI più affidabile e meno soggetta a errori di logica.

Sommario tecnico

1. Il Problema: Effetti di Contenuto nel Ragionamento Logico

Le Grandi Modelli Linguistici (LLM) mostrano una significativa difficoltà nel eseguire ragionamenti logici indipendenti dal contenuto, specialmente in contesti multilingue. Questo fenomeno, noto come effetto di contenuto (content effect), si verifica quando i modelli basano le loro conclusioni sulla plausibilità semantica o sulla conoscenza del mondo reale piuttosto che sulla struttura logica formale dell'argomento.

• Sfida principale: Distinguere tra la verità fattuale di una conclusione e la sua validità logica derivante dalle premesse.
• Contesto: Il compito SemEval-2026 Task 11 valuta specificamente la capacità dei modelli di disaccoppiare il contenuto dal ragionamento formale su sillogismi categorici, sia in inglese che in diverse lingue.
• Limiti delle soluzioni attuali: I metodi esistenti, come il fine-tuning pesante o le interventi a livello di attivazione neurale, sono complessi e non sempre risolvono il problema della distorsione semantica, specialmente tra lingue diverse.

2. Metodologia: Astrazione Strutturale e Parsing Deterministico

Gli autori propongono un approccio ibrido che combina l'uso di un LLM per la normalizzazione linguistica con un motore di ragionamento simbolico deterministico. Il sistema è composto da tre fasi principali:

A. Normalizzazione (Normalization)

L'obiettivo è trasformare argomenti in linguaggio naturale in una rappresentazione canonica sillogistica, preservando solo la struttura logica.

1. Identificazione dei Termini: Il modello identifica tre termini semantici distinti: termine minore (S, soggetto della conclusione), termine maggiore (P, predicato della conclusione) e termine medio (M, presente in entrambe le premesse ma non nella conclusione).
2. Astrazione Simbolica: I termini vengono mappati su costanti simboliche (A, B, C) in base all'ordine di apparizione.
3. Normalizzazione con Pivot Inglese (EPN - English Pivot Normalization): Per gestire lingue diverse dall'inglese, il sistema non traduce liberamente l'intero testo. Invece, utilizza un LLM per:
   • Tradurre solo i quantificatori ("tutti", "nessuno", "alcuni") e i verbi copulativi in inglese.
   • Mantenere i termini soggetto e predicato nella lingua originale.
   • Questo evita la "deriva lessicale" (cambiamento di identità dei termini) che potrebbe verificarsi con traduzioni complete, garantendo che la struttura logica rimanga intatta.

B. Parsing Deterministico (Deterministic Parsing)

Una volta normalizzato l'argomento in una stringa canonica (es. "Tutti B sono A. Tutti C sono A. Tutti C sono B."), viene applicato un parser basato su espressioni regolari e regole fisse:

• Classificazione delle Proposizioni: Ogni frase viene mappata a uno dei quattro tipi categorici classici: A (Universale Affermativa), E (Universale Negativa), I (Particolare Affermativa), O (Particolare Negativa).
• Determinazione di Figura e Umore: Il sistema calcola la "figura" (posizione del termine medio) e l'"umore" (sequenza A/E/I/O delle premesse e della conclusione).
• Validità Formale: La validità non è affidata alla probabilità statistica del modello, ma a una ricerca tabellare (lookup table) delle 24 forme sillogistiche valide classicamente riconosciute. Se la combinazione (umore, figura) corrisponde a una forma valida, l'argomento è valido; altrimenti, è invalido.

C. Identificazione delle Premise Rilevanti

Per i sillogismi validi, il sistema identifica determinsticamente quali due premesse sono necessarie per derivare la conclusione, basandosi sulla connessione strutturale tramite il termine medio, ignorando eventuali premesse distrattive o ridondanti.

3. Contributi Chiave

1. Riduzione Drastica dei Bias: Il metodo dimostra che l'astrazione strutturale elimina quasi completamente gli effetti di contenuto, superando i limiti dei modelli LLM "puri" che tendono a fallire su argomenti logicamente invalidi ma semanticamente plausibili.
2. Approccio Multilingue Robusto: La strategia di "Pivot Inglese" (tradurre solo la logica, non i termini) si è rivelata superiore alla traduzione completa o all'uso diretto del modello multilingue, preservando l'identità dei termini attraverso le barriere linguistiche.
3. Interpretabilità e Semplicità: A differenza di approcci basati su reti neurali profonde o fine-tuning, questa soluzione è trasparente, basata su regole, e non richiede addestramento (training-free), rendendo il processo di ragionamento completamente ispezionabile.
4. Gestione dei Casi Bordo: Il sistema gestisce efficacemente casi di validità banale (es. petitio principii) e inferenze immediate, distinguendoli da errori di ragionamento.

4. Risultati Sperimentali

Il sistema è stato valutato su SemEval-2026 Task 11, ottenendo risultati eccezionali:

• Classifica: Top-5 in tutti e 4 i sottocompiti (Validità Logica e Premesse Rilevanti, sia in Inglese che Multilingue).
• Accuratezza:
  • Inglese: Ha raggiunto il 100% di accuratezza nella validità logica con 0% di bias (nessun errore dovuto a plausibilità semantica).
  • Multilingue: Con la strategia EPN + Normalizzazione + Parsing, ha raggiunto il 100% di accuratezza e 0% di bias, superando significativamente i modelli LLM-only che mostravano un bias elevato (fino al 7.29% nelle premesse).
• Confronto con Baseline:
  • I modelli LLM-only hanno mostrato un calo di accuratezza (circa 2% in inglese, più alto in multilingue) e un alto tasso di falsi positivi dovuti alla plausibilità semantica.
  • L'approccio ibrido ha eliminato la variabilità non deterministica, fornendo risposte coerenti e riproducibili.

5. Significato e Implicazioni

Questo lavoro dimostra che per compiti di ragionamento formale, l'integrazione di strutture simboliche deterministiche con la capacità linguistica degli LLM è superiore all'uso esclusivo di modelli statistici.

• Scalabilità: L'approccio offre una via d'uscita scalabile per mitigare i bias di ragionamento senza richiedere risorse computazionali massive per il fine-tuning.
• Fiducia e Affidabilità: In applicazioni critiche dove la logica formale è essenziale (es. diritto, medicina, verifica di sistemi), l'uso di un parser deterministico garantisce che le conclusioni siano basate sulla struttura logica e non su associazioni statistiche.
• Direzione Futura: Il paper suggerisce che l'astrazione strutturale è una chiave fondamentale per sviluppare tecniche di ragionamento interpretabili e robuste in ambienti multilingue, spostando il focus dall'addestramento di modelli "più grandi" alla progettazione di pipeline di ragionamento più intelligenti.

In sintesi, gli autori hanno dimostrato che trasformare il linguaggio naturale in una forma logica canonica e applicare regole di validità fisse è la strategia più efficace per disaccoppiare il contenuto dal ragionamento formale, ottenendo prestazioni superiori rispetto alle tecniche di deep learning tradizionali su benchmark complessi.