💬 NLP

HABIB_TAZ at SemEval-2026 Task 11: Disentangling Formal Logic from Content via Synthetic Training and Multi-Objective Optimization

Il sistema HABIB_TAZ ha raggiunto le prime posizioni in SemEval-2026 Task 11 impiegando modelli mDeBERTa-v3 addestrati su dati sillogistici sintetici con ottimizzazione multi-obiettivo per disaggregare efficacemente la logica formale dal bias di contenuto attraverso più lingue.

Autori originali: Abdullah Shaikh, Zain Naqi, Taha Zahid, Sandesh Kumar, Abdul Samad

Pubblicato 2026-07-17

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Abdullah Shaikh, Zain Naqi, Taha Zahid, Sandesh Kumar, Abdul Samad

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un robot super intelligente come risolvere enigmi logici. Gli dai una regola: "Se tutti gli uccelli possono volare, e un pinguino è un uccello, allora un pinguino può volare". Un essere umano potrebbe fare una pausa e dire: "Aspetta, i pinguini non possono volare! Questa regola è sbagliata nel mondo reale". Ma un robot che si affida troppo al suo "senso comune" potrebbe confondersi. Potrebbe pensare: "Oh, i pinguini sono uccelli, e gli uccelli volano, quindi la conclusione deve essere vera", anche se la logica stessa è errata perché la regola di partenza era falsa. Questo è il problema complicato che gli scienziati stanno cercando di risolvere con i Large Language Models (LLM). Questi sono i potenti cervelli di intelligenza artificiale dietro ai chatbot e ai motori di ricerca. Sono incredibili nello scrivere storie e rispondere a domande, ma spesso faticano a separare ciò che è logicamente vero da ciò che suona credibile. Vengono ingannati dagli "effetti di contenuto", dove il significato reale delle parole distrae dalla struttura effettiva dell'argomento. L'obiettivo di questa ricerca è costruire un'IA che agisca come un logico rigoroso: uno che controlli se la matematica dell'argomento funziona, indipendentemente dal fatto che la storia suoni sciocca o sensata.

Il team dietro questo progetto, HABIB_TAZ, è entrato in una competizione chiamata SemEval-2026 Task 11 per testare esattamente questa capacità. La loro missione era creare un sistema in grado di esaminare i sillogismi (un tipo di argomento logico con due premesse e una conclusione) in 12 lingue diverse e decidere se la conclusione seguisse le regole, anche se le premesse erano prive di senso o se venivano inserite frasi extra e distraenti.

Per risolvere questo problema, i ricercatori non si sono limitati a fornire alla loro IA più dati dal mondo reale. Inveve, hanno costruito un campo di addestramento "sintetico". Immagina che abbiano creato una gigantesca fabbrica che genera milioni di enigmi logici usando regole inventate e rigide e parole senza senso, piuttosto che animali o oggetti reali. Questo serviva a impedire all'IA di imparare scorciatoie basate sulla conoscenza del mondo reale. Hanno poi addestrato il loro modello di IA, basato su un potente motore linguistico chiamato mDeBERTa-v3, utilizzando una speciale ricetta di addestramento in tre parti. Primo, hanno usato una tecnica per garantire che il modello non ignorasse gli esempi più difficili e complicati. Secondo, hanno aggiunto una "penalità di bias", che è come un insegnante che rimprovera gentilmente lo studente ogni volta che si lascia distrarre da quanto una storia sembri "plausibile", costringendolo a concentrarsi solo sulla logica. Terzo, hanno utilizzato un controllo di coerenza per garantire che il modello comprendesse che una frase complessa significa la stessa cosa logica di una frase semplice.

I risultati sono stati un misto di punteggi perfetti e sfide interessanti. Nei compiti più semplici — enigmi solo in inglese, enigmi in inglese con distrazioni e enigmi in 12 lingue senza distrazioni — il loro sistema ha ottenuto un punteggio perfetto di 100.0. Ha ignorato completamente gli inganni del "mondo reale" e ha centrato la logica ogni singola volta, con zero bias. Tuttavia, la sfida più difficile era il compito "Noisy Multilingual", dove l'IA doveva gestire 12 lingue e frasi distraenti. In questo caso, il sistema si è classificato sesto. Ha ottenuto correttamente l'89,06% delle risposte, ma mostrava ancora una piccola quantità di bias (2,89%).

I ricercatori hanno scoperto che la loro speciale ricetta di addestramento ha fatto miracoli per i compiti più facili, dimostrando che si può insegnare a un'IA a essere un puro logico se la si addestra su dati sintetici basati su regole piuttosto che su testi disordinati del mondo reale. Per il compito più difficile, hanno notato che il modello faticava di più con i dati multilingue originali rispetto alle traduzioni inglesi, suggerendo che il modo in cui il modello gestisce le diverse lingue sia ancora un po' incerto. Hanno anche scoperto che l'aggiunta di un controllo di "coerenza" specifico (usando la divergenza KL) ha aiutato il modello a rimanere stabile attraverso le diverse lingue, sebbene richiedesse molta potenza di calcolo per essere eseguito. In definitiva, il documento suggerisce che, sebbene si possa costruire un'IA incredibilmente brava nella logica pura, renderla robusta attraverso ogni lingua e ogni tipo di rumore è ancora un lavoro in corso. Il team ha reso pubblici il proprio codice e gli strumenti di generazione dei dati, sperando che altri li utilizzino per costruire un'IA ancora più logica in futuro.

Riepilogo Tecnico: HABIB_TAZ a SemEval-2026 Task 11

Definizione del Problema
Sebbene i Large Language Models (LLM) dimostrino proficienza in compiti generali di Natural Language Processing (NLP), le loro capacità di ragionamento formale sono frequentemente compromesse dagli "effetti di contenuto" (content effects). I modelli tendono a sovrastimare la validità logica di argomentazioni che si allineano alla plausibilità del mondo reale, confondendo la conoscenza del mondo con la logica formale. Il SemEval-2026 Task 11 affronta questo problema valutando la capacità di un modello di disaccoppiare la logica formale dal contenuto attraverso 12 lingue, richiedendo specificamente l'identificazione delle premesse rilevanti in presenza di rumore irrilevante (distrattori). La sfida principale risiede nel raggiungere un'elevata accuratezza nella classificazione della validità logica minimizzando al contempo il Total Content Effect (TCE), una metrica che quantifica il bias verso il contenuto plausibile.

Metodologia
Il sistema HABIB_TAZ impiega un approccio multifaccettato che combina la generazione di dati sintetici, un'architettura specializzata e l'ottimizzazione multi-obiettivo per disaccoppiare i pattern semantici dalla struttura logica.

Architettura: Il sistema utilizza backbone mDeBERTa-v3 pre-addestrati su compiti di Natural Language Inference (NLI). Per i sottotask che coinvolgono rumore (ST2 e ST4), viene impiegato un backbone più grande (DeBERTa-v3-large) per disaccoppiare meglio le premesse irrilevanti. L'architettura presenta due teste specializzate: una testa di classificazione per la validità logica (utilizzando il token [CLS]) e una testa di selezione delle premesse tramite span-based pooling e masked mean pooling per identificare le premesse rilevanti.
Strategia dei Dati: Per superare la scarsità dei dati di addestramento forniti (N=960), gli autori hanno sviluppato un motore di generazione di dati sintetici basato su regole. Questo motore genera dati basandosi su 256 schemi sillogistici aristotelici, garantendo una rappresentazione bilanciata tra i quadranti di validità e plausibilità. Le strategie chiave includono:
- Controllo del Vocabolario: Utilizzo di catene di iperonimi/iponimi di WordNet per creare campioni plausibili e nomi di catene incrociate per quelli implausibili.
- Dati Simbolici: Introduzione di geroglifici o variabili simboliche per ridurre la dipendenza dalla semantica del mondo reale.
- Riformulazione Complessa: Mappatura di forme logiche semplici in variazioni linguistiche complesse per imporre l'invarianza strutturale.
- Espansione Multilingue: Traduzione di strutture inglesi in 12 lingue target utilizzando template specifici per lingua per preservare i quantificatori.
- Robustezza: Integrazione di campioni dal dataset HANS (Heuristic Analysis for NLI Systems) per impedire ai modelli di sfruttare euristiche sintattiche superficiali.
Ottimizzazione: La pipeline di addestramento impiega una funzione di perdita multi-obiettivo ( $L_{total} = L_{DRO} + \lambda_{bias}L_{bias} + \gamma L_{KL}$ $L_{t o t a l} = L_{D R O} + λ_{bia s} L_{bia s} + γ L_{K L}$ ):
- Adaptive Group DRO: Inveve della standard Cross-Entropy, la Group Distributionally Robust Optimization (DRO) si concentra sui sottogruppi con prestazioni inferiori (definiti dai quadranti validità/plausibilità e dalle lingue) per garantire la coerenza.
- Penalità di Bias Differenziabile: Una componente di perdita calcolata dai punteggi di confidenza sigmoidale che penalizza le distribuzioni di confidenza non uniformi tra i quadranti validità-plausibilità, costringendo il modello a mantenere la certezza logica indipendentemente dalla plausibilità del contenuto.
- Coerenza della Divergenza KL: Questa minimizza la divergenza tra le distribazioni di output dei sillogismi semplici (insegnante) e le loro riformulazioni complesse (studente), ancorando il modello a forme logiche fondamentali piuttosto che a scorciatoie lessicali.
- Programmazione Dinamica (Dynamic Scheduling): Il peso della penalità di bias ( $\lambda_{bias}$ ) e lo step-size di DRO sono inizializzati a zero e aumentati incrementalmente per evitare che il modello collassi in minimi sub-ottimali prima di padroneggiare le strutture formali.

Risultati Chiave
Il sistema ha raggiunto prestazioni state-of-the-art nei primi tre sottotask e risultati solidi nel sottotask più complesso:

Sottotask 1 (Inglese): Ha ottenuto un Ranking Score perfetto di 100.0 con 0.00% di bias e 100.0% di accuratezza.
Sottotask 2 (Inglese con Rumore): Ha ottenuto un Ranking Score perfetto di 100.0 con 0.00% di bias e 100.0% di accuratezza, disaccoppiando con successo il ragionamento dalle premesse rumorose.
Sottotask 3 (Multilingue): Ha ottenuto un Ranking Score perfetto di 100.0 con 0.00% di bias e 100.0% di accuratezza. Gli studi di ablazione hanno indicato che la combinazione di Bias loss e dati HANS è stata sufficiente per questo compito, mentre altri regolarizzatori (KL/MSE) non hanno migliorato le prestazioni.
Sottotask 4 (Multilingue con Rumore): Si è classificato al 6° posto con un'Accuratezza e un F1-score dell'89.06%, un bias del 2.89% e un Ranking Score di 37.78.
- Analisi: Gli autori hanno notato un significativo divario di prestazioni quando valutati sul dataset di test multilingue originale rispetto a una traduzione inglese dello stesso. La regolarizzazione tramite Divergenza KL è stata identificata come il fattore critico per colmare questo divario cross-lingue, rendendo il modello robusto alle variazioni linguistiche. Tuttavia, a causa dei vincoli computazionali durante la competizione, l'intero dataset (648.632 campioni) è stato ridotto a circa il 4% per l'addestramento, suggerendo un potenziale di ulteriore miglioramento.

Significatività e Contributi
Il paper sostiene che il suo contributo primario sia dimostrare che l'ottimizzazione consapevole del bias combinata con dati sintetici basati su regole può isolare efficacementamente il ragionamento formale dalla plausibilità del mondo reale. Evitando il rumore semantico inerente ai dati aumentati tramite LLM e impiegando una funzione di perdita multi-obiettivo, il sistema mitiga con successo gli effetti di contenuto che tipicamente affliggono gli LLM.

Gli autori sottolineano che:

I Dati Sintetici sono Cruciali: L'addestramento su simboli astratti e strutture basate su regole permette ai modelli di generalizzare meglio il ragionamento logico rispetto all'addestramento basato esclusivamente su linguaggio naturale.
L'Ottimizzazione Multi-Obiettivo è Necessaria: Le tecniche di regolarizzazione isolate (come DRO o il solo Bias) possono degradare le prestazioni o fallire nella generalizzazione; è necessaria una combinazione bilanciata (specificamente KL-Divergence + DRO + Bias) per mantenere l'invarianza strutturale riducendo al contempo il bias.
Scalabilità: La capacità di astrarre relazioni logiche da premesse rumorose scala direttamente con i parametri del modello, come dimostrato dai punteggi perfetti ottenuti con il backbone Large nel Sottotask 2.

Gli autori rendono pubblici il loro motore di generazione dati e il codice sorgente per facilitare la ricerca futura sul ragionamento logico robusto. Concludono che, sebbene il sistema abbia ottenuto punteggi perfetti su compiti puliti e con rumore in singola lingua, la sfida di un ragionamento logico multilingue pienamente robusto rimane un'area di ricerca attiva, in particolare riguardo ai costi computazionali della regolarizzazione della coerenza.

Riepilogo Tecnico: HABIB_TAZ a SemEval-2026 Task 11

Articoli simili