💬 NLP

BioSentinel at EXIST 2026: Soft-Label Optimization with XLM-RoBERTa for Sexism Intent Classification in Memes

Il documento del team BioSentinel dettaglia la loro partecipazione alla EXIST 2026 Task 2.2, dove hanno impiegato un modello basato su XLM-RoBERTa addestrato con una funzione di perdita composita per bilanciare efficacemente le predizioni soft-label e hard-label per la classificazione dell'intento sessista nei meme, ottenendo infine classifiche specifiche nella valutazione CLEF 2026.

Autori originali: Chandru Munisamy, Karthikeya Raguveer, Alapan Kuila

Pubblicato 2026-07-28

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Chandru Munisamy, Karthikeya Raguveer, Alapan Kuila

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate la rete come una gigantesca e caotica piazza cittadina dove tutti urlano, sussurrano e disegnano immagini sui muri. A volte, queste immagini (chiamate "meme") sono solo battute divertenti, ma altre volte nascondono commenti malevoli sul genere che sono difficili da individuare. Questo è il mondo della rilevazione del sessismo, un ramo dell'informatica in cui insegniamo alle macchine a "leggere la stanza" e a capire se una battuta è innocua o offensiva.

Ma ecco la parte complicata: gli esseri umani non sempre concordano su cosa sia offensivo. Una persona potrebbe vedere un meme come un insulto diretto, un'altra potrebbe pensarlo come una battuta ironica e sottile, e una terza potrebbe non vedere nulla di sbagliato affatto. Questo è chiamato disaccordo. In passato, i computer venivano istruiti a scegliere un unico "giusto" cevap, come un insegnante che corregge un test con un'unica chiave di correzione. Tuttavia, questo articolo sostiene che quando gli umani non concordano, il computer non dovrebbe solo indovinare una risposta; dovrebbe imparare a comprendere la distribuzione delle opinioni, un po' come una previsione meteorologica che dice "c'è una probabilità del 60% di pioggia" invece di urlare semplicemente "sta piovendo!". Questo approccio è chiamato Apprendimento con Disaccordo (Learning with Disagreement), e aiuta le macchine a diventare più sfumate e meno eccessivamente sicure di sé.

La Missione del Team BioSentinel: Leggere il Testo, Ignorare l'Immagine

Incontrate il team BioSentinel, un gruppo di ricercatori che è entrato in una competizione ad alta posta in gioco chiamata EXIST 2026. La loro sfida? Costruire un robot che potesse guardare i meme e decidere se il creatore fosse diretto (ovviamente sessista), giudicante (usando l'ironia o suggerimenti sottili), o no (non sessista).

Il colpo di scena? La competizione non voleva solo che il robot sceglesse un'etichetta. Voleva che il robot restituisse una distribuzione di probabilità—un modo elegante per dire: "Sono sicuro al 70% che sia diretto, al 20% che sia giudicante e al 10% che sia innocuo". Questo imita il modo in cui un gruppo di giudici umani potrebbe votare diversamente sullo stesso meme.

La Strategia: Un Detective Solo Testuale

Il team, guidato da Chandru Munisamy e dai suoi colleghi in India, ha deciso di giocare a un gioco molto specifico. Anche se i meme sono immagini con testo, hanno scelto di ignorare completamente le immagini. Hanno agito come un detective che legge solo la trascrizione di una conversazione, ignorando le espressioni facciali e il linguaggio del corpo.

Perché? Volevano vedere se potevano diventare davvero bravi a comprendere le parole e l'incertezza delle etichette senza farsi distrarre dalle parti visive disordinate. Hanno utilizzato un potente cervello linguistico chiamato XLM-RoBERTa (un modello con 270 milioni di parametri che parla sia inglese che spagnolo) e gli hanno insegnato un trucco speciale.

Invece di dire semplicemente al modello: "Questa è la risposta", gli hanno dato due tipi di compiti:

Il Compito "Soft": "Ecco come hanno votato gli umani. Cerca di corrispondere esattamente a quel mix di opinioni". Hanno usato uno strumento matematico chiamato Divergenza KL per far sì che le ipotesi del modello somigliassero al pattern di voto umano.
Il Compito "Hard": "Ecco il vincitore ufficiale del voto. Assicurati di indovinare anche questo". Hanno usato uno strumento standard chiamato Cross-Entropy Pesata per garantire che il modello non si confondesse troppo.

Mescolando queste due lezioni (70% soft, 30% hard), speravano di creare un modello che fosse allo stesso tempo accurato e consapevole del disaccordo umano.

I Risultati: Una Prestazione Solida, ma Non Perfetta

Quando il team BioSentinel ha testato il loro sistema sull'esame ufficiale (il test set), ecco cosa è successo:

Punteggio Soft-Label: Hanno ottenuto un punteggio di 0,3229 (chiamato ICM-Soft-Norm). È stato migliore di un robot base che "indovina la risposta più comune", che ha ottenuto solo 0,2835.
Punteggio Hard-Label: Per scegliere la singola risposta migliore, hanno ottenuto un punteggio di 0,4236 (F1-score).
Classifica: Su 118 team che hanno inviato previsioni soft-label, si sono classificati al 40° posto. Su 187 team che hanno inviato previsioni hard-label, erano al 49° posto.

Il team ha scoperto che il loro metodo di addestramento "mix-and-match" funzionava. Quando hanno rimosso la lezione "soft" (la divergenza KL), la loro capacità di corrispondere alle opinioni umane è crollata drasticamente (da 0,312 a 0,142). Quando hanno rimosso la lezione "hard", la loro accuratezza sulle singole risposte è diminuita. La combinazione era la chiave del loro successo.

La Difficoltà con il "Giudicante"

Tuttavia, il robot aveva un punto cieco. Era terribile nel individuare il sessismo giudicante (quello sottile e ironico). Il suo punteggio per questa categoria specifica è stato molto basso: 0,071.

Perché? Il team ha capito che, senza l'immagine, il robot perdeva la battuta finale. Molti di questi meme si affidano a un gioco visivo—come una caricatura o un'espressione facciale specifica—che il solo testo non poteva spiegare. Ad esempio, un testo che dice "Seduto al tuo tavolo di famiglia..." potrebbe sembrare innocuo, ma se la foto mostra un padre che prende il pesce più grande e la madre che riceve quello più piccolo, la battuta è chiara. Senza l'immagine, il robot vedeva solo una frase neutra.

Il team ha anche notato qualcosa di curioso su come il robot impara. Durante i primi due giorni di addestramento, non indovinava nemmeno una volta la categoria "giudicante". Ha iniziato a comprendere questa categoria complicata solo dopo aver imparato a distinguere tra "innocuo" e "diretto". Ciò suggerisce che le cose sottili sono le più difficili da imparare e potrebbero richiedere più tempo o un addestramento speciale.

Cosa Non Hanno Fatto (E Perché è Importante)

L'articolo è molto onesto su ciò che non ha fatto. Non hanno cercato di usare i dati delle onde cerebrali (EEG) o i dati dell'eye-tracking forniti dagli organizzatori della competizione. Perché? Perché i dati non coincidevano tra il set di addestramento e quello di test. Inoltre, non hanno cercato di usare modelli più grandi e complessi perché, nel loro specifico setup, tali modelli diventavano instabili e confusi.

Hanno anche testato un'impostazione di "temperatura" (una manopola che rende le ipotesi del robot più o meno sicure). Nel loro test di pratica, girare questa manopola a 0,7 ha reso il robot leggermente migliore nel corrispondere alle opinioni umane (alzando il punteggio da 0,317 a 0,326) e ha reso la sua fiducia più realistica. Tuttavia, per il test ufficiale finale, sono rimasti con le impostazioni standard per sicurezza.

Il Punto Chiave

Il team BioSentinel ha dimostrato che è possibile costruire un decente rilevatore di sessismo usando solo il testo, purché si insegni alla macchina a rispettare il disaccordo umano. Usando un mix di lezioni "soft" e "hard", hanno creato un modello che comprende le zone grigie dell'opinione umana meglio dei metodi precedenti.

Ma l'articolo ci avverte anche: se volete catturare le battute subdole e ironiche, non potete limitarvi a leggere il testo. Dovete vedere l'immagine. La difficoltà del robot con la categoria "giudicante" prova che, a volte, il contesto visivo è l'unica cosa che rende la battuta (o l'insulto) comprensibile. Il team suggerisce che i futi robot dovrebbero provare a guardare sia le parole che le immagini per avere il quadro completo.

Sintesi Tecnica: BioSentinel a EXIST 2026

Definizione del Problema
Questo articolo affronta l'EXIST 2026 Task 2.2, "Source Intention in Memes", una sfida focalizzata sulla classificazione dell'intento comunicativo dietro i meme contenenti potenziali contenuti sessisti. Il compito opera sotto un paradigma di Learning with Disagreement (Le-Wi-Di), che richiede ai modelli di prevedere non solo un singolo hard label (diretto, giudicante o nessuno), ma anche una distribuzione di probabilità soft che rifletta la varianza nelle opinioni degli annotatori umani. Il dataset consiste in 3.984 istanze di addestramento e 1.053 di test in inglese e spagnolo, ciascuna annotata da sei rater umani. Una sfida chiave è l'intrinseca soggettività del sessismo "giudicante" (implicito/ironico), dove gli annotatori spesso discordano, e lo sbilanciamento delle classi, con la categoria "giudicante" che rappresenta solo il 14,2% degli casi risolvibili.

Metodologia
Il team BioSentinel propone un approccio centrato sul testo utilizzando il transformer xlm-roberta-base (270 milioni di parametri). Il sistema esclude deliberatamente i dati relativi alle immagini e ai sensori fisiologici (EEG, eye tracking) per isolare l'efficacia dell'ottimizzazione dei soft-label sul testo, citando problemi di mancanza di feature e sincronizzazione nei dati multimodali.

L'innovazione principale risiede nella funzione di perdita composita progettata per gestire il paradigma Le-Wi-Di:
$\mathcal{L}_{train} = \alpha \cdot \mathcal{L}_{KL} + \beta \cdot \mathcal{L}_{CE}$

Divergenza KL ( $\mathcal{L}_{KL}$ ): Minimizza la divergenza tra la distribuzione predetta dal modello e la distribuzione gold soft derivata dai voti degli annotatori. Questo termine ( $\alpha=0.7$ ) è il driver primario per allineare le predizioni con l'incertezza umana.
Weighted Cross-Entropy ( $\mathcal{L}_{CE}$ ): Applicata agli istanze con hard label ufficiali, utilizzando pesi di classe normalizzati fissi per penalizzare più pesantemente la classe sottorappresentata "giudicante" ( $\beta=0.3$ ).
Architettura: Il modello elabora il testo estratto tramite OCR attraverso XLM-RoBERTa, seguito da una testa di classificazione (768 $\to$ 256 $\to$ 3).
Configurazione di Addestramento: Addestrato per 6 epoche su GPU NVIDIA A100 utilizzando AdamW con un learning rate di $2 \times 10^{-5}$ . Il checkpoint finale (Epoca 4) è stato selezionato in base alla minima divergenza KL di validazione.
Analisi della Temperatura: Sebbene le predizioni ufficiali del test utilizzassero la softmax raw ( $T=1.0$ ), un'analisi post-hoc sul set di validazione ha indicato che una temperatura di $T=0.7$ ha migliorato i metriche dei soft-label e ridotto l'Expected Calibration Error (ECE).

Risultati Chiave
Sul set di test ufficiale, il sistema ha ottenuto le seguenti prestazioni:

ICM-Soft-Norm: 0.3229 (Classifica 40ª su 118 invii).
ICM-Norm: 0.3778.
Hard Macro-F1: 0.4236 (Classifica 49ª su 187 invii).

Il sistema ha superato significativamente il baseline hard della classe maggioritaria (F1 = 0.1676) e il baseline soft della distribuzione a priori (ICM-Soft-Norm = 0.2835).

Ablazione e Analisi

Contributo della Perdita: Gli studi di ablazione hanno confermato che la divergenza KL è critica per le prestazioni dei soft-label (l'ICM-Soft-Norm è sceso da 0.312 a 0.142 quando rimossa), mentre la Cross-Entropy è essenziale per l'accuratezza degli hard-label (l'F1 è sceso da 0.348 a 0.294 quando rimossa).
Prestazioni per Classe: Il modello ha incontrato difficoltà significative con la classe "giudicante" (F1 = 0.071). L'analisi degli errori suggerisce che ciò è dovuto alla dipendenza dal solo testo OCR, che perde il contesto visivo, l'ironia e i tropi culturali essenziali per identificare il sessismo implicito.
Comportamento Cold-Start: Il modello ha mostrato un fenomeno di "cold-start", producendo zero predizioni "giudicanti" nei primi due epoche, indicando una difficoltà nell'apprendere pattern sottili senza un addestramento prolungato o specifiche tecniche di aumento.
Stabilità dell'Architettura: Esecuzioni esplorative con modelli più grandi (Gemma 2 2B, DeBERTa-v3-large, XLM-RoBERTa-large) sono state meno stabili rispetto al modello base sotto gli stessi iperparametri, spesso divergendo o convergendo verso predizioni della classe maggioritaria.

Significato e Rivendicazioni
Gli autori posizionano questo lavoro come una dimostrazione che l'ottimizzazione dei soft-label tramite divergenza KL cattura efficacemente il disaccordo degli annotatori nei compiti NLP soggettivi, migliorando rispetto agli approcci standard di maggioranza dei voti. Il documento sostiene che combinare la divergenza KL con la weighted cross-entropy permetta a un modello leggero, basato solo sul testo, di bilanciare l'allineamento distributivo con l'accuratezza degli hard-label.

Gli autori mantengono una posizione modesta riguardo alle loro scoperte:

Limitazioni: Riconoscono che l'approccio basato solo sul testo fallisce intrinsecamente nel catturare le interazioni testo-visive centrali per l'interpretazione dei meme, particolarmente per la classe "giudicante".
Ambito: I problemi di stabilità con modelli più grandi sono presentati come osservazioni esplorative piuttosto che conclusioni definitive sulla scala del modello, notando che sarebbe necessaria una ricerca dedicata degli iperparametri per la generalizzazione.
Etica: Il documento mette esplicitamente in guardia contro l'impiego di tali sistemi per la moderazione automatizzata dei contenuti senza supervisione umana, a causa dei rischi di censura ingiusta e della propagazione di contenuti dannosi tramite falsi negativi.

In conclusione, il sistema BioSentinel valida l'utilità del paradigma Le-Wi-Di e delle funzioni di perdita composita per il rilevamento del sessismo nei meme, evidenziando al contempo le sfide specifiche del modellamento dell'intento implicito senza contesto multimodale.