💬 NLP

ZeroR@CHiPSAL 2026: Two-Stage Vision-Language Adaptation with Contrastive Learning for Nepali Meme Classification

Il team ZeroR@CHiPSAL 2026 ha raggiunto le prime posizioni nella classificazione di meme in lingua nepalese impiegando una pipeline di adattamento visione-linguaggio a due stadi con Qwen3-VL-8B-Instruct tramite apprendimento contrastivo e fine-tuning LoRA per eliminare le dipendenze dall'OCR e gestire efficacemente il rilevamento di incitamento all'odio e sentiment in contesti multimodali a basse risorse.

Autori originali: Nitiz Khanal

Pubblicato 2026-08-03

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Nitiz Khanal

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate internet come una gigantesca e caotica piazza digitale dove tutti urlano, sussurrano e disegnano sui muri. In questa città, i "meme" sono il modo più popolare di comunicare. Sono come battute interne che mescolano un'immagine divertente con una didascalia arguta. Ma a volte, queste battute si trasformano in armi, nascondendo discorsi d'odio o bullismo dietro una risata. La parte complicata è che un'immagine potrebbe sembrare innocente, ma il testo la rende qualcosa di terribile, o viceversa. Per fermare questo, i computer devono imparare come "leggere" sia l'immagine che le parole contemporaneamente, comprendendo l'intera storia, non solo le singole parti. Questa è una sfida enorme per i computer, specialmente quando le battute sono raccontate in lingue che non conoscono bene, come il nepalese, dove il sistema di scrittura (chiamato Devanagari) è disegnato direttamente sulle immagini.

Gli scienziati hanno cercato di costruire migliori "detective digitali" per individuare i meme dannosi. Di solito, cercano di costruire una lunga catena di montaggio: prima una macchina legge il testo dall'immagine (come uno scanner), poi un'altra macchina lo traduce, e infine una terza macchina decide se è cattivo. Ma questo è come cercare di risolvere un puzzle smontandolo pezzo per pezzo; si rischia di perdere l'immagine del tutto. Questo articolo presenta un nuovo team di detective che non ha bisogno della catena di montaggio. Invece, utilizzano un cervello super intelligente e "tutto in uno" che può guardare l'immagine e leggere il testo simultaneamente, proprio come fa un essere umano. I ricercatori hanno testato questo cervello sui meme nepalesi per vedere se riusciva a individuare l'incitamento all'odio e a capire se l'umore fosse felice, triste o neutro.

La storia del paper: Un addestramento da detective in due fasi

I ricercatori, Nitiz Khanal e il suo team, sono entrati in una competizione chiamata CHiPSAL 2026, dove l'obiettivo era costruire il miglior sistema per individuare l'incitamento all'odio e analizzare i sentimenti nei meme nepalesi. Non si sono limitati a lanciare un computer contro il problema; hanno progettato un astuto campo di addestramento in due fasi per il loro modello di IA.

La Star del Team: Qwen3-VL
Al cuore del loro sistema c'è un massiccio modello di IA pre-addestrato chiamato Qwen3-VL-8B-Instruct. Pensate a questo modello come a uno studente geniale che ha già letto milioni di libri e visto milioni di immagini in tutto il mondo. Fondamentalmente, questo studente sa già leggere la scrittura Devanagari usata in Nepal, quindi i ricercatori non hanno avuto bisogno di insegnargli come leggere da zero o di usare uno strumento separato per scansionare il testo. Poteva guardare un meme e "vedere" immediatamente le parole scritte sull'immagine.

Fase 1: Lo Scrittore Creativo
Nella prima fase di addestramento, il team ha insegnato all'IA ad agire come uno scrittore creativo. Hanno mostrato migliaia di meme e chiesto di scrivere la risposta: "Hate" (Odio) o "Safe" (Sicuro), oppure "Negative" (Negativo), "Neutral" (Neutro) o "Positive" (Positivo). Per farlo senza mandare in tilt il computer, hanno usato una tecnica chiamata LoRA (Low-Rank Adaptation). Immaginate che l'IA sia una gigantesca biblioteca con milioni di libri. Invece di riscrivere ogni singolo libro per insegnarle i meme nepalesi, i ricercatori hanno semplicemente aggiunto dei piccoli post-it (strati addestrabili ridotti) sugli scaffali. Questo ha permesso all'IA di apprendere il nuovo compito in modo rapido ed efficiente.

Tuttavia, i dati in loro possesso erano disordinati. C'erano molti più meme "Safe" rispetto a quelli "Hate", e molti più meme "Neutral" rispetto a quelli "Positive" o "Negative". È come cercare di imparare a identificare animali rari quando hai solo una foto di una tigre ma mille foto di gatti. Per risolvere questo, il team ha usato l'oversampling (creando copie extra dei meme rari) e l'augmentation delle immagini (capovolgendo, ruotando e cambiando la luminosità delle immagini) affinché l'IA non si limitasse a memorizzare le immagini, ma imparasse davvero i pattern. Per il compito del sentiment a tre classi, hanno anche usato un trucco matematico speciale chiamato Focal Loss, che diceva all'IA di prestare un'attenzione extra agli esempi difficili che continuava a sbagliare.

Fase 2: Il Coach Severo
La prima fase era buona, ma i ricercatori volevano che l'IA fosse ancora più affilata. Nella seconda fase, hanno aggiunto un coach di "apprendimento contrastivo". Questo è come un gioco di "trova le differenze". Il coach mostrava all'IA due meme che erano entrambi "Hate" e diceva: "Questi due stanno insieme!". Poi mostrava un meme "Hate" e uno "Safe" e diceva: "Questi due sono totalmente diversi! Allontanateli!". Questo ha aiutato l'IA a imparare a raggruppare le idee simili strettamente e a spingere quelle diverse lontano tra loro nella sua mente. Questa fase non chiedeva solo una risposta; costringeva l'IA a comprendere la forma dei dati, rendendo le sue decisioni più robuste.

Il Verdetto Finale: Mescolare i punteggi
Quando è arrivato il momento dell'esame finale, il team non ha semplicemente scelto la risposta della Fase 1 o della Fase 2. Hanno creato un incontro di squadra. Hanno preso il punteggio di probabilità dello "Scrittore Creativo" (Fase 1) e quello del "Coach Severo" (Fase 2) e li hanno mescolati insieme con un peso speciale. Hanno testato diversi rapporti di miscelazione su un set di pratica per trovare l'equilibrio perfetto che desse il punteggio più alto.

Cosa hanno scoperto

I risultati sono stati impressionanti. Il team ha ottenuto il 2° posto nella classifica ufficiale per il compito di rilevamento dell'incitamento all'odio, con un punteggio (chiamato Macro F1) di 0.797. Ciò significa che il sistema era molto bravo a individuare i contenuti dannosi, nonostante il complicato squilibrio delle classi. Per il compito di analisi del sentiment (capire se un meme era positivo, negativo o neutro), si sono classificati al 4° posto con un punteggio di 0.518.

I ricercatori hanno scoperto che l'approccio in due fasi era la formula magica. Se avessero usato solo la prima fase (scrivere solo la risposta), il loro punteggio sarebbe stato più basso. L'aggiunta della seconda fase (l'apprendimento contrastivo) ha aumentato significamente le loro prestazioni. Hanno anche scoperto che i due compiti richiedevano stili di addestramento diversi. Il compito dell'incitamento all'odio era un po' più diretto, ma il compito del sentiment era molto più difficile da apprendere perché i confini tra "neutro" e "positivo" o "negativo" sono spesso sfumati, specialmente con l'umorismo. Il modello di sentiment aveva bisogno di regole molto più rigide (regolarizzazione) per evitare di confondersi.

Perché questo è importante (e cosa non lo è)

Questo articolo suggerisce che per le lingue a basse risorse come il nepalese, l'uso di un potente modello di visione-linguaggio "tutto in uno" che comprende nativamente la scrittura è una svolta. Dimostra che non serve una complicata catena di strumenti (come scanner di testo e traduttori separati) per capire i meme; un singolo modello intelligente può farlo end-to-end.

Tuttamente, l'autore sottolinea che il suo sistema non è perfetto. Ammette che l'IA a volte perde il contesto culturale profondo. Ad esempio, un meme potrebbe presentare una figura storica o un gioco culturale specifico che appare innocuo all'IA, ma che è in realtà offensivo per un nepalese. L'IA è intelligente, ma non ha ancora l'esperienza vissuta della cultura. Notano anche che, poiché il dataset era relativamente piccolo (circa 1.000 meme per compito), esiste il rischio che il modello abbia memorizzato i dati di addestramento invece di imparare davvero, e i risultati potrebbero variare se iniziassero con un diverso seme casuale (random seed).

In definitiva, questo lavoro mostra una strada promettente: insegnare a grandi modelli di IA intelligenti a comprendere il mondo disordinato, divertente e talvolta pericoloso dei meme in lingue che sono state lasciate indietro dalla tecnologia. È un passo verso la creazione di una piazza digitale più sicura e inclusiva per tutti.

Sintesi Tecnica: ZeroR@CHiPSAL 2026

Definizione del Problema

Il documento affronta la sfida della rilevazione multimodale di discorsi d'odio e sentiment nei meme in lingua nepalese, un contesto di lingua a basse risorse caratterizzato da testo inserito direttamente nelle immagini utilizzando l'alfabeto Devanagari. A differenza della tradizionale classificazione di testo o immagini, l'analisi dei meme richiede la comprensione dell'interazione complessa tra elementi visivi e testuali, dove il significato emerge spesso dalla loro combinazione. Le sfide specifiche includono:

Vincoli di Basse Risorse: Scarsità di dataset annotati e limitata esposizione dei modelli pre-addestrati al contesto culturale nepalese.
Complessità della Scrittura: Il testo nepalese è incorporato nelle immagini, il che richiede l'uso dell'OCR (Optical Character Recognition) nelle pipeline tradizionali, introducendo una propagazione degli errori.
Code-Mixing: Frequente mescolanza di nepalese e inglese nei contenuti dei social media.
Specificità del Task: Il compito condiviso prevede due sottotask distinti: rilevazione binaria del discorso d'odio (Hate vs. Safe) e analisi del sentiment a tre classi (Negativo, Neutrale, Positivo), entrambi affetti da un significativo squilibrio delle classi.

Metodologia

L'autore propone un framework di adattamento visione-linguaggio in due fasi basato sull'architettura Robust Adaptation of Hateful Meme Detection (RA-HMD), utilizzando Qwen3-VL-8B-Instruct come backbone. Questo modello è stato selezionato per il suo supporto nativo della scrittura Devanagari, consentendo l'elaborazione end-to-end senza pipeline separate di OCR o traduzione.

1. Modello Base e Adattamento

Backbone: Qwen3-VL-8B-Instruct, capace di risoluzione dinamica dell'immagine e di seguire le istruzioni.
Fine-Tuning Efficiente dei Parametri (PEFT): Il sistema impiega l'Adattamento a Basso Rango (LoRA) per iniettare matrici addestrabili nei livelli transformer, congelando i pesi pre-addestrati. Ciò riduce i parametri addestrabili a circa lo 0,5% per il discorso d'odio e lo 0,25% per il sentiment.
Proiezione MLP: Una testa MLP mappa l'ultimo stato nascosto del modello in uno spazio di embedding a dimensione inferiore (512 dimensioni) per facilitare l'apprendimento contrastivo.

2. Pipeline di Addestramento in Due Fasi

Il processo di addestramento è diviso in due fasi distinte:

Fase 1: Fine-Tuning Generativo
- Il modello viene perfezionato per generare etichette di classe direttamente dalle immagini dei meme utilizzando prompt specifici per il task.
- Obiettivo: Loss di modellazione del linguaggio standard calcolata solo sui token target (es. "Hate" o "Safe").
- Gestione dello Squilibrio:
  - Oversampling: Le classi minoritarie vengono duplicate per ottenere rapporti bilanciati (1:1 per il discorso d'odio; 1:1:1 per il sentiment).
  - Augmentation: Le immagini sovracampionate subiscono trasformazioni casuali (flip, rotazione, regolazioni di luminosità/contrasto/saturazione).
  - Focal Loss: Applicata specificamente al task del sentiment a tre classi per ridurre il contributo della perdita dagli esempi facili e concentrarsi sui casi difficili.
Fase 2: Fine-Tuning del Backbone Contrastivo
- L'addestramento continua con un obiettivo congiunto che combina la classificazione e l'apprendimento contrastivo supervisionato.
- Obiettivo: Viene aggiunta una testa di classificazione lineare agli embedding proiettati e viene applicata la loss Supervised InfoNCE. Questo avvicina le rappresentazioni dei campioni della stessa classe e allontana quelle delle classi diverse.
- Configurazione: Il task del sentiment ha richiesto una regolarizzazione più forte (learning rate più basso, weight decay più alto, meno epoche) rispetto al task del discorso d'odio per prevenire l'overfitting su un set di addestramento effettivo per classe più piccolo.

3. Inferenza ed Ensemble

In fase di inferenza, il sistema esegue l'ensemble delle predizioni di entrambe le fasi:

Fase 1: Estrae le probabilità a livello di token dalla testa del modello di linguaggio.
Fase 2: Applica la softmax alle uscite del classificatore lineare.
Ensemble: La predizione finale è una combinazione ponderata ( $w \cdot p^{(1)} + (1-w) \cdot p^{(2)}$ ). Il peso $w$ e le soglie decisionali sono ottimizzati tramite grid search sul set di validazione per massimizzare il macro F1-score.

Contributi Chiave

Framework in Due Fasi: Adattamento del framework RA-HMD per la classificazione multimodale a basse risorse, combinando il fine-tuning generativo con l'apprendimento contrastivo.
Elaborazione End-to-End: Sfruttamento del supporto nativo per il Devanagari in Qwen3-VL per eliminare le pipeline di OCR e traduzione soggette a errori.
Configurazioni Specifiche per il Task: Distinte impostazioni degli iperparametri e strategie di regolarizzazione su misura per la natura binaria della rilevazione del discorso d'odio rispetto alla complessità della classificazione del sentiment a tre classi.
Mitigazione dello Squilibrio: Una strategia completa che include oversampling delle classi minoritarie, augmentation delle immagini e focal loss per affrontare i gravi squilibri di classe.

Risultati

Il sistema è stato valutato sul task condiviso CHiPSAL 2026 utilizzando il macro F1-score:

Subtask A (Rilevazione del Discorso d'Odio): Ha raggiunto un F1-score di 0,797, ottenendo il 2° posto.
Subtask B (Analisi del Sentiment): Ha raggiunto un F1-score di 0,518, ottenendo il 4° posto.

Risultati dell'Ablazione:

L'applicazione di LoRA a tutti i livelli di attenzione e feed-forward ha superato l'applicazione di LoRA solo ai livelli di attenzione.
La gestione dello squilibrio delle classi (oversampling + augmentation) ha contribuito con 2–3 punti F1.
L'aggiunta dell'apprendimento contrastivo della Fase 2 ha fornito guadagni costanti (circa 2 punti F1 per il discorso d'odio).
La regolazione della soglia ha migliorato la rilevazione del discorso d'odio di un ulteriore punto.

Significato e Rivendicazioni

Il documento afferma che la sua importanza primaria risiede nel dimostrare l'efficacia dell'adattamento di moderni modelli Vision-Language (VLM) con supporto nativo per gli script delle lingue dell'Asia meridionale a basse risorse. I punti chiave includono:

Eliminazione della Propagazione dell'Errore: Utilizzando un modello con comprensione nativa del Devanagari, il sistema evita gli errori cumulativi inerenti a un sistema basato su pipeline (OCR $\to$ Traduzione $\to$ Classificazione).
Complementarità degli Obiettivi: L'approccio in due fasi (generativo seguito da contrastivo) supera entrambi gli approcci presi singolarmente di 3–5 punti F1, suggerendo che gli obiettivi di modellazione del linguaggio e di metric learning siano complementari.
Importanza della Regolarizzazione: Lo studio evidenzia come diversi task all'interno dello stesso dominio multimodale richiedano strategie di regolarizzazione molto diverse; l'analisi del sentiment, in particolare, ha richiesto una regolarizzazione aggressiva per prevenire l'overfitting.
Sfumatura Culturale: Sebbene il sistema funzioni bene, l'autore riconosce i limiti nel gestire riferimenti culturali specifici e contesti storici che potrebbero non essere presenti nei dati di pre-addestramento del modello base.

L'autore pone questo lavoro come un passo verso strumenti di moderazione dei contenuti più robusti per le lingue a basse risorse, sottolineando la necessità di una revisione umana nell'implementazione a causa di potenziali bias e falsi positivi su discorsi politici o culturali legittimi.