Hate Speech Classification In Roman Urdu: A Comparative Study On Parameter Efficient Fine-Tuning And Prompt Engineering

Internet è diventato una vasta piazza globale dove persone di ogni cultura condividono i propri pensieri, ma questo spazio aperto permette anche alle parole dannose di diffondersi con un'allarmante velocità. Rilevare questi messaggi nocivi, noti come incitamento all'odio (hate speech), è un compito difficile per i computer perché richiede la comprensione non solo delle parole stesse, ma anche dell'intento e del contesto che vi sono dietro. Questo è particolarmente vero per le lingue che non seguono regole rigide o che non dispongono di grandi librerie di esempi pre-scritti da cui i computer possano imparare. L'Urdu Romanizzato, un modo di scrivere la lingua urdu utilizzando l'alfabeto latino, è un esempio lampante di tale lingua. È parlato da milioni di persone in Pakistan e tra i parlanti urdu in tutto il mondo, tuttavia è spesso informale, con ortografia e grammatica incoerenti che cambiano a seconda di chi scrive. Poiché i programmi informatici standard faticano con questa mancanza di struttura, i ricercatori stanno cercando nuovi modi più leggeri per insegnare alle macchine come individuare l'incitamento all'odio in questi testi disordinati e reali, senza la necessità di enormi quantità di dati o di supercomputer costosi.

Una ricercatrice di nome Toneema Zubair ha affrontato questa sfida testando tre diversi metodi per vedere quale potesse insegnare meglio a un computer a distinguere tra un commento innocuo e uno d'odio. Lo studio si è concentrato su un dataset specifico contenente oltre 72.000 commenti raccolti dai social media, dove la stragrande maggioranza era innocua, ma una piccola parte conteneva un linguaggio tossico. Il primo metodo testato consisteva nel chiedere semplicemente a un grande modello informatico pre-addestrato di indovinare la risposta senza alcun addestramento extra, una tecnica nota come zero-shot prompting. Il secondo metodo prevedeva di fornire al modello alcuni esempi di ciò che cercare prima di chiedergli di indovinare, chiamato few-shot prompting. Il terzo metodo era un approccio più tecnico noto come fine-tuning efficiente dei parametri (parameter-efficient fine-tuning), in cui i ricercatori apportavano piccoli aggiustamenti mirati alle impostazioni interne del modello per aiutarlo a imparare i pattern specifici dell'Urdu Romanizzato, invece di cercare di riaddestrare l'intero modello da zero.

I risultati hanno mostato che chiedere semplicemente al computer di indovinare senza alcun aiuto era spesso inaffidabile. Quando i modelli venivano lasciati a se stessi, spesso etichettavano erroneamente commenti innocui come tossici o mancavano completamente l'incitamento all'odio reale, in gran parte perché la lingua era molto informale e il dataset era fortemente sbilanciato verso i commenti non tossici. Tuttavia, quando i ricercatori fornivano ai modelli solo una manciata di esempi per guidarli, le prestazioni miglioravano significativamente. Il metodo che ha prodotto i risultati più coerenti e affidabili, però, è stato quello che ha apportato piccoli, precisi aggiustamenti al modello. Effettuando il fine-tuning del modello con questi aggiornamenti leggeri, il computer ha imparato a riconoscere le sottili sfumature dell'Urdu Romanizzato molto meglio rispetto a quanto facesse con i soli esempi o senza alcun aiuto. Questo approccio ha permesso al modello di raggiungere un alto livello di accuratezza, identificando correttamente sia i commenti tossici che quelli non tossici con un equilibrio che gli altri metodi non potevano eguagliare.

Lo studio ha esplorato anche diversi modi di formulare le domande poste al computer, come l'uso di strutture di frase specifiche o l'aggiunta di token invisibili e apprendibili ai prompt. Sebbene queste variazioni si siano mostrate promettenti e talvolta abbiano ottenuto buoni risultati con piccole quantità di dati, non hanno superato costantemente il metodo che regolava le impostazioni interne del modello. La ricerca suggerisce che, sebbene chiedere a un potente modello informatico di indovinare basandosi su pochi esempi sia un'opzione veloce e a basso consumo di risorse, può essere imprevedibile. Al contrario, apportare piccoli cambiamenti efficienti al modello stesso fornisce una soluzione più stabile e robusta per rilevare l'incitamento all'odio in lingue con scarse risorse come l'Urdu Romanizzato. Questa scoperta è importante perché offre una via pratica per la moderazione dei contenuti online in regioni in cui i dati sono scarsi e la potenza di calcolo è limitata, garantendo che il linguaggio dannoso possa essere identificato senza richiedere sessioni di addestramento massicce e ad alto consumo energetico.