Hate Speech Classification In Roman Urdu: A Comparative Study On Parameter Efficient Fine-Tuning And Prompt Engineering

Het internet is een uitgestrekt, mondiaal dorpsplein geworden waar mensen uit elke cultuur hun gedachten delen, maar deze open ruimte staat er ook voor dat schadelijke woorden met alarmerende snelheid zich verspreiden. Het detecteren van deze schadelijke berichten, bekend als haatzaaiende taal, is een moeilijke taak voor computers omdat het niet alleen begrijpen van de woorden zelf vereist, maar ook de intentie en de context erachter. Dit geldt met name voor talen die geen strikte regels volgen of geen grote bibliotheken hebben van vooraf geschreven voorbeelden waar computers van kunnen leren. Roman Urdu, een manier om de Urdu-taal te schrijven met het Latijnse alfabet, is een uitstekend voorbeeld van een dergelijke taal. Het wordt door miljoenen mensen in Pakistan en onder Urdu-sprekers wereldwijd gesproken, maar het is vaak informeel, met inconsistente spelling en grammatica die verandert afhankelijk van wie er typt. Omdat standaard computerprogramma's worstelen met dit gebrek aan structuur, zoeken onderzoekers naar nieuwe, lichtere manieren om machines te leren haatzaaiende taal te herkennen in deze rommelige, real-world teksten zonder dat daar enorme hoeveelheden data of dure supercomputers voor nodig zijn.

Een onderzoeker genaamd Toneema Zubair pakte deze uitdaging aan door drie verschillende methoden te testen om te zien welke het beste een computer kon leren om onderscheid te maken tussen een onschuldige opmerking en een haatdragende opmerking in Roman Urdu. De studie richtte zich op een specifieke dataset die meer dan 72.000 reacties bevatte, verzameld van sociale media, waarbij de overgrote meerderheid onschuldig was, maar een kleiner deel toxische taal bevatte. De eerste methode die werd getest, was simpelweg een groot, vooraf getraind computermodel te vragen het antwoord te raden zonder extra training, een techniek die bekend staat als zero-shot prompting. De tweede methode hield in dat het model een paar voorbeelden kreeg van waar het naar moest kijken voordat het werd gevraagd te raden, wat bekend staat als few-shot prompting. De derde methode was een meer technische aanpak genaamd parameter-efficient fine-tuning, waarbij de onderzoekers zeer kleine, gerichte aanpassingen maakten aan de interne instellingen van het model om het te helpen de specifieke patronen van Roman Urdu haatzaaiende taal te leren, in plaats van te proberen het hele model vanaf nul opnieuw te trainen.

De resultaten toonden aan dat het de computer simpelweg vragen om te raden zonder hulp vaak onbetrouwbaar was. Wanneer de modellen aan hun lot werden overgelaten, labelden ze onschuldige reacties vaak onterecht als toxisch of misten ze daadwerkelijke haatzaaiende taal volledig, grotendeels omdat de taal zo informeel was en de dataset sterk scheefgetrokken was richting niet-toxische reacties. Echter, wanneer de onderzoekers de modellen slechts een handvol voorbeelden gaven om hen te begeleiden, verbeterde de prestatie aanzienlijk. De methode die de meest consistente en betrouwbare resultaten opleverde, was degene die kleine, precieze aanpassingen aan het model maakte. Door het model te verfijnen met deze lichte updates, leerde de computer de subtiele nuances van Roman Urdu veel beter herkennen dan met enkel voorbeelden of zonder hulp. Deze aanpak stelde het model in staat om een hoog niveau van nauwkeurigheid te bereiken, waarbij zowel toxische als niet-toxische reacties correct werden geïdentificeerd met een balans die de andere methoden niet konden evenaren.

De studie verkende ook verschillende manieren om de vragen aan de computer te formuleren, zoals het gebruik van specifieke zinsstructuren of het toevoegen van onzichtbare, leerbare tokens aan de prompts. Hoewel deze variaties veelbelovend waren en soms goed presteerden met kleine hoeveelheden data, presteerden ze niet consistent beter dan de methode die de interne instellingen van het model aanpaste. Het onderzoek suggereert dat hoewel het een krachtig computermodel vragen om te raden op basis van een paar voorbeelden een snelle en middelen-vriendelijke optie is, het onvoorspelbaar kan zijn. In contrast hiermee biedt het maken van kleine, efficiënte wijzigingen aan het model zelf een stabielere en robuustere oplossing voor het detecteren van haatzaaiende taal in talen met weinig middelen zoals Roman Urdu. Deze bevinding is belangrijk omdat het een praktisch pad biedt voor het modereren van online inhoud in regio's waar data schaars is en rekenkracht beperkt is, waardoor wordt gewaarborgd dat schadelijke taal kan worden geïdentificeerd zonder dat daarvoor massieve, energie-intensieve trainingssessies nodig zijn.