Technische Samenvatting: KOTOX – Een Koreaanse Giftige Dataset voor Deobfuscatie en Ontgifting

Probleemstelling

Naarmate Large Language Models (LLM's) steeds vaker worden ingezet in online omgevingen, zijn de detectie en verwijdering (ontgifting) van giftige inhoud kritiek geworden. Echter, bestaand onderzoek en datasets richten zich voornamelijk op niet-geobfuscateerde tekst. Deze beperking vermindert de robuustheid van modellen wanneer gebruikers giftige uitdrukkingen bewust vermommen om automatische moderatie te ontlopen.

De uitdaging is bijzonder acuut in de Koreaanse taal vanwege zijn agglutinerende morfologie en de specifieke eigenschappen van het Hangeul-schrijfsysteem. Deze linguïstische kenmerken staan diverse variaties op oppervlakkig niveau toe—zoals fonologische verschuivingen, visuele substituties en spatieringsperturbaties—die de oorspronkelijke giftige intentie behouden terwijl ze de uiterlijke verschijning van de tekst veranderen. Bestaande obfuscatie-aanpakken vertrouwen vaak op eenvoudige technieken (bijvoorbeeld homofone vervanging of het invoegen van emoji's) en missen linguïstisch onderbouwde taxonomieën die specifiek zijn voor het Koreaans. Bovendien bieden bestaande bronnen geen gezamenlijk uitgelijnde neutrale en giftige inhoud met hun overeenkomstige geobfuscateerde varianten, wat geünificeerde experimenten voor zowel deobfuscatie als ontgifting belemmert.

Methodologie

1. Constructie van Obfuscatieregels

De auteurs hebben een linguïstisch onderbouwde taxonomie van Koreaanse obfuscatiepatronen opgesteld, gebaseerd op real-world voorbeelden verzameld van online platformen (zoals Agoda, Google Maps). Ze definieerden vijf categorieën transformatieregels:

• Fonologisch: Wijzigt tekst terwijl de uitspraak behouden blijft (bijvoorbeeld het vervangen van medeklinkers/vokalen door fonetisch vergelijkbare eenheden, hersyllabisering, liaison).
• Iconologisch: Genereert obfuscatie door visuele gelijkenis, waarbij karakters worden vervangen door visueel analoge symbolen, cijfers of scripts (bijvoorbeeld Hangeul naar CJK of Latijnse karakters, rotatie van glyphen).
• Transliteratie: Scriptoverschrijdende transformaties die uitspraak of betekenis behouden. Dit omvat het vervangen van Koreaanse uitdrukkingen door fonetisch equivalente vreemde scripts (Latijns/CJK) of het vertalen van woorden naar vreemde talen en het opnieuw transcriberen ervan naar Hangeul.
• Syntactisch: Perturbeert de zinsstructuur in plaats van de vorm van karakters, specifiek door variaties in spatiering en herschikking op syllabenniveau (anagrammen).
• Pragmatisch: Voegt symbolen of emoji's toe om de waargenomen toon te veranderen en automatische interpretatie af te leiden zonder de semantische inhoud te wijzigen.

2. Constructie van de Dataset (KOTOX)

De auteurs introduceerden KOTOX, de eerste hoogwaardige gepaarde dataset voor Koreaanse geobfuscateerde giftige tekst. De constructiepijplijn omvatte:

• Brondata: Het gebruik van de K/DA-dataset (Koreaanse neutraal-giftige paren) als fundament.
• Filtering: Een rigoureuze handmatige filteringsprocedure door Koreaanse linguïstiekexperts verwijderde 7.555 paren tot 2.294 hoogwaardige paren, waarbij problemen zoals verkeerde labeling, semantische onvolkomenheid en persoonlijk identificeerbare informatie (PII) werden aangepakt.
• Transformatie: Toepassing van de gedefinieerde transformatieregels om geobfuscateerde tegenhangers te genereren. Voor elk bronpaar $(x_n, x_t)$ biedt de dataset een vierweg-uitgelijnd tuple $(x_n, x_t, \tilde{x}_n, \tilde{x}_t)$, waarbij $\tilde{x}$ de geobfuscateerde versie aanduidt.
• Augmentatie: Het proces genereert drie geaugmenteerde paren per bron door $k \in \{2, 3, 4\}$ transformatiecategorieën toe te passen, waardoor "Makkelijke", "Normale" en "Moeilijke" moeilijkheidsgraden worden gecreëerd.
• Validatie: Een sanity-checkmechanisme zorgt ervoor dat gegenereerde tekst leesbaarheid en semantische consistentie behoudt, en verworpt ongeldige transformaties.

De definitieve dataset bevat 6.882 samples (5.505 training, 687 validatie, 690 test) verdeeld over neutraal-giftig en hun geobfuscateerde varianten.

3. Evaluatietaken

Het paper definieert drie evaluatietaken om de robuustheid van modellen te testen:

1. Classificatie van Geobfuscateerde Giftige Tekst: Classificeren of een geobfuscateerde tekst giftig is.
2. Deobfuscatie van Neutrale Tekst: Het herstellen van de oorspronkelijke neutrale tekst uit een geobfuscateerde neutrale input.
3. Sanitatie van Geobfuscateerde Giftige Tekst: Het genereren van een gedecodeerde, niet-giftige versie vanuit een geobfuscateerde giftige input (combinatie van deobfuscatie en ontgifting).

Experimenten werden uitgevoerd met meerdere toxiciteitsclassificators (HateBERT, offensiveRoBERTa, toxicity-xlmr-v2) en instructie-gefine-tuned LLM's (Qwen2.5, EXAONE 3.5, Bllossom, GPT-4.1) onder zero-shot, few-shot en supervised fine-tuning (SFT) settings.

Belangrijkste Resultaten

Robuustheid van Classificatie

• Basisgevoeligheid: Modellen getraind op originele (niet-geobfuscateerde) data vertoonden significante prestatiedalingen bij evaluatie op geobfuscateerde tekst. Bijvoorbeeld, de F1-score van het XLM-R-model daalde van 95,06 (op originele data) naar 53,66 (op geobfuscateerde data).
• KOTOX-effectiviteit: Modellen die op KOTOX zijn gefine-tuned, vertoonden consistente verbeteringen. SFT op KOTOX behaalde de hoogste prestaties op geobfuscateerde settings voor HateBERT (71,65 F1) en XLM-R (89,57 F1).
• Generalisatie: Training op KOTOX verbeterde ook de prestaties op niet-geobfuscateerde inputs, wat suggereert dat het leren van obfuscatiepatronen de algemene robuustheid verhoogt. Kleine op encoder gebaseerde modellen die op KOTOX zijn gefine-tuned, benaderden of overtroffen de prestaties van GPT-4.1 in zero-shot settings.

Deobfuscatie en Sanitatie

• Zero/Few-Shot Beperkingen: Pre-getrainde LLM's vertoonden beperkte capaciteit om geobfuscateerde tekst te deobfuseren of te saneren in zero-shot en five-shot settings. Hoewel five-shot prompting de metrieken licht verbeterde, faalden modellen er vaak in om giftige inhoud te mitigeren terwijl ze de tekstvorm herstelden.
• Succes met Fine-tuning: Supervised fine-tuning op KOTOX leverde de beste resultaten op voor zowel deobfuscatie als sanitatie. Gefine-tuned modellen vertoonden significante winsten in semantische reconstructie (BERTScore) en herstel op oppervlakkig niveau (chrF).
• Uitdaging Sanitatie: De sanitatietak bleek het moeilijkst; modellen slaagden er vaak in om te deobfuseren maar behielden de giftige betekenis in few-shot settings. SFT was essentieel voor het genereren van niet-giftige outputs.

Regelsanalyse

• Foutpercentages: Fonologische transformaties waren het makkelijkst voor modellen om te hanteren (laagste foutratio: 0,27). Syntactische en pragmatische transformaties leverden de hoogste foutratio's op (0,35 en 0,36), wat aangeeft dat structurele perturbaties en verstoringen van signalen op discoursniveau voor huidige modellen moeilijker zijn dan variaties op oppervlakkig niveau.
• Mens versus Model: Menselijke beoordelaars behaalden aanzienlijk hogere deobfuscatiescores (BERTScore ~95,64) in vergelijking met gefine-tuned Qwen2.5 (77,90), wat bevestigt dat hoewel de regels menselijke interpreteerbaarheid behouden, ze moeilijk blijven voor huidige LLM's.

Betekenis en Claims

De auteurs claimen dat KOTOX de eerste dataset is die gelijktijdig deobfuscatie en ontgifting voor de Koreaanse taal ondersteunt, door gepaarde neutrale, giftige en hun geobfuscateerde tegenhangers te bieden.

• Linguïstische Grondslag: In tegenstelling tot eerdere werken die vertrouwen op eenvoudige perturbatie, is KOTOX gebouwd op een taxonomie die is afgeleid van de specifieke agglutinerende en orthografische eigenschappen van het Koreaans en Hangeul.
• Robuustheid: De dataset maakt het trainen van modellen mogelijk die robuust zijn voor geobfuscateerde giftige inhoud zonder prestaties op schone inputs op te offeren.
• Beschikbaarheid van Bronnen: De auteurs bieden het obfuscatie-transformatiepakket aan als een open-source tool, wat de reproduceerbare generatie van geobfuscateerde tekst voor toekomstig onderzoek faciliteert.
• Beperkingen: De studie is expliciet beperkt tot de Koreaanse taal en Hangeul. De auteurs erkennen dat de specifieke regels mogelijk niet direct generaliseren naar andere linguïstische contexten, hoewel het kader kan worden uitgebreid.

Concluderend toont het paper aan dat huidige LLM's zeer kwetsbaar zijn voor Koreaans-specifieke obfuscatiepatronen en dat training op linguïstisch onderbouwde, gepaarde geobfuscateerde datasets essentieel is voor het bouwen van veiligere en robuustere taaltechnologieën voor Koreaanse online omgevingen.