Scripts Through Time: A Survey of the Evolving Role of Transliteration in NLP

Titel: Scripts Through Time: Een survey van de evoluerende rol van transliteratie in NLP

Auteurs: Thanmay Jayakumar, Deepon Halder, Raj Dabre
Bron: AI4Bharat / IIT Madras / IIEST Shibpur (arXiv:2604.18722v1)

1. Het Probleem: De "Script Barrière"

De kern van dit onderzoek is het probleem van cross-linguale transfer in Natural Language Processing (NLP). Hoewel modellen vaak succesvol kennis overdragen van hoog-resourcelanden (zoals Engels) naar laag-resourcelanden, wordt dit proces vaak geblokkeerd door verschillen in schrijfsystemen (scripts).

• Lexicale overlapping: Wanneer twee talen verwant zijn maar verschillende scripts gebruiken (bijv. Turks en Oezbeeks), is de lexicaal overlap minimaal. Token-representaties uit verschillende scripts zijn vaak lineair gescheiden, wat betekent dat modellen moeite hebben om een gemeenschappelijke representatieruimte te leren.
• Transliteratie-ambiguïteiten: Het gebruik van transliteratie (het omzetten van één script naar een ander, vaak Latijns) introduceert risico's zoals:
  • Many-to-One: Eén transliteratie kan meerdere woorden vertegenwoordigen (homografen), wat informatieverlies veroorzaakt.
  • One-to-Many: Eén woord kan op meerdere manieren worden getransliteriseerd (spellingvarianten), wat fragmentatie veroorzaakt.
  • Semantisch verlies: Bij logografische talen (zoals Chinees) kan het omzetten naar een fonetisch script cruciale semantische nuances verwijderen.

2. Methodologie en Taxonomie

De auteurs hebben een systematische survey uitgevoerd van bestaande literatuur (ACL, arXiv, etc.) om de evolutie van transliteratiestrategieën te analyseren. Ze presenteren een uitgebreide taxonomie die de motivaties en integratie-methoden categoriseert.

A. Motivaties voor Transliteratie (Evolutie)

De redenen voor het gebruik van transliteratie zijn in de tijd veranderd:

1. Named Entities & OOV (Out-of-Vocabulary): In de pre-neurale en vroege neurale era gebruikt om namen en onbekende woorden te behandelen die niet in het vocabulaire stonden.
2. Code-mixing & Leetspeak: Om gebruikersdata te normaliseren waarin native talen in Latijnse letters worden geschreven (bijv. Arabizi, Hinglish), vaak gemengd met Engels.
3. Cross-linguale Transfer: Het creëren van "ankerpunten" (identieke strings) tussen verwante talen met verschillende scripts om kennisoverdracht mogelijk te maken.
4. Efficiëntie: Het uniformeren van preprocessing en het verminderen van token-fertiliteit (het aantal subwoorden per woord), wat leidt tot snellere inferentie en lagere kosten.
5. Multi-script Awareness: De nieuwste trend waarbij modellen niet afhankelijk zijn van één script, maar transliteratie gebruiken als een auxiliary signaal binnen geavanceerde architecturen.

B. Integratiebenaderingen

De survey classificeert hoe transliteratie in modellen wordt geïntegreerd:

• Data-niveau: Het hele corpus translitereren of transliteratie toevoegen als data-augmentatie (bijv. Transliteration Augmented Data).
• Input-niveau:
  • Direct Concatenation: Originele tekst + transliteratie als input (verhoogt sequentielengte).
  • Embedding Fusion: Vectors van origineel en transliteratie worden samengevoegd (bijv. optelling) zonder sequentielengte te verhogen.
• Architectuur-niveau:
  • Multi-Encoder: Separate encoders voor elk script.
  • Script Adapters: Parallelle adapters die per script worden getraind en later worden gefuseerd.
  • Alignment Objectives: Contrastieve loss-functies om de representaties van originele en getransliteriseerde tekst dichter bij elkaar te brengen.
• Inferentie-niveau:
  • Ensembles: Meerdere modellen (elk getraind op een andere script-versie) die samenstemmen.
  • Prompting (LLMs): Het gebruik van prompts in meerdere scripts binnen Large Language Models (LLMs).

3. Belangrijkste Resultaten en Bevindingen

• Beste Integratiestrategie: Een systematische vergelijking (gebaseerd op Sun et al., 2022) toont aan dat Multi-Source Self-Ensemble (het trainen van één model op gemengde data met script-specifieke prefixes, gevolgd door ensemble-inferentie) vaak de beste prestaties levert. Dit is effectiever dan complexe multi-encoder architecturen of simpele concatenatie.
• Adapters vs. Directe Transliteratie: Het combineren van directe transliteratie en native vocabulaire in één model kan leiden tot negatieve interferentie ("false positives"). Het gebruik van Script Adapters lost dit op door representaties per script te scheiden en ze alleen op het output-niveau te fuseren.
• Waarom Transliteratie Werkt: Onderzoek (Jung et al., 2026) suggereert dat transliteratie vooral werkt door de token-distributie te herschikken. Het creëert langere, gedeelde subwoorden die semantische consistentie over talen heen behouden, waardoor het vocabulaire van het model effectiever wordt benut.
• Romanisatie als Dominante Strategie: Hoewel romanisatie (omzetten naar Latijns) soms informatie verliest, wordt het veel gebruikt omdat:
  1. De meeste LLMs Engels-centric zijn en beter presteren op Latijnse scripts.
  2. Het de token-fertiliteit drastisch verlaagt (2x-4x minder tokens), wat inferentiekosten verlaagt.
  3. Er veel code-mixed data in het Latijnse script bestaat.
  4. Er betere tools voor romanisatie beschikbaar zijn dan voor andere scripts.
• Latente Romanisatie in LLMs: Recent onderzoek (Saji et al., 2025) suggereert dat moderne LLMs intern al een vorm van "Latente Romanisatie" toepassen. In de midden- tot bovenste lagen van het model worden niet-Latijnse tokens tijdelijk als Latijnse fonetische benaderingen gerepresenteerd voordat ze naar het native script worden omgezet. Dit impliceert dat expliciete transliteratie voor inferentie misschien minder nodig is dan gedacht, maar nog steeds nuttig is voor training.

4. Bijdragen van het Artikel

1. Taxonomie: Een gestructureerd overzicht van de motivaties en methoden voor het gebruik van transliteratie in NLP.
2. Overzicht van Benaderingen: Een gedetailleerde analyse van data-, input-, architectuur- en inferentie-niveau integraties.
3. Praktische Aanbevelingen: Richtlijnen voor onderzoekers om de juiste strategie te kiezen op basis van taak (NLU vs. NLG), taalverwantschap en beschikbare middelen.
4. Contextualisatie in LLMs: Een discussie over de rol van transliteratie in het tijdperk van Large Language Models, inclusief de ontdekking van "Latente Romanisatie".

5. Betekenis en Conclusie

Transliteratie is een krachtige, maar genuanceerde techniek om de script-barrière in multilinguale NLP te overbruggen. Het is bijzonder effectief voor laag-resourcetalen die verwant zijn aan hoog-resourcetalen maar een ander script gebruiken.

De dominantie van romanisatie wordt gedreven door praktische voordelen (kosten, snelheid, compatibiliteit met bestaande modellen), ondanks het risico op semantisch verlies. De auteurs concluderen dat transliteratie geen universele oplossing is; het kan prestaties verslechteren als het bestaande, geleerde connecties tussen scripts verstoort. Echter, met de opkomst van reversible transliteratie (zonder informatieverlies) en het inzicht dat LLMs intern transliteratie-achtige mechanismen gebruiken, blijft transliteratie een essentieel hulpmiddel totdat de script-barrière fundamenteel is opgelost in de modelarchitectuur zelf.

Beperkingen: De survey is beperkt tot een smalle set van downstream taken (voornamelijk NER, POS-tagging, en Machine Translation) en focust voornamelijk op encoder-only en encoder-decoder modellen, met minder diepgang over decoder-only LLMs. Er is ook nog een interpretatiekloof over hoe deze mechanismen intern precies werken.