Steering LLMs toward Korean Local Speech: Iterative Refinement Framework for Faithful Dialect Translation

Probleemstelling

Het vertalen van standaardtaal naar dialecten met grote taalmodellen (LLMs) blijft een aanzienlijke uitdaging. Er zijn twee hoofdproblemen geïdentificeerd:

1. Het Dialect-Gap: LLMs hebben moeite om authentieke dialectkenmerken te genereren. In plaats daarvan neigen ze ertoe de output te laten lijken op de standaardtaal, zelfs wanneer expliciet om een dialect wordt gevraagd. In zero-shot scenario's werd een succespercentage van slechts 2% waargenomen voor sommige modellen.
2. Vervorming in Evaluatiemetrics: Traditionele n-gram-metrics (zoals BLEU en chrF++) vertonen een structureel blinde vlek bij dialectvertaling. Deze metrics belonen oppervlakkige overlap met de brontekst (standaardtaal) boven authentieke dialectvertaling. Dit leidt tot het fenomeen van "False Success": een output die de standaardtaal kopieert, krijgt een hoge score, terwijl een echte poging tot dialectgeneratie ("True Attempt") met lagere n-gram-overlap een lage score krijgt, ondanks dat het taalkundig correcter is voor het doel.

Methodologie: DIA-REFINE Framework

De auteurs stellen DIA-REFINE (Dialect Refinement) voor, een iteratief raamwerk dat LLMs stuurt naar trouwe dialectoutput via een lus van vertaling, verificatie en feedback.

1. Externe Dialect Classificatie:

   • Er is een ensemble van dialectclassificators getraind (bestaande uit vijf fine-tuned Koreaanse taalmodellen zoals KcELECTRA en KoSimCSE-RoBERTa) met een algehele nauwkeurigheid van 94,92%.
   • Dit ensemble fungeert als een externe "verificator" die bepaalt of de gegenereerde tekst daadwerkelijk het doel-dialect (Jeolla, Gyeongsang of Jeju) bevat.

2. Iteratieve Verbetingslus:

   • Stap 1: Het LLM genereert een vertaling.
   • Stap 2: Het dialect-ensemble classificeert de output.
   • Stap 3 (Feedback): Als de output niet het doel-dialect is, wordt expliciete feedback gegenereerd. Deze feedback specificeert welk fout label de output kreeg en vraagt het model om opnieuw te vertalen met de kenmerken van het doel-dialect.
   • Oscillatie-herkenning: Als het model tussen verschillende foutlabels oscilleert, wordt dit patroon in de prompt gemarkeerd om het model te helpen de cyclus te doorbreken.
   • Varianten: Er zijn twee strategieën:
     • DIA-REFINE(S): Eén kandidaat per iteratie.
     • DIA-REFINE(M): Genereer $k$ kandidaten, selecteer de beste op basis van de posterior-kans van de classifier, en verifieer alleen deze.

3. Nieuwe Evaluatiemetrics:
   Om de beperkingen van n-gram-metrics te overwinnen, introduceren de auteurs twee nieuwe metrics:

   • Dialect Fidelity Score (DFS): Een continue maatstaf die berekent of de hypothese (vertaling) taalkundig dichter bij de dialectreferentie ligt dan bij de standaardbron. Dit wordt berekend als de log-ratio van de cosinus-ähnlijkheid in een embedding-ruimte (gebaseerd op een dialect-bewust model). Een positieve DFS wijst op een verschuiving naar het dialect.
   • Target Dialect Ratio (TDR): Het percentage van de gegenereerde hypotheses dat correct wordt geclassificeerd als het doel-dialect door het ensemble.

Belangrijkste Bijdragen

1. DIA-REFINE Framework: Een effectief mechanisme voor het sturen van dialectvertalingen via externe feedback, zonder dat het LLM zelf opnieuw getraind hoeft te worden.
2. Robuust Evaluatiesysteem: De introductie van DFS en TDR, die de vertekening van n-gram-metrics oplossen en "False Success" van "True Attempt" kunnen onderscheiden.
3. Empirische Validatie: Een uitgebreide analyse over drie Koreaanse dialecten (Jeolla, Gyeongsang, Jeju) met meerdere state-of-the-art modellen (HyperCLOVAX, Llama-3.1, EEVE, EXAONE-3.5, Gemini-1.5).

Resultaten

De experimenten tonen aan dat DIA-REFINE consistent de dialectgetrouwheid verbetert:

• Oplossing van False Success: Modellen zoals HyperCLOVAX en Llama-3.1 hadden in zero-shot hoge BLEU-scores (bijv. ~60), maar een zeer lage TDR (<0.03) en negatieve DFS, wat bevestigt dat ze de standaardtaal kopieerden. Na toepassing van DIA-REFINE(M) steeg de TDR aanzienlijk (bijv. naar 0.42 voor EXAONE-3.5), terwijl de BLEU-scores daalden (wat aangeeft dat ze zich verwijderden van de standaardbron).
• Prestatieverschillen per Model:
  • Gemini-1.5 presteerde het beste, zelfs in zero-shot (TDR 0.93), en bereikte bijna perfecte scores (TDR 0.99) met DIA-REFINE(M).
  • EXAONE-3.5 vertoonde een opmerkelijke verbetering na integratie van In-Context Learning (ICL) en DIA-REFINE(M), waarbij de TDR steeg van 0.41 naar 0.94.
  • Modellen met een sterke "False Success" neiging reageerden minder goed op het framework dan modellen die al een "True Attempt" maakten.
• Effectiviteit van Multi-Candidate: De variant DIA-REFINE(M) bleek superieur aan de single-candidate variant, vooral bij moeilijke voorbeelden, omdat deze een bredere zoekruimte biedt en efficiënter is in het herstellen van initiële fouten.

Betekenis en Conclusie

Dit onderzoek biedt een robuust raamwerk voor inclusieve dialectvertaling en benadrukt de noodzaak om traditionele evaluatiemetrics te herzien. De studie toont aan dat:

1. N-gram-metrics misleidend kunnen zijn voor dialecttaken en dat embedding-gebaseerde metrics (DFS) en classificatie-ratio's (TDR) essentieel zijn voor een eerlijke evaluatie.
2. Iteratieve refinement met externe feedback een krachtige methode is om LLMs te sturen naar specifieke taalkundige variëteiten.
3. De effectiviteit van dergelijke frameworks afhankelijk is van de inherente taalkundige capaciteit van het basismodel.

De auteurs maken hun code openbaar om verdere research in dit gebied te faciliteren, hoewel de dataset zelf vanwege licentievoorwaarden niet vrijgegeven kan worden. Dit werk legt de basis voor toekomstig onderzoek naar het behoud van taalkundig erfgoed en het verbeteren van technologische inclusiviteit voor minderheidstaalvariaties.