Transferring Natural Language Datasets Between Languages Using Large Language Models for Modern Decision Support and Sci-Tech Analytical Systems

Technische Samenvatting: Het overdragen van natuurlijke taal-datasets tussen talen met behulp van Large Language Models

Probleemstelling
Het artikel behandelt het tekort aan grootschalige, geannoteerde Russische corpora voor Natural Language Processing (NLP)-taken, specifiek met betrekking tot de extractie van termen en hun definities. Terwijl het Engelse DEFT-corpus (Definition Extraction from Texts) een rijke, drielaagse annotatiestructuur biedt voor het minen van term-definitieparen, zijn equivalente bronnen niet beschikbaar voor het Russisch. Het handmatig creëren van dergelijke datasets vanaf nul is arbeidsintensief en kostbaar. De auteurs onderzoeken of Large Language Models (LLMs) effectief bestaande Engelse datasets en hun Named Entity Recognition (NER)-annotaties naar het Russisch kunnen overdragen, om zo een "silver" kwaliteit basislijn te bieden voor het trainen van modellen in minder ondersteunde talen.

Methodologie
De auteurs stellen een pipeline voor die bestaat uit drie hoofdfasen: het voorbereiden van een gold set, het vertalen van tekst en het overdragen van NER-annotaties.

1. Datapreparatie: De studie maakt gebruik van het DEFT-corpus (Engelse teksten uit gratis e-books) en het Wikipedia-gedeelte van de WCL-dataset. Het oorspronkelijke CoNLL-achtige formaat werd omgezet naar een Hugging Face Datasets-structuur. Een "gold set" werd handmatig gecreëerd door een subset van de Engelse data (dev set en een willekeurige steekproef van de train set) naar het Russisch te vertalen met behulp van Google Translate, gevolgd door handmatige verificatie en NER-annotatieoverdracht via Label Studio. Dit resulteerde in 1.070 handmatig geverifieerde zinnen (870 met NER, 200 zonder).
2. Strategie voor Annotatieoverdracht: De auteurs testten aanvankelijk een prompt die vereiste dat LLMs index-triplets (start, eind, label) produceerden op basis van Engelse indices. Deze aanpak faalde omdat de modellen niet in staat waren om indices accuraat over talen heen te mappen. Ze herformuleerden de taak: de LLM wordt gevraagd om direct de overeenkomstige Russische substring te identificeren voor een gegeven Engelse NER-span.
3. Model Benchmarking: Een diverse set LLMs werd geëvalueerd via de bothub.chat proxy, inclusief OpenAI-modellen (gpt-3.5-turbo, gpt-4o-mini, gpt-4.1-nano, gpt-4.1-mini), Llama3.1-8B, DeepSeek-varianten (chat-v3-0324, r1) en Qwen-2.5-72B.
4. Evaluatiemetrieken:
   • Annotatieoverdracht: Gemeten aan de hand van exacte overeenkomsten, bredere/smallere gedeeltelijke overeenkomsten en mismatches tussen de LLM-output en de gold standard. Fuzzy matching werd toegepast als een post-processing stap om morfologische mismatches te mitigeren.
   • Vertaalkwaliteit: Geëvalueerd met behulp van BLEU-scores en embedding-gebaseerde metrieken (LaBSE), inclus\u2019 de "Parallel Comparison" (semantische afstand tussen bron en vertaling) en "BLEU-like" (semantische afstand tussen gold en machinevertaling).
5. Downstream Training: De best presterende pipeline (met gebruik van DeepSeek-chat-v3-0324) werd toegepast op de volledige DEFT- en WCL-datasets om een vertaalde Russische corpus te genereren (ruDEFT en WCL_Wiki_Ru). BERT-gebaseerde modellen (multilingual BERT, RuBERT en RoBERTa) werden getraind op deze datasets om basislijnen te vestigen voor definitiedetectie en term/definitieherkenning.

Belangrijkste Resultaten

• Annotatieoverdracht: Het herformuleren van de taak om substrings te extraheren in plaats van indices verbeterde de prestaties aanzienlijk. Het DeepSeek-chat-v3-0324 model behaalde de hoogste prestaties met een exact match rate van 94,21% en slechts 0,84% mismatched spans (met fuzzy search post-processing). GPT-4.1-mini en GPT-3.5-turbo presteerden ook goed, terwijl Llama3.1-8B meer moeite had met morfologische variaties, waarbij fuzzy matching nodig was om mismatches te verminderen.
• Vertaalkwaliteit: De vertaalprestaties waren over het algemeen hoog, waarbij gpt-4o-mini en DeepSeek-chat-v3-0324 de beste BLEU-scores (~0,52) en gunstige embedding-gebaseerde metrieken behaalden.
• Downstream Model Prestaties:
  • Definitiedetectie (Taak 1): Modellen getraind op de overgedragen data behaalden sterke resultaten (F1 ~0,85 op testsets), hoewel er een prestatiekloof bestond tussen de gold set en de overgedragen testset, wat wijst op LLM-geïnduceerde biases in de tekst.
  • NER (Taak 2): De prestaties waren opvallend zwakker (F1 ~0,58 voor RuDEFT), wat aangeeft dat de "silver" kwaliteit van de overgedragen annotaties de het vermogen van het model om perfect te generaliseren beperkt. Modellen presteerden echter beter op de gold set dan op de overgedragen testset, en multilingual BERT toonde iets meer robuustheid tegen annotatiefouten dan RuBERT in deze specifieke context.
  • WCL Dataset: Modellen behaalden uitstekende resultaten (F1 ~0,96) op de Wikipedia-gebaseerde dataset, waarschijnlijk door de gestructureerde aard van Wikipedia-definities en de eenvoudigere taak van het identificeren van enkel term-entiteiten.

Betekenis en Claims
De auteurs beweren dat LLMs effectieve "slimme vertalers" kunnen dienen voor het overdragen van complexe NER-annotaties tussen talen, waardoor de inspanning die nodig is om startpunten te creëren voor NLP in minder ondersteunde talen aanzienlijk wordt verminderd. Hoewel de resulterende datasets van "silver" kwaliteit zijn en menselijke verificatie vereisen voor toepassingen met een hoog risico, toont de studie aan dat ze voldoende zijn om basismodellen te trainen voor wetenschappelijke trendanalyse en beslissingsondersteunende systemen (bijv. iFORA, SciApp).

Het artikel concludeert bescheiden dat hoewel de overgedragen data de creatie van functionele tools mogelijk maakt, de NER-modellen getraind op deze data nog niet perfect zijn, wat zorgvuldige verificatie van annotaties noodzakelijk maakt. Het werk benadrukt dat de cognitieve complexiteit van de taak (bijv. het mappen van indices versus het extraheren van substrings) de prestaties van de LLM aanzienlijk beïnvloedt. De auteurs hebben de gegenereerde Russische datasets (ruDEFT, WCL_Wiki_Ru) en de bijbehorende code open-source beschikbaar gesteld om verder onderzoek te faciliteren.