FreeTxt-Vi: A Benchmarked Vietnamese-English Toolkit for Segmentation, Sentiment, and Summarisation

FreeTxt-Vi is een gratis, open-source webtoolkit die geavanceerde Vietnamese-Engelse tekstanalyse mogelijk maakt voor niet-programmatoren door een geïntegreerde pipeline te bieden voor segmentatie, sentimentanalyse en samenvatting, die in evaluaties concurrerende resultaten behaalt en zo de toegang tot meertalig onderzoek voor ondervertegenwoordigde talen zoals het Vietnamees vergemakkelijkt.

De kern

Stel je voor dat je een enorme berg brieven, reacties en verhalen hebt. Sommige brieven zijn in het Engels, andere in het Vietnamees. Je wilt weten: Wat vinden mensen eigenlijk? Wat zijn de belangrijkste thema's? En wat is de algemene sfeer?

Vroeger moest je daarvoor een computerwetenschapper zijn of duizenden uren handmatig lezen. FreeTxt-Vi is als een slimme, gratis "vertaal- en analyse-machine" die dit voor jou doet, zonder dat je ook maar één regel code hoeft te schrijven.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De Taalbarrière en de "Woordknopen"

Vietnamees is een prachtige taal, maar voor computers is het lastig. In het Engels schrijven we woorden met spaties eromheen (bijv. "cat" en "dog"). In het Vietnamees worden lettergrepen met spaties gescheiden, maar een woord bestaat vaak uit meerdere lettergrepen die samen één betekenis hebben.

• De Analogie: Stel je voor dat je een zin leest als een lange ketting van losse schakels. Voor een computer is het alsof hij "học" (leren) en "sinh" (leven/student) als twee losse dingen ziet, terwijl het samen "student" betekent. Als de computer dit niet goed snapt, is de hele analyse verkeerd.

2. De Oplossing: FreeTxt-Vi als een Slimme Vertaler

FreeTxt-Vi is een online tool die twee dingen combineert:

1. De "Scheermes" (Segmentatie): Het heeft een speciaal mesje (een combinatie van VnCoreNLP en BPE) dat de Vietnamees tekst precies op de juiste plek in stukjes knipt, zodat het computer begrijpt wat een echt woord is.
2. De "Smaakproever" (Sentimentanalyse): Het kan lezen of mensen blij, boos of neutraal zijn. Het is getraind om zowel Engels als Vietnamees te proeven, alsof het een meertalige kok is die de smaak van beide keukens kent.
3. De "Samenvatter" (Summarisatie): Als je 1000 reacties hebt, leest het ze allemaal en schrijft het een kort, pakkend verslag. Het is niet alleen een knippen-en-plakken machine; het kan de tekst herschrijven alsof het een mens is die de kernprijzen begrijpt.

3. De Magische Hulpmiddelen

De tool biedt meer dan alleen samenvatten. Het heeft een "speelgoedkist" met visuele hulpmiddelen:

• Woordwolken: Stel je voor dat je woorden als ballonnen ziet zweven. Hoe groter de ballon, hoe vaker het woord voorkomt. FreeTxt-Vi maakt deze wolken niet alleen, maar kan ook laten zien welke woorden opvallend zijn (bijvoorbeeld: woorden die in jouw tekst veel vaker voorkomen dan in een normaal dagboek).
• Woordbomen: Dit is als een boomstructuur. Je kiest een woord (bijv. "onderwijs") en de tool toont je alle takken: welke woorden komen er direct voor en welke er direct na? Zo zie je patronen in de taal.
• De "Suggestie-Engine": Als je zoekt op een woord, suggereert de AI automatisch synoniemen of gerelateerde concepten. Het helpt je om de diepere betekenis te vinden, net als een slimme bibliothecaris die je zegt: "Heb je ook al gekeken naar dit andere boek?"

4. Waarom is dit belangrijk?

Tot nu toe waren de beste tools voor tekstanalyse alleen beschikbaar voor talen als Engels. Voor Vietnamees (gesproken door 80 miljoen mensen) was het vaak een "donkere kamer" waar je zelf de lichten moest aanleggen met ingewikkelde computercode.

FreeTxt-Vi doet de lichten aan voor iedereen. Het is gratis, open-source (iedereen mag meekijken en verbeteren) en geëvalueerd. Dat betekent dat de makers niet alleen zeggen "het werkt", maar dat ze het hebben getest tegen de beste bestaande systemen en bewezen hebben dat het net zo goed, of zelfs beter, werkt.

Samenvattend

FreeTxt-Vi is als een multitalige tolk en onderzoeker in één pakket. Het pakt de chaotische berg tekst op, snijdt de Vietnamees woorden netjes uit elkaar, begrijpt de gevoelens erachter, vat de kern samen en presenteert het resultaat in mooie, begrijpelijke grafieken. Het maakt geavanceerde taalonderzoek toegankelijk voor leraren, sociologen, beleidsmakers en iedereen die geïnteresseerd is in wat mensen zeggen, ongeacht of ze in het Engels of Vietnamees spreken.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "FreeTxt-Vi: A Benchmarked Vietnamese–English Toolkit for Segmentation, Sentiment, and Summarisation" in het Nederlands.

Probleemstelling

Het analyseren van ongestructureerde vrije tekst (zoals enquêtes en feedback) op grote schaal blijft een uitdaging, vooral in meertalige contexten en voor talen met beperkte hulpbronnen (low-resource languages). Hoewel er voor talen als Engels geavanceerde NLP-pipelines bestaan, ontbreekt het aan toegankelijke tools voor het Vietnamese.

• Taalkundige uitdaging: Het Vietnamees gebruikt spaties om lettergrepen te scheiden in plaats van woorden, wat leidt tot complexe problemen bij woordsegmentatie (word segmentation). Foutieve segmentatie verstoort frequentietellingen en semantische analyse.
• Toegankelijkheid: Bestaande tools (zoals VnCoreNLP, PhoBERT) vereisen programmeerkennis, terwijl bestaande corpusanalyseplatforms (zoals Voyant Tools) geen ondersteuning bieden voor het Vietnamees of de specifieke linguïstische uitdagingen ervan.
• Kloof: Er is een gebrek aan geïntegreerde, open-source systemen die zowel kwalitatieve corpuslinguïstische methoden als moderne NLP-modellen (sentimentanalyse, samenvatting) combineren voor tweetalige Vietnamese-Engelse datasets.

Methodologie

FreeTxt-Vi is een webgebaseerde, open-source toolkit die corpuslinguïstiek combineert met moderne transformer-based NLP-componenten. Het systeem is ontworpen om gebruikers zonder programmeerkennis in staat te stellen data te analyseren.

1. Architectuur en Verwerkingspijplijn:

• Invoer: Ondersteunt diverse formaten (.txt, .xlsx, .csv) en directe tekstinput.
• Taalherkenning: Een lichtgewicht module detecteert de dominante taal (Vietnamees of Engels) in gemengde datasets.
• Preprocessing (Hybride Segmentatie):
  • Voor het Vietnamees wordt een hybride strategie gebruikt: VnCoreNLP (voor linguïstisch onderbouwde segmentatie) gecombineerd met Byte Pair Encoding (BPE). Dit zorgt ervoor dat meervoudige woorden (zoals học sinh voor 'student') correct worden behandeld als één token, terwijl BPE zorgt voor robuustheid bij zeldzame woorden en compatibiliteit met transformer-modellen.
  • Voor het Engels worden standaardbibliotheken (NLTK, spaCy) gebruikt.
• Sentimentanalyse: Gebruikt een fine-tuned TabularisAI transformer-model. Dit model is getraind op zowel het Vietnamese VLSP2016-dataset als het Engelse IMDb-dataset, waardoor één enkel tweetalig model beide talen kan verwerken. Het ondersteunt zowel grove (positief/negatief/neutraal) als fijne (5-niveau) classificatie.
• Samenvatting:
  • Extractief: Gebruikt het TextRank-algoritme om de meest relevante zinnen te selecteren.
  • Abstractief: Gebruikt een fine-tuned Qwen2.5 (7B parameters) model. Dit model kan niet alleen samenvatten, maar ook aspect-geleide samenvattingen genereren (bijv. "focus alleen op sociale aspecten") via prompt-sturing.
• Visualisatie: Omvat interactieve tools zoals woordwolken (gebaseerd op frequentie, log-likelihood en keyness), woordbomen (KWIC-patronen) en concordantielijsten, aangepast voor de Vietnamese segmentatie.

2. Evaluatieopzet:
De auteurs hebben een uitgebreide evaluatie uitgevoerd op drie kerntaken:

• Segmentatie: Vergelijking op het VLSP2013-dataset (Vietnamees) en Wikipedia/OpenWebText (Engels).
• Sentimentanalyse: Vergelijking op VLSP2016 (Vietnamees) en IMDb (Engels).
• Samenvatting: Vergelijking op VNDS (Vietnamees nieuws) en CNN/DailyMail (Engels).
• Baselines: Vergelijking met state-of-the-art modellen zoals PhoBERT, mBERT, XLM-RoBERTa, T5, BART, en de basisversies van Qwen2.5 en TabularisAI.

Belangrijkste Bijdragen

1. Eerste Tweetalige Toolkit: FreeTxt-Vi is het eerste open-source platform dat een geëvalueerde, geïntegreerde pijplijn biedt voor het verwerken van vrije tekst in het Vietnamees en Engels, specifiek gericht op kwalitatief onderzoek.
2. Hybride Segmentatie-Strategie: De ontwikkeling van een unieke pijplijn die VnCoreNLP combineert met BPE, wat de beste balans biedt tussen linguïstische nauwkeurigheid voor het Vietnamees en compatibiliteit met moderne transformer-architecturen.
3. Fine-tuned Tweetalige Modellen:
   • Een sentimentmodel dat is getraind op beide talen, wat leidt tot betere cross-linguale generalisatie zonder prestatieverlies.
   • Een abstractief samenvattingsmodel (Qwen2.5) dat is aangepast voor tweetalige input en ondersteuning biedt voor aspect-geleide analyse, een functie die eerder niet beschikbaar was voor het Vietnamees.
4. Toegankelijkheid: Het systeem democratiseert geavanceerde NLP voor onderzoekers in onderwijs, cultuur en sociale wetenschappen door programmeerkennis overbodig te maken.

Resultaten

De evaluatie toont aan dat FreeTxt-Vi concurrerende of superieure prestaties levert ten opzichte van bestaande baselines:

• Segmentatie: De hybride methode (VnCoreNLP + BPE) bereikte een F1-score van 98,1% voor het Vietnamees (vergelijkbaar met de top-specialist NlpHUST die 98,3% haalt) en behield een hoge verwerkingssnelheid (4.900 zinnen/sec). Voor het Engels behaalde het systeem een nauwkeurigheid van 99,94%.
• Sentimentanalyse: Het fine-tuned model presteerde het beste op beide datasets:
  • Vietnamees (VLSP2016): 95,2% nauwkeurigheid (een verbetering van +1,8% ten opzichte van de beste monolinguale baseline, PhoBERT).
  • Engels (IMDb): 95,0% nauwkeurigheid.
  • Het model behield een hoge inferentiesnelheid (~205-215 samples/sec).
• Samenvatting: Het fine-tuned Qwen2.5-model behaalde de hoogste ROUGE-scores:
  • Vietnamees (VNDS): ROUGE-1/2/L van 53,1/27,5/48,4.
  • Engels (CNN/DailyMail): ROUGE-1/2/L van 52,4/27,0/48,0.
  • Dit is een verbetering van +3 tot +4 punten ten opzichte van sterke baselines zoals Flan-T5 en Gemma-7B.

Betekenis en Impact

FreeTxt-Vi vult een kritieke kloof in de NLP-landschap voor het Vietnamees. Het bewijst dat tweetalige fine-tuning niet alleen mogelijk is, maar ook de prestaties voor een taal met beperkte hulpbronnen (Vietnamees) kan verbeteren zonder de prestaties voor een rijke taal (Engels) te schaden.

• Reproduceerbaarheid: Alle broncode, modellen en datasets zijn openbaar beschikbaar, wat transparantie en reproduceerbaarheid in onderzoek bevordert.
• Toepassingsgebied: De toolkit is direct toepasbaar in domeinen waar kwalitatieve data cruciaal is maar moeilijk te analyseren, zoals onderwijsresearch, cultureel erfgoed, gezondheidszorg en sociaal wetenschappelijk onderzoek.
• Toekomstperspectief: Het project legt de basis voor de uitbreiding naar andere Zuidoost-Aziatische talen en toont aan hoe open-source platforms kunnen worden aangepast aan de specifieke linguïstische kenmerken van onderbelichte talen.