Technische Samenvatting: Evaluatie van Prompt-omvang en Demonstratiegelijkenis in Lokale LLM Machinevertaling

Probleemstelling

Traditionele evaluatie van machinevertaling (MT) behandelt vertaling als een enkelvoudige taalpaar-taak, waarbij een systeem één bronzin naar één doeltaal vertaalt. Echter, Large Language Models (LLMs) worden steeds vancer in gebruik als algemene vertaalinstrumenten, waarbij gebruikers tegelijkertijd meerdere doeltalen kunnen aanvragen, in-context voorbeelden kunnen verstrekken, of gestructureerde outputs kunnen vereisen (bijv. JSON). Dit artikel betoogt dat huidige evaluatieframeworks falen in het vastleggen van deze "extra vrijheidsgraden" die inherent zijn aan LLM-gebruik. Specifiek wordt onderzocht of prompt-omvang (single-target vs. multi-target familieverzoeken) en demonstratie-selectiestrategieën (random, lexicaal, versus embedding-gebaseerde retrieval) de prestaties van lokale, op consumentenhardware draaiende LLM's significant beïnvloeden. De studie richt zich op lokale implementatie vanwege de relevantie voor privacy, kostenbeheersing en offline gebruik, waarbij wordt opgemerkt dat kleinere lokale modellen gevoeliger kunnen zijn voor promptlengte en gestructureerde output-beperkingen dan propriëtaire hoogwaardige systemen.

Methodologie

Experimenteel Ontwerp

De studie evalueert Engels-naar-Romaanse en Engels-naar-Germaanse vertalingen over negen officiële EU-talen (Frans, Spaans, Italiaans, Portugees, Roemeens, Duits, Nederlands, Deens, Zweeds) met behulp van de volledige FLORES devtest split (1.012 zinnen). Demonstraties worden uitsluitend getrokken uit de FLORES dev split om datalekken te voorkomen.

De experimentele variabelen zijn:

1. Prompt-omvang:
   • Single-target: Het model vertaalt één zin naar één taal.
   • Family-scope: Het model vertaalt één zin naar alle talen van een familie (Romaans of Germaans) in een enkel JSON-object met FLORES taalcodes als sleutels.
2. Demonstratie Selectie (Few-shot):
   • Zero-shot: Geen voorbeelden verstrekt.
   • Random: $k=5$ voorbeelden uniform geselecteerd uit de dev-set.
   • Lexicale gelijkenis: $k=5$ voorbeelden met de hoogste cosinusgelijkenis op basis van bag-of-token bronrepresentaties.
   • Embedding-gelijkenis: $k=5$ voorbeelden met de hoogste cosinusgelijkenis op basis van meertalige zin-embeddings.

Modellen en Baselines

• Lokale LLM's: Drie instructie-getunede modellen uitgevoerd via Ollama (temperatuur 0): llama3.2:3b, mistral:latest, en qwen2.5:14b.
• Dedicated MT Baselines: OPUS-MT (MarianMT) en NLLB-200 (gedestilleerde 600M en 1.3B versies). Deze worden alleen geëvalueerd in de single-target setting omdat ze niet ontworpen zijn voor gestructureerde multi-target instructie-opvolging.

Evaluatiemetrieken

• Vertaalkwaliteit: Corpus-niveau chrF++, BLEU (via SacreBLEU), en zin-niveau COMET.
• Compliance (Alleen bij Family-scope): Target dekking, volledigheid van de output, aantal ontbrekende targets en prompt echo count.
• Statistische Analyse: Gepaarde bootstrap resampling voor betrouwbaarheidsintervallen en p-waarden ter vergelijking van de beste lokale LLM tegenover de beste MT-baseline.

Belangrijkste Resultaten

1. Prestaties van Lokale LLM's vs. Dedicated MT

Dedicated MT-systemen blijven de sterkste algemene baselines, met name voor Germaanse talen waar het prestatieverschil aanzienlijk is. Lokale LLM's zijn competitief voor specifieke Romaanse targets (met name Spaans en Portugees), waarbij qwen2.5:14b vaak de performance van dedicated MT benadert in single-target settings. Echter, geen enkele lokale LLM matcht consistent de beste MT-baselines over alle metrieken en talen heen.

2. Impact van Few-Shot Prompting

Het effect van few-shot prompting is sterk modelafhankelijk:

• mistral:latest en qwen2.5:14b: Beide modellen tonen significante verbeteringen met few-shot prompting. Embedding-gebaseerde retrieval levert de beste gemiddelde winst op (bijv. mistral wint +4.60 chrF++ en +11.03 BLEU met embedding retrieval).
• llama3.2:3b: Dit kleinere model vertoont consequent een verslechtering in prestaties met few-shot prompting over alle retrieval-strategieën, wat suggereert dat kleinere modellen moeite kunnen hebben met de toegenomen contextlengte of instructiecomplexiteit.

3. Effectiviteit van de Retrieval-strategie

Hoewel embedding-gebaseerde retrieval de beste gemiddelde resultaten biedt voor modellen die profiteren van voorbeelden, is de marge ten opzichte van random en lexicale retrieval bescheiden. Cruciaal is dat zin-niveau analyse onthult dat de gelijkenisscore van een opgehaald voorbeeld de mate waarin dat specifieke voorbeeld de vertaalkwaliteit zal verbeteren, niet sterk voorspelt (correlatie nabij nul). Dit suggereert dat voorbeelden helpen via meerdere mechanismen (formattering, stijl-verankering, taakverduidelijking) in plaats van louter semantische gelijkenis.

4. Family-Scope en Gestructureerde Output

Family-scope prompting fungeert als een stresstest voor de naleving van gestructureerde output:

• Sterkere Modellen (mistral, qwen): Handhaven een hoge dekking (>96%) en produceren overwegend volledige JSON-objecten, hoewel de vertaalkwaliteit van de geproduceerde outputs iets lager is dan de single-target performance.
• Kleiner Model (llama3.2:3b): Lijdt onder ernstige fouten in de gestructureerde output. In de Germaanse familie-setting daalt de zero-shot dekking naar 0.343, en zelfs met embedding retrieval bereikt het slechts 0.493. Voor dit model is de family-scope taak primair een falen van output-compliance in plaats van enkel vertaalkwaliteit.

5. Vergelijking met Dedicated MT

Gepaarde significantietesten bevestigen dat de beste lokale LLM-condities onder de beste dedicated MT-baselines blijven in chrF++ voor alle targets. Het gat is kleiner voor Romaanse talen (gemiddeld -2.55 chrF++) dan voor Germaanse talen (gemiddeld -7.26 chrF++). COMET-scores verkleinen het gat soms of tonen niet-significante verschillen (bijv. voor Spaans), maar zij trekken de conclusie niet in twijfel dat dedicated MT-systemen momenteel superieur zijn.

Betekenis en Claims

Het artikel claimt niet een nieuw vertaalmodel te introduceren of een methode om dedicated MT-systemen te overtreffen. In plaats daarvan is de primaire bijdrage een evaluatiedesign en empirische analyse die aantoont dat:

1. Prompt-omvang is een Kritieke Variabele: Het evalueren van LLM's uitsluitend op single-target vertaling is onvoldoende. Family-scope prompting onthult specifieke faalmodi (weggelaten targets, malafide JSON) die standaard MT-evaluatie mist.
2. Demonstratie Strategie Is Belangrijk: De keuze van few-shot voorbeelden (random vs. semantisch) heeft een significante impact op de prestaties, maar dit effect is afhankelijk van de modelcapaciteit. Kleinere modellen kunnen worden geschaad door extra context.
3. Compliance is Onderdeel van Kwaliteit: Voor multi-target vertaling moet "kwaliteit" ook gestructureerde output-compliance metrieken bevatten (dekking, volledigheid). Een model dat vloeiende maar incomplete vertalingen produceert, is functioneel niet gelijkwaardig aan een model dat complete outputs produceert.
4. Evaluatie Aanbevelingen: LLM-gebaseerde MT-evaluatie moet resultaten rapporteren over verschillende prompt-omvang, retrieval-strategieën en compliance-metrieken, en niet alleen taalpaar-specifieke scores.

De auteurs concluderen dat hoewel lokale LLM's nuttig en competitief zijn in geselecteerde settings, ze met validatiemechanismen moeten worden ingezet in plaats van als betrouwbaar te worden beschouwd, vooral in scenario's met een hoog risico waar ontbrekende outputs of structurele fouten reële risico's vormen.