Beyond Many-Shot Translation: Scaling In-Context Demonstrations For Low-Resource Machine Translation

Technische Samenvatting: Beyond Many-Shot Translation: Scaling In-Context Demonstrations For Low-Resource Machine Translation

Probleemstelling
Machinale vertaling (MT) voor talen met weinig middelen (low-resource languages) wordt fundamenteel beperkt door de schaarste aan hoogwaardige parallelle data. Hoewel Large Language Models (LLMs) de prestaties van MT over het algemeen hebben verbeterd, blijft het aanpassen van deze modellen aan minder vertegenwoordigde talen een uitdaging. Traditionele benaderingen zoals supervised fine-tuning vereisen grote hoeveelheden supervisie die vaak niet beschikbaar zijn. Hoewel In-Context Learning (ICL) een parameter-vrije alternatief biedt door modellen tijdens de inferentie te conditioneren op demonstratievoorbeelden, is het schaalgedrag van ICL in situaties met weinig middelen nog niet volledig begrepen. Specifiek is het onduidelijk of de prestaties blijven verbeteren naarmate het aantal in-context voorbeelden groeit richting de limieten van moderne long-context modellen (tot 1 miljoen tokens), of dat er sprake is van verminderde meeropbrengst en prestatiedegradatie. Bovendien blijft de impact van verschillende databronnen (monolinguaal versus parallel) op dit schaalgedrag een openstaande vraag.

Methodologie
De studie onderzoekt de schaling van many-shot ICL voor low-resource MT door systematisch het aantal in-context voorbeelden en het type corpus te variëren.

• Modellen: De auteurs evalueerden twee decoder-only Transformer-modellen met ultra-lange context-ondersteuning (tot 1 miljoen tokens): Qwen2.5-7B-Instruct-1M en Nemotron-8B-UltraLong-1M-Instruct.
• Doeltalen: De experimenten richtten zich op het Javaans en Sundanees, twee Austronesische talen met weinig middelen.
• Corpus-typen: Drie verschillende typen in-context demonstraties werden getest:
  1. Ongesuperviseerde monolinguale data: Geëxtraheerde tekst uit de doeltalen (Javaans/Sundanees) zonder vertaalparen.
  2. Instruction-Style Data: Taakgerichte voorbeelden (bijv. uit de Alpaca-dataset) vertaald naar de doeltalen, geformatteerd als instructie-input-output triples.
  3. Parallelle Data: Synthetische parallelle corpora gecreëerd door zinnen uit de doeltalen te vertalen naar het Engels en het Indonesisch. Indonesisch werd als referentietaal opgenomen vanwege de typologische nabijheid tot de doeltalen.
• Experimentele Opzet: Het contextbudget werd geschaald van 27 tokens tot ongeveer 1 miljoen tokens ($2^{20}$). De studie maakte gebruik van de FLORES+ dataset voor evaluatie. Prestaties werden gemeten met behulp van COMET-22 (neurale metriek) en ChrF++ (character n-gram overlap). De auteurs vergeleken "first-k" sampling (het nemen van de eerste $k$ voorbeelden) met random sampling om de gevoeligheid voor volgorde te testen.
• Constructie van Synthetische Data: Om het gebrek aan parallelle data aan te pakken, hebben de auteurs synthetische parallelle corpora geconstrueerd door zinnen uit de Aya collection dataset te extraheren en deze met behulp van het OpenAI GPT-5 model naar het Engels en Indonesisch te vertalen.

Belangrijkste Bijdragen

1. Karakterisering van Schaling tot 1M Tokens: Het artikel biedt de eerste empirische karakterisering van many-shot ICL voor low-resource MT op de schaal van 1 miljoen tokens. Het stelt vast dat effectieve contextgroottes vaak aanzienlijk kleiner zijn dan het maximaal ondersteunde venster.
2. Gevoeligheidsanalyse van Datatype: De studie toont aan dat het type in-context corpus cruciaal is voor zowel de omvang van de prestatiewinst als het schalingstraject. Opvallend genoeg wordt gevonden dat instruction-style monolinguale data in bepaalde configuraties competitief kan zijn met parallelle data.
3. Resource Release: De auteurs hebben synthetische parallelle corpora geconstrueerd en vrijgegeven voor Engels-Indonesisch-Javaans en Engels-Indonesisch-Sundanees triplets om toekomstig onderzoek te faciliteren.

Resultaten

• Niet-lineaire Schaling en Verzadiging: Prestaties schalen niet lineair met de contextgrootte. De winst uit extra context verzadigt snel, doorgaans rond de $2^{14}$ tot $2^{16}$ tokens (16K–64K tokens). Voorbij dit punt levert het toevoegen van meer voorbeelden een verminderde meeropbrengst op.
• Prestatiecollaps: Wanneer het contextvenster zijn maximale limiet nadert (nabij 1 miljoen tokens), verslechteren de prestaties vaak, waarbij ze soms onder de zero-shot baselines vallen. Deze "collaps" wordt toegeschreven aan factoren zoals verspreide aandachtmechanismen en het "lost-in-the-middle" fenomeen. Het Qwen-model vertoonde een meer uitgesproken degradatie en instabiliteit in de outputlengte nabij de limiet vergeleken met Nemotron.
• Effecten van Corpus-type:
  • Parallelle Data: Leverde over het algemeen de hoogste prestatiewinsten op, met name voor vertalingen van het Engels naar de doeltalen.
  • Instruction Data: Verrassend genoeg behaalde instruction-style monolinguale data in verschillende scenario's prestaties die vergelijkbaar waren met parallelle data, wat suggereert dat taakvolgende signalen en formattering zeer effectief zijn.
  • Ongesuperviseerde Monolinguale Data: Leverde consistent de laagste scores op.
  • Referentietaal: De keuze van de referentietaal (Engels versus Indonesisch) vertoonde richting-specifieke effecten. Indonesische-parallelle voorbeelden waren voordeliger voor vertaling van de doeltaal naar het Engels, terwijl Engelse-parallelle voorbeelden voordelig waren voor vertaling van het Engels naar de doeltaal.
• Robuustheid van Sampling: Experimenten die "first-k" en random sampling vergeleken, toonden geen significante verschillen in prestaties, wat suggereert dat de geobserveerde schalingstrends robuust zijn voor de specifieke selectie van voorbeelden, hoewel positionele effecten een potentiële factor blijven.

Betekenis en Claims
Het artikel claimt dat het simpelweg maximaliseren van de contextvenstergrootte niet leidt tot evenredige kwaliteitswinsten in low-resource MT. In plaats daarvan is er een "effectieve contextlimiet" die veel lager ligt dan de maximale capaciteit van het model, waarna de prestaties kunnen verslechteren. De studie benadrukt dat de soort data en de modelarchitectuur cruciale determinanten zijn van het schalingsgedrag.

De auteurs benadrukken dat voor talen met weinig middelen, waar hoogwaardige parallelle data schaars is, instruction-style monolinguale data een levensvatbaar en competitief alternatief biedt voor parallelle supervisie. Deze bevinding suggereert dat de structuur en de taakdefinitie van in-context voorbeelden even belangrijk kunnen zijn als de uitlijning die door parallelle paren wordt geboden. Ten slotte waarschuwen de resultaten tegen het blindelings opschalen van contextvensters naar de maximale limiet zonder rekening te houden met het specifieke corpus-type en de modelarchitectuur, aangezien dit contraproductief kan werken. Het werk onderstreept de noodzaak van zorgvuldige samplingstrategieën in plaats van brute-force contextexpansie.