💬 NLP

Retrieval-Augmented Long-Context Translation for Cultural Image Captioning: Gators submission for AmericasNLP 2026 shared task

De University of Florida Gators won de gedeelde taak voor culturele beeldbeschrijving in inheemse talen op AmericasNLP 2026 door een tweestapsproces te gebruiken dat Qwen2.5-VL combineert voor tussenliggende beschrijvingen in het Spaans met retrieval-versterkte many-shot prompting met Gemini 2.5 Flash, waarmee prestatieverbeteringen van meer dan 120% ten opzichte van de baseline werden bereikt voor Bribri, Guaraní en Orizaba Nahuatl.

Oorspronkelijke auteurs: Aashish Dhawan, Christopher Driggers-Ellis, Dzmitry Kasinets, Daisy Zhe Wang, Christan Grant

Gepubliceerd 2026-05-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Aashish Dhawan, Christopher Driggers-Ellis, Dzmitry Kasinets, Daisy Zhe Wang, Christan Grant

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een korte, cultureel perfecte beschrijving van een foto te schrijven voor een gemeenschap die een zeldzame, oude taal spreekt. De uitdaging is dat je die taal niet goed spreekt en er zeer weinig boeken of woordenboeken beschikbaar zijn om je te helpen.

Dit artikel beschrijft hoe een team van de University of Florida (de "Gators") dit probleem oploste voor een wedstrijd genaamd AmericasNLP 2026. Hun doel was om een foto te nemen en een bijschrift te schrijven in een van de vijf inheemse talen van Amerika (zoals Guaraní of Bribri).

Hier is hoe ze dit deden, opgesplitst in eenvoudige stappen en analogieën:

Het Twee-Stappenrecept

In plaats van rechtstreeks van "Foto" naar "Zeldzame Taal" te springen, gebruikte het team een twee-stappen estafette:

Stap 1: De Vertaler (De Brug): Eerst gebruikten ze een superslimme AI (genaamd Qwen) om naar de foto te kijken en een eenvoudige beschrijving in Spaans te schrijven. Denk aan Spaans als een "brugtaal" waar de AI zeer goed in is.
Stap 2: De Culturele Expert (De Finisher): Vervolgens namen ze die Spaanse beschrijving en vroegen ze een andere, nog slimmere AI (Gemini) om deze te vertalen naar de uiteindelijke inheemse taal.

De Geheime Saus: "Toon, Vertel Niet Alleen"

De echte magie zat niet alleen in de vertaling; het zat in hoe ze de AI leerden welke "stijl" ze moest gebruiken.

Normaal gesproken, als je een AI vraagt te vertalen, krijg je misschien een zin die grammaticaal correct is, maar die klinkt als een robot of een schoolboek. Het team wilde dat de bijschriften klinken alsof een lokale persoon natuurlijk spreekt.

Om dit op te lossen, gebruikten ze een techniek genaamd Retrieval-Augmented Generation.

De Analogie: Stel je voor dat je een brief schrijft aan een vriend in een buitenlands dorp. In plaats van te raden hoe ze spreken, haal je een doos met 100 brieven tevoorschijn die andere mensen naar datzelfde dorp hebben geschreven. Je leest ze om een gevoel te krijgen voor de straattaal, de toon en de zinsbouw. Vervolgens schrijf je je brief en nabootst je die stijl.
In het Artikel: Voordat de AI de Spaanse bijschrift vertaalde, doorzocht het systeem een enorme bibliotheek van bestaande Spaans-naar-inheemse-taal paren. Het pakte de meest vergelijkbare voorbeelden (zoals de "100 brieven") en toonde ze aan de AI als leidraad. Dit hielp de AI om de "register" (de specifieke culturele stijl) te matchen die door de wedstrijd werd vereist.

De Resultaten: Een Grote Overwinning

Het team nam dit systeem in de wedstrijd en won.

De Score: Ze verbeterden hun scores met enorme marges in vergelijking met de standaard baseline. Bijvoorbeeld, in de taal Bribri verbeterden ze de score met 164%. In Guaraní verbeterden ze met 131%.
De Menselijke Test: Toen menselijke beoordelaars de bijschriften bekeken, werden de inzendingen van het team tweede van de vijf finalisten gerangschikt, wat bewees dat de bijschriften natuurlijk en cultureel passend klonken.

Wat Ze Leerden (De "Aha!"-Momenten)

Het team voerde veel experimenten uit om te zien wat wel en wat niet werkte, wat leidde tot drie belangrijke ontdekkingen:

Niet Alle Bibliotheken Zijn Gelijk: De "bibliotheek" van voorbeelden die ze gebruikten, werkte wonderen voor Guaraní omdat ze een enorme collectie van 53.000 voorbeelden hadden (inclusief enkele door computers gegenereerde "nep" voorbeelden die zeer nuttig bleken). Voor Yucateeks Maya hadden ze echter bijna geen voorbeelden. In dat geval was de eigen interne kennis van de AI beter dan proberen het te dwingen een kleine, ruisende bibliotheek te gebruiken.
De "Nep" Data Boost: Voor Guaraní kwam ongeveer 28 punten van hun succes specifiek van het gebruik van die door computers gegenereerde voorbeelden. Het is alsof je een practice-coach hebt die extra oefeningen voor je maakt om te bestuderen.
Toon Is Belangrijk (Vooral voor Bribri): De taal Bribri heeft complexe klanken (tonen) die de betekenis van woorden veranderen. Het team ontdekte dat simpelweg vertalen niet genoeg was; ze moesten de AI speciale instructies geven over hoe ze met deze klanken en woordvolgorde om moest gaan. Het was alsof je de AI vertelt: "Vergeet niet, in deze taal staat het werkwoord aan het einde, en vergeet de muzikale noten niet!"

De Haken (Beperkingen)

Het team geeft toe dat hun systeem nog niet perfect is:

De Kettingreactie: Als de eerste AI (de Spaanse vertaler) een fout maakt in het beschrijven van de foto, zal de tweede AI (de vertaler) die fout perfect vertalen. Er is geen "ongedaan maken"-knop.
De Testscoreval: Ze gebruikten voorbeelden uit de "practice test" (ontwikkelset) om de AI te helpen de stijl te leren. Dit werkte geweldig voor de practice-scores, maar het is een beetje alsof je de exacte antwoorden op een practice-quiz bestudeert voordat je het echte examen doet. Dit kan de score opblazen, dus zijn ze voorzichtig met hoe ze die resultaten interpreteren.

Samenvatting

Het team van de University of Florida won door een pijplijn te bouwen die eerst een foto beschrijft in het Spaans en vervolgens een enorme bibliotheek met vergelijkbare voorbeelden gebruikt om een AI te leren die beschrijving te vertalen naar inheemse talen met de juiste culturele smaak. Ze bewezen dat voor talen met weinig middelen context en stijlgidsen net zo belangrijk zijn als de vertaling zelf.

Technische Samenvatting: Retrieval-Augmented Long-Context Vertaling voor Culturele Beeldbeschrijving

Probleemstelling
Het artikel behandelt de gedeelde taak van AmericasNLP 2026, die vereist dat er cultureel onderbouwde beeldbeschrijvingen worden gegenereerd in vijf inheemse talen van Amerika: Guaraní, Yucatec Maya, Orizaba Nahuatl, Bribri en Wixárika. De auteurs identificeren drie hoofduitdagingen: de doeltalen zijn low-resource; de beschrijvingen moeten cultureel specifiek zijn in plaats van generieke visuele beschrijvingen; en het systeem moet nauwkeurige stijlcontrole bereiken om een specifieke register te matchen (korte, natuurlijke zinnen). De auteurs merken op dat standaard Vision-Language Models (VLM's) falen bij het direct genereren van beschrijvingen in deze doeltalen vanwege beperkte trainingsdata, en dat standaard Neural Machine Translation (NMT)-pipelines (met name mBART-gebaseerde systemen) falen in het vastleggen van het vereiste culturele register, vaak resulterend in vloeiende maar stijlmatig niet-匹配的e outputs.

Methodologie
Het team van de University of Florida Gators stelt een tweestaps-pipeline voor die verschuift van sequentie-tot-sequentie vertaling naar retrieval-augmented in-context learning met Large Language Models (LLM's).

Fase 1: Intermediaire Beschrijving: Een VLM (ofwel Qwen2.5-VL-72B of Qwen3-VL-8B) genereert een cultureel bewust, zelfstandig naamwoord-eerst Spaanse beschrijving voor elke invoerafbeelding. Deze fase wordt behandeld als een vast component.
Fase 2: Retrieval-Augmented Vertaling: De Spaanse beschrijving dient als query voor een BM25-retrievalsysteem over een taalspecifiek Spaans-naar-Doeltaal (Es-LoRes) parallel corpus.
- Promptconstructie: De definitieve prompt is een "many-shot" context die bevat:
  - Opgehaalde Trainingsvoorbeelden ( $R_r$ ): $r$ paren van Spaanse en doeltaaltekst opgehaald op basis van lexicale gelijkenis met de query.
  - Ontwikkelingsvoorbeelden ( $D_d$ ): $d$ gouden voorbeelden uit het ontwikkelingsset van de gedeelde taak om het stijlregister te sturen.
- Generatie: Een LLM (voornamelijk Gemini 2.5 Flash) vertaalt de Spaanse beschrijving naar de doeltaal, geconditioneerd op de opgehaalde en ontwikkelingsvoorbeelden. Het systeem gebruikt een temperatuur van 0,0 en schakelt "denk"-modi uit om beknopte output te garanderen.
- Taalspecifieke Aanpassingen:
  - Guaraní: Gebruikt een grote ophaalbank (53k+ paren) verrijkt met synthetische data uit het MultiScript30k-project.
  - Yucatec Maya: Er bestaat geen externe ophaalbank; het systeem vertrouwt uitsluitend op ontwikkelingsvoorbeelden en de vooraf getrainde kennis van de LLM ( $r=0$ ).
  - Bribri: Vereist specifieke morfologische nabewerking (NFD-normalisatie) om toonaccenten correct te verwerken en gespecialiseerde prompting voor Subject-Object-Verb (SOV) woordvolgorde en bezittelijke prefixen.

Belangrijkste Bijdragen

Pipeline-architectuur: De auteurs presenteren een retrieval-augmented LLM-pipeline die traditionele fine-tuned NMT-baselines overtreft voor low-resource culturele beeldbeschrijving.
Uitgebreide Ablatiestudies: Het artikel documenteert een uitgebreide reeks experimenten met variatie in modelkeuzes (OpenAI vs. Gemini), ophaalgroottes ( $r$ ), aantallen ontwikkelingsvoorbeelden ( $d$ ) en promptstrategieën.
Evaluatie van Synthetische Data: De studie isoleert de impact van synthetische data-augmentatie en vindt dit een kritieke factor voor Guaraní-prestaties.
Methodologische Inzichten: De auteurs benadrukken dat ophaaleffectiviteit sterk taalafhankelijk is en dat het gebruik van voorbeelden uit het ontwikkelingsset als in-context prompts de scores van het ontwikkelingsset kan opblazen, wat een zorgvuldige interpretatie vereist.

Resultaten
Het systeem behaalde de status van algehele winnaar voor de gedeelde taak, en eindigde tweede in menselijke evaluaties van de doeltaalbeschrijvingen.

Prestatiewinst: Het systeem behaalde significante verbeteringen ten opzichte van de baseline van de gedeelde taak (Gow-Smith en Sánchez Villegas, 2023) in het ontwikkelingsset:
- Bribri: 164,1% verbetering.
- Guaraní: 131,7% verbetering.
- Orizaba Nahuatl: 122,6% verbetering.
- Wixárika: 6,87% verbetering.
Testset-prestaties: Verbeteringen werden gehandhaafd voor Bribri (155,2%) en Orizaba Nahuatl (166,9%) in de testset. Echter, Guaraní-prestaties daalden aanzienlijk in de testevaluatie, waarbij de auteurs opmerkten dat de winst in het ontwikkelingsset niet volledig werd gereproduceerd.
Modelvergelijking: Gemini 2.5 Flash toonde dramatisch superieure prestaties in Es-LoRes in-context vertaling vergeleken met OpenAI-modellen (GPT-4o-mini, GPT-4.1) en de mBART-baseline.
Impact van Synthetische Data: Ablatiestudies onthulden dat synthetische voorbeelden uit MultiScript30k ongeveer 28 chrF++ punten van de Guaraní-prestatiewinst verantwoordden. Zonder synthetische data daalde de Guaraní-prestatie met meer dan 50% ten opzichte van het beste synthetisch-verrijkte resultaat.
Morfologische Behandeling: Voor Bribri droeg de combinatie van NFD-normalisatie en morfologische prompting meer dan 10% bij aan de totale prestatiewinst ten opzichte van de baseline.

Betekenis en Aanspraken
Het artikel beweert dat retrieval-augmented in-context learning een levensvatbaar en superieur alternatief is voor fine-tuned NMT voor low-resource culturele beeldbeschrijving, mits het ophaalcorpus voldoende groot en domeinspecifiek is. De auteurs benadrukken dat:

Ophalen Taalafhankelijk is: Grote ophaalvensters komen talen ten goede met grote, uitgelijnde corpora (zoals Guaraní), maar kunnen ruis introduceren voor talen met schaarse data (zoals Yucatec Maya).
Synthetische Data is een Drijver: Synthetisch parallelle data verbetert de prestaties aanzienlijk voor talen waar dergelijke augmentatie beschikbaar is.
Domeinmismatch is een Bottleneck: Voor de laagste-resource talen (Wixárika en Bribri) is de primaire beperking de mismatch tussen beschikbare corpusdomeinen (narratief/literair) en de visuele beschrijvingstaak, en niet de modelcapaciteit.
Voorzichtigheid bij Evaluatie: Het gebruik van voorbeelden uit het ontwikkelingsset als in-context prompts is een tweesnijdend zwaard; terwijl het helpt het vereiste register te matchen, riskeert het het opblazen van ontwikkelingsset-scores als dezelfde pool wordt gebruikt voor zowel selectie als evaluatie.

De auteurs concluderen dat hoewel hun systeem een cascade is (waarbij fouten in de Spaanse beschrijving zich voortplanten), het vermogen van de vertalfase om zich aan te passen aan stijl en vocabulaire via ophalen de primaire bron van verbetering is ten opzichte van bestaande baselines. Zij suggereren dat toekomstig werk zich moet richten op het verbeteren van de initiële visuele beschrijvingsfase en het verwerven van domeinspecifieke parallelle data voor de laagste-resource talen.