Multilingual Retrieval-Augmented Generation for Knowledge-Intensive Task

Probleemstelling

Retrieval-Augmented Generation (RAG) is een fundamentele techniek in de moderne NLP die grote taalmodellen (LLMs) verrijkt met externe kennis om hallucinaties te verminderen en de feitelijke nauwkeurigheid te verbeteren. Hoewel RAG zeer effectief is in monolinguale (voornamelijk Engelstalige) settings, blijft de toepassing in meertalige contexten onderbelicht.

De huidige uitdagingen zijn:

1. Beperkte dekking: Naïeve benaderingen zoals het vertalen van de vraag naar het Engels voorafgaand aan de zoekopdracht (Question-Translation of tRAG) leiden vaak tot onjuiste vertalingen en daarmee tot irrelevante zoekresultaten.
2. Inconsistenties: Het direct zoeken in meertalige bronnen (MultiRAG) vergroot de dekking, maar introduceert inconsistenties. LLMs worstelen vaak met het verwerken van retrieved documenten in verschillende talen binnen dezelfde context, wat kan leiden tot foutieve antwoorden of antwoorden in de verkeerde taal.
3. Kennislacunes: Er is een gebrek aan systematisch onderzoek naar hoe RAG-pipelines presteren over talen heen, met name voor taakgebonden kennisvragen in zowel hoog- als laag-resourcetalen.

Methodologie

De auteurs evalueren en vergelijken verschillende RAG-strategieën voor meertalige open-domein vraag-antwoordtaken. De studie gebruikt drie datasets (MLQA, MKQA, XOR-TyDi QA) en drie LLMs (GPT-4o, Llama-3-8b-instruct, Command-R). De zoekopdrachten worden uitgevoerd met het Cohere-retrievalsysteem op een multilinguale Wikipedia-dump.

De onderzochte pipelines zijn:

1. Monolingual RAG (monoRAG): Zoeken in documenten die dezelfde taal hebben als de vraag.
2. Translation RAG (tRAG): De vraag wordt naar het Engels vertaald, er wordt gezocht in Engelstalige documenten, en het antwoord wordt gegenereerd.
3. Multilingual RAG (MultiRAG): De vraag wordt gebruikt om te zoeken in een gecombineerde database van documenten in alle beschikbare talen. De retrieved documenten (in verschillende talen) worden direct aan het LLM gegeven.
4. Crosslingual RAG (CrossRAG) - De voorgestelde oplossing:
   • Er wordt gezocht in de volledige multilinguale database (zoals bij MultiRAG).
   • Cruciaal verschil: De retrieved documenten worden na de zoekopdracht en voor de inferentie vertaald naar een gemeenschappelijke taal (Engels).
   • Het LLM genereert het antwoord in de oorspronkelijke vraagtaal, maar baseert de redenering op de vertaalde (Engelse) context.

Belangrijkste Bijdragen

1. Evaluatie van RAG buiten het Engels: Het paper toont aan dat naïeve vertaalstrategieën (tRAG) vaak falen door vertaalfouten die de zoekopdracht verstoren.
2. Analyse van MultiRAG-dynamiek: Het onderzoek onthult dat hoewel MultiRAG meer informatie ophaalt, LLMs moeite hebben om informatie uit documenten in verschillende talen te synthetiseren, vooral in laag-resourcetalen. Dit leidt tot inconsistenties en fouten.
3. Introductie van CrossRAG: De auteurs stellen CrossRAG voor als een efficiënte oplossing. Door retrieved documenten te vertalen naar één taal (Engels) voordat ze aan het model worden gegeven, wordt de cognitieve last op het LLM verlaagd, terwijl de voordelen van een brede zoekopdracht behouden blijven.
4. Robuustheid: Het paper analyseert de impact van de volgorde van documenten en de rol van de retriever, en toont aan dat CrossRAG robuuster is tegen variaties in de volgorde van retrieved content dan MultiRAG.

Resultaten

De experimenten tonen duidelijke verbeteringen voor CrossRAG ten opzichte van de andere methoden:

• Algemene Prestatie: CrossRAG presteert consistent beter dan monoRAG, tRAG en MultiRAG op alle drie de benchmarks (MKQA, MLQA, XOR-TyDi QA).
• Laag- vs. Hoog-Resource Talen: De verbetering is het meest opvallend voor laag-resourcetalen (LR). Waar MultiRAG al een verbetering bood ten opzichte van monoRAG, zorgt CrossRAG voor een extra significante stijging (bijvoorbeeld +5.0% voor Command-R en +4.1% voor Llama-3-8b in LR-talen ten opzichte van MultiRAG).
• Taalconsistentie: CrossRAG zorgt ervoor dat het model veel vaker het antwoord in de juiste taal genereert, terwijl MultiRAG vaak faalt in het volgen van instructies over de outputtaal wanneer de context gemengd is.
• Vertaalkwaliteit: Het gebruik van geavanceerde vertaalmiddelen (zoals GPT-4o als vertaler) voor de documenten levert betere resultaten op dan standaard tools, maar zelfs Google Translate verbetert de prestaties aanzienlijk ten opzichte van het niet vertalen.

Betekenis en Conclusie

Dit onderzoek is significant omdat het een praktische en effectieve route biedt om RAG-systemen te schalen naar een meertalige wereld. Het bewijst dat het simpelweg zoeken in meerdere talen niet voldoende is; de presentatie van die kennis aan het taalmodel is cruciaal.

De conclusie is dat een strategische combinatie van uitgebreide meertalige zoekopdrachten en documentvertaling naar een gemeenschappelijke taal (CrossRAG) de beste balans biedt. Dit stelt LLMs in staat om kennis uit diverse culturen en talen te benutten zonder de cognitieve verwarring die optreedt bij het verwerken van gemengde talen in de context, wat leidt tot betrouwbaardere en nauwkeurigere antwoorden in kennisintensieve taken.