Agri-Query: A Case Study on RAG vs. Long-Context LLMs for Cross-Lingual Technical Question Answering

Dit artikel presenteert een case study waarin een hybride RAG-strategie consistent beter presteert dan directe prompting met lange context bij cross-linguale technische vraagbeantwoording over een landbouwmachine-handboek, met specifieke modellen zoals Gemini 2.5 Flash en Qwen 2.5 7B die nauwkeurigheden van meer dan 85% bereiken.

De kern

Agri-Query: Een Simpele Uitleg over AI, Boer en de "Naald in de Hooiberg"

Stel je voor dat je een enorme, 165 pagina's dikke handleiding hebt voor een supermoderne landbouwmachine. Deze handleiding is net zo groot als een dik telefoonboek en staat vol met technische details over hoe je de machine moet bedienen, veiligheidsregels en hoe je hem moet onderhouden.

Nu heb je een vraag: "Hoeveel zware moer moet ik aandraaien met 50 Newtonmeter?" of "Waar zit de hoofdschakelaar?"

Deze handleiding bestaat in het Engels, Frans en Duits. Maar jij stelt je vraag in het Engels. De uitdaging is om het juiste antwoord te vinden in die enorme stapel papier, zonder dat je uren zoekt.

Dit is precies wat de onderzoekers van de Technische Universiteit van München hebben onderzocht. Ze wilden weten: Wat is de slimste manier om een AI (een computer die kan lezen en praten) te laten zoeken in zo'n dikke handleiding?

Ze hebben twee methodes vergeleken, alsof ze twee verschillende detectives testen:

Detective 1: De "Super-Geheugen" AI (Long-Context LLM)

Stel je een detective voor die een superkrachtig geheugen heeft. Je geeft hem de hele handleiding (alle 165 pagina's) in één keer te lezen. Hij moet de hele tekst in zijn hoofd houden en dan jouw vraag beantwoorden.

• Het probleem: Dit is als proberen een specifiek woord te vinden in een berg hooi terwijl je blindelings door de berg moet waden. De AI raakt soms de weg kwijt. Ze noemen dit het "Verloren in het Midden" effect. De AI vergeet soms wat er in het begin of het einde van de handleiding stond, of wordt verward door alle onnodige informatie eromheen.
• Het resultaat: Zelfs de slimste AI's (zoals de dure Google Gemini) hadden moeite. Ze gaven soms het verkeerde antwoord, of verzonnen iets (een "hallucinatie") omdat ze niet zeker waren.

Detective 2: De "Slimme Zoeker" (RAG - Retrieval-Augmented Generation)

Stel je nu een andere detective voor. Deze heeft geen supergeheugen voor de hele berg hooi, maar hij heeft wel een slim zoekapparaat.

1. Je stelt je vraag.
2. Het zoekapparaat slaat de hele handleiding open en zoekt alleen naar de drie meest relevante stukjes tekst die bij je vraag passen.
3. Het geeft die drie stukjes aan de AI.
4. De AI leest alleen die drie stukjes en geeft het antwoord.

De onderzoekers testten drie soorten zoekapparaten:

• Woord-gebaseerd: Zoekt op exacte woorden (zoals een oude zoekmachine).
• Betekenis-gebaseerd: Zoekt op de bedoeling van de vraag, zelfs als de woorden anders zijn.
• Hybride (De Winnaar): Een combinatie van beide. Dit is als een detective die zowel op woorden let als op de context.

Wat bleek eruit?

De resultaten waren verrassend duidelijk:

1. De "Slimme Zoeker" wint: De methode waarbij de AI eerst alleen de relevante stukjes krijgt (Hybride RAG), was veel beter dan de AI die de hele handleiding in één keer moest lezen. De "Super-Geheugen" AI raakte vaak de weg kwijt in de grote hoeveelheid tekst.
2. Kleine AI's kunnen ook winnen: Je zou denken dat je een enorme, dure AI nodig hebt. Maar met de "Slimme Zoeker" methode deden zelfs kleine, goedkopere AI-modellen het fantastisch goed (meer dan 85% correct). Het is alsof je een gewone detective geeft een perfecte zoekmachine, en die doet het beter dan een genie zonder hulpmiddelen.
3. Taal is geen probleem: Het was alsof je een vraag in het Engels stelde, maar de AI moest zoeken in een handleiding in het Frans of Duits. Dankzij de slimme zoekmethode (Hybride RAG) was dit geen probleem. De AI kon de brug slaan tussen de talen en het juiste antwoord vinden.
4. Geen verzonnen antwoorden: Een groot gevaar bij AI is dat ze dingen verzonnen als ze het niet weten. De "Slimme Zoeker" methode maakte dat de AI veel vaker eerlijk zei: "Dit staat niet in de handleiding," in plaats van een verzonnen antwoord te geven.

De Grootte Les voor de Boer (en voor ons allemaal)

De boer die deze machine gebruikt, wil geen ingewikkelde AI die verzonnen feiten geeft. Hij wil snel en zeker weten hoe hij zijn machine veilig bedient.

De conclusie van dit onderzoek is simpel: Geef de AI niet de hele berg hooi. Geef de AI eerst een goede zoektocht om de "naald" te vinden, en laat hem dan pas het antwoord bedenken.

Door eerst slim te zoeken (RAG) en dan pas te antwoorden, kun je zelfs met kleinere, goedkopere computers zeer betrouwbare resultaten krijgen, ongeacht welke taal de handleiding in staat. Dit is een enorme stap voorwaarts voor het gebruik van AI in de echte wereld, waar veiligheid en nauwkeurigheid alles zijn.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Agri-Query: A Case Study on RAG vs. Long-Context LLMs for Cross-Lingual Technical Question Answering" in het Nederlands.

Titel: Agri-Query: Een Case Study over RAG versus Long-Context LLMs voor Meertalig Technisch Vraag-Antwoord

Auteurs: Julius Gun en Timo Oksanen (Technische Universiteit München)
Datum: 6 maart 2026

---

1. Probleemstelling

Technische gebruikershandleidingen voor complexe landbouwmachines (zoals mechatronische kunstmeststrooiers) zijn essentieel voor veilig en correct gebruik. Deze documenten zijn vaak uitgebreid (rond de 59.000 tokens), technisch van aard en beschikbaar in meerdere talen (in dit geval Engels, Frans en Duits).

De uitdaging voor kunstmatige intelligentie (AI) is tweeledig:

1. Informatie-extractie: Het vinden van specifieke feiten binnen een zeer lang document ("needle-in-a-haystack" probleem).
2. Meertaligheid: Het beantwoorden van vragen in het Engels op basis van documenten in andere talen (cross-lingual retrieval), zonder dat de vertaling van het document zelf door de gebruiker hoeft te gebeuren.

Traditionele benaderingen gebruiken ofwel Long-Context Large Language Models (LLMs) die het hele document in één keer verwerken, of Retrieval-Augmented Generation (RAG) systemen die eerst relevante stukken ophalen. Het is onduidelijk welke aanpak superieur is voor dit specifieke type technische, meertalige data, vooral gezien de recente doorbraken in contextvensters van LLMs.

2. Methodologie

De auteurs hebben een benchmark ontwikkeld genaamd Agri-Query om deze twee benaderingen te vergelijken.

• Dataset:

  • Document: De gebruikershandleiding van de Kverneland Exacta-TLX Geospread GS3 (een kunstmeststrooier).
  • Talen: Engels, Frans en Duits (elk ca. 165 pagina's, identieke lay-out).
  • Vraagset: 108 vragen opgesteld door domeinexperts.
    • 54 beantwoordbare vragen (feitelijke informatie zoals koppelwaarden, bedieningsinstructies).
    • 54 niet-beantwoordbare vragen (ontworpen om hallucinaties te testen; het antwoord staat niet in de handleiding).
  • Opzet: Alle vragen werden in het Engels gesteld, ongeacht de taal van de handleiding, om cross-lingual retrieval te testen.

• Modellen:

  • Er werden 9 open-source LLMs getest (o.a. Qwen 2.5/3, Llama 3.1/3.2, DeepSeek-R1, Phi-3) met contextvensters van 128K tokens.
  • Een proprietair model: Gemini 2.5 Flash (met een contextvenster van 1M tokens).
  • Alle modellen draaiden met een temperatuur van 0 voor deterministische output.

• Experimentele Opstelling:

  1. Directe Long-Context (Zeroshot): Het LLM krijgt de volledige handleiding (of een versie met "ruis" van omringende pagina's) en de vraag.
  2. RAG (Retrieval-Augmented Generation): Het document wordt opgedeeld in chunks (200 tokens, overlap 100). Drie zoekstrategieën werden getest:
     • Keyword: BM25 algoritme.
     • Semantisch: Vectorzoekopdrachten met gte-Qwen2-7B-instruct (een sterk meertalig embedding model).
     • Hybride: Combinatie van Keyword en Semantisch met Reciprocal Rank Fusion (RRF).
  3. Evaluatie: Een "LLM-as-a-judge" framework (Gemma 2 en Gemma 3) beoordeelde de antwoorden tegen de grondwaarheid (ground truth). Er werden metrics gebruikt zoals Accuracy, F1-score, Precision, Recall en Specificity.

3. Belangrijkste Resultaten

• RAG vs. Directe Long-Context:

  • Hybride RAG presteerde consistent beter dan directe long-context prompting voor alle geteste modellen.
  • Bij directe prompting (zonder RAG) trad het "Lost in the Middle"-effect duidelijk op: modellen hadden moeite om feiten te vinden in het midden van lange documenten, vooral bij kleinere modellen.
  • Gemini 2.5 Flash presteerde het beste bij directe prompting, maar zelfs dit model werd overtroffen door Hybrid RAG met kleinere modellen.

• Prestaties van Modellen met RAG:

  • Zelfs kleinere modellen (zoals Qwen 2.5 7B en Llama 3.2 3B) bereikten met Hybrid RAG een nauwkeurigheid van >85% en een hoge specificiteit.
  • Dit toont aan dat RAG resource-efficiënter is: je kunt sterke resultaten behalen op beperktere hardware door slimme retrieval in plaats van enorme contextvensters.

• Cross-Lingual Capabilities:

  • De Hybrid RAG-aanpak bleek zeer robuust voor meertalige taken. Modellen konden vragen in het Engels succesvol beantwoorden op basis van Franse en Duitse handleidingen.
  • De combinatie van een krachtig meertalig embedding-model en een capabel LLM overbrugde de taalgap effectief.

• Hallucinaties en Specificiteit:

  • Bij niet-beantwoordbare vragen (waar het antwoord niet in de tekst staat) hadden kleinere modellen een hogere neiging tot hallucinatie (lage specificiteit).
  • Grotere modellen en Hybrid RAG waren beter in het erkennen dat een antwoord niet beschikbaar was ("Not found in context").

4. Kernbijdragen

1. Benchmark Agri-Query: Een open framework en dataset specifiek voor technisch vraag-antwoord in de landbouwsector, inclusief een focus op hallucinatietesten en cross-lingual retrieval.
2. Empirisch Bewijs voor RAG: Het paper levert sterke bewijzen dat voor technische documenten met specifieke feitelijke vragen, een goed geconfigureerde Hybrid RAG-systematiek superieur is aan het gebruik van de nieuwste long-context LLMs, zelfs bij modellen met zeer grote contextvensters.
3. Meertalige Validatie: Demonstratie dat RAG-systemen effectief kunnen werken in een scenario waarbij de vraagtaal verschilt van de documenttaal, wat cruciaal is voor internationale industriële toepassingen.
4. Open Source Framework: De auteurs hebben de code en data openbaar gemaakt (GitHub) om herhaalbaarheid en verdere research te faciliteren.

5. Betekenis en Toekomstperspectief

De studie is significant voor de industriële AI-toepassingen, met name in de landbouw en machinebouw. Het suggereert dat bedrijven niet noodzakelijkerwijs moeten investeren in de duurste, grootste LLMs met enorme contextvensters voor hun interne kennisbases. In plaats daarvan biedt een Hybrid RAG-aanpak een kosteneffectiever, nauwkeuriger en schaalbaarder alternatief dat minder gevoelig is voor de "Lost in the Middle" beperkingen.

Beperkingen:

• De studie is gebaseerd op één type landbouwmachine; generalisatie naar andere domeinen is nog nodig.
• De evaluatie gebruikt LLMs als rechter, wat een risico op bias met zich meebrengt (geen menselijke annotatie).
• De vragen waren voornamelijk feitelijk; complexere redenering of samenvattingen over meerdere secties werden niet getest.

Conclusie: Voor het opzoeken van specifieke technische informatie in lange, meertalige handleidingen is Hybrid RAG momenteel de meest robuuste en betrouwbare oplossing, zelfs voor kleinere modellen.