Technische Samenvatting: Qwen Goes Brrr – Kant-en-klare RAG voor Oekraïense meer-domein documentbegrip

1. Probleemdefinitie

Het artikel behandelt de vijfde UNLP-deeltaak, een Kaggle-codewedstrijd gericht op Oekraïens meer-domein documentbegrip. Het systeem moet een collectie PDF-documenten verwerken en meerkeuzevragen met zes opties beantwoorden. De taak vereist drie gekoppelde outputs:

1. De juiste antwoordoptie (A–F).
2. Het brondocument dat het bewijs bevat.
3. De specifieke pagina binnen dat document waarop het antwoord is gebaseerd.

Belangrijkste Beperkingen en Uitdagingen:

• Data-schaarste: Beperkte taakspecifieke trainingsdata (40 initiële vragen, 461 ontwikkelvragen) en een onzichtbaar derde domein in het verborgen testset.
• Documentcomplexiteit: Invoer zijn volledige PDF's met variërende opmaak, tabellen en sectiehiërarchieën, wat paginaniveau-localisatie niet triviaal maakt.
• Runtime-begroting: Oplossingen moeten binnen negen uur worden uitgevoerd op Kaggle-hardware (2×T4 GPU's) zonder internettoegang, wat efficiënte pijplijnen bevoordeelt boven complexe, multi-stap agentische lussen.
• Meting: De scoringfunctie weegt antwoordcorrectheid (50%), documentidentificatie (25%) en paginalocalisatie (25%), waarbij paginabijdrage alleen telt als het document correct is.

2. Methodologie

De auteurs stellen een retrieval-augmented generation (RAG)-pijplijn voor die is opgebouwd rond drie kerncomponenten: contextuele chunking, vraagbewuste dichte retriever en antwoordbewuste herordening.

2.1 Contextuele Chunking

In plaats van PDF-pagina's als platte tekst te behandelen, passen de auteurs structuurbewuste chunking toe:

• Verwerking: Ze vervingen de trage/instabiele Docling-bibliotheek door een aangepaste converter op basis van pymupdf4llm om PDF's naar Markdown te renderen.
• Structuur: Elke chunk bevat drie geneste contextniveaus:
  1. Een globaal documentvoorvoegsel (eerste 128 tokens).
  2. Het huidige koptekstpad (sectiecontext).
  3. De lokale chunkinhoud.
• Configuratie: Chunks zijn beperkt tot 512 tokens met een overlap van 64 tokens. Ablatiestudies bevestigden dat het verwijderen van deze documentcontext leidde tot een aanzienlijke prestatiedaling (publieke score van 0,945 naar 0,861).

2.2 Dichte Retrieval (Fase 1)

• Model: Het systeem gebruikt Qwen3-Embedding-8B als primaire retriever.
• Query-construktie: Queries worden samengesteld uit het volledige meerkeuze-exemplaar (vraag + alle zes antwoordopties + instructie), in plaats van alleen de vraag.
• Trainingsstrategie: Het fine-tunen van het 8B-model op de specifieke wedstrijddata leverde geen winst op en riskeerde overfitting. Het voorgeprende model bleek op zichzelf robuust. Kleinere modellen (0,6B) vereisten fine-tuning op hulpdata (UA-SQuAD + een nieuw corpus van 80k) om het prestatiekloof te dichten.
• Output: De top-20 chunks worden doorgegeven aan de herordener.

2.3 Optiebewuste Herordening (Fase 2)

• Model: Een gefinetuned Qwen3-Reranker-8B.
• Invoer: De herordener ontvangt de vraag, gekoppeld aan alle zes antwoordopties. Dit stelt het model in staat passages te onderscheiden op basis van welke specifieke alternatieven ze ondersteunen of weerleggen, in plaats van alleen op thematische gelijkenis.
• Trainingsdata: Het model werd gefinetuned op een combinatie van:
  • 461 wedstrijdontwikkelvoorbeelden.
  • 16.658 paren uit UA-SQuAD (Oekraïense extractieve QA).
  • Hard negatives gemined uit onmogelijke vragen, fouten in dichte retrieval en verwarrende verkeerde-antwoordpassages.
  • Een hulp pretrainingscorpus van 80.000 voorbeelden (vertaald uit Engelse datasets: Natural Questions, HotpotQA, MS MARCO, GooAQ) om generalisatie te verbeteren.
• Selectie: Alleen de top-2 herordeerde passages worden doorgegeven aan de uiteindelijke generator.

2.4 Antwoordselectie (Fase 3)

• Model: Qwen3-32B (AWQ-gequantiseerd).
• Invoer: De vraag, alle opties en de top-2 herordeerde passages.
• Generatie: Het model is beperkt tot het genereren van één token uit het alfabet {A, B, C, D, E, F}.
• Localisatie: Het voorspelde document en de pagina worden afgeleid van de hoogst gerankte geselecteerde chunk.

3. Belangrijkste Bijdragen

1. State-of-the-Art Pijplijn: Een retrieval-augmented pijplijn voor Oekraïens meer-domein documentbegrip die structuurbewuste chunking, vraagbewuste retrieval en antwoordbewuste herordening integreert binnen strikte code-wedstrijdbeperkingen.
2. Kant-en-klare Effectiviteit: Demonstratie dat zeer concurrerende prestaties kunnen worden bereikt met grotendeels voorgeprende modellen en zorgvuldig pijplijndesign (het behoud van documentstructuur en het conditioneren van relevantie op het volledige meerkeuze-exemplaar) in plaats van complexe downstream-heuristieken.
3. Nieuwe Oekraïense Resources: Constructie van nieuwe resources voor retrieval-gebaseerde meerkeuze-QA, waaronder:
   • Een trainingsset voor dichte retrieval en herordening die wedstrijddata en UA-SQuAD combineert.
   • Een nieuw pretrainingscorpus van 80.000 voorbeelden voor Oekraïense bi-encoder en cross-encoder modellen, afgeleid van vertaalde Engelse datasets.

4. Resultaten

• Leaderboard-prestaties: Het uiteindelijke systeem behaalde 0,9452 op de publieke leaderboard en 0,9598 op de private leaderboard.
• Impact van Herordening:
  • Herordening verbeterde Recall@1 van 0,6957 naar 0,7935.
  • Het gebruik van de top-2 herordeerde passages verhoogde de antwoordnauwkeurigheid van 0,9348 naar 0,9674.
• Ablatie-inzichten:
  • Documentcontext: Het verwijderen van het documentvoorvoegsel uit chunks veroorzaakte de grootste enkele prestatiedaling.
  • Modelgrootte versus Fine-tuning: Grotere voorgeprende embedders (8B) presteerden het beste uit de doos. Fine-tuning van kleinere modellen (0,6B) met diverse data (80k corpus + UA-SQuAD) herstelde een groot deel van het gat, maar fine-tuning alleen op wedstrijdspecifieke data degradeerde de prestaties door overfitting.
  • Domeinrouting: Een domein-classificator-routestrategie werkte goed op de publieke set (twee zichtbare domeinen) maar faalde op de private set (onzichtbaar derde domein), wat bevestigt dat domein-agnostische retrieval robuuster is voor generalisatie.
  • Samenvattingsinjectie: Het vervangen van ruwe documentvoorvoegsels door gegenereerde samenvattingen degradeerde de prestaties, wat suggereert dat ruwe structurele signalen superieur zijn aan gecomprimeerde samenvattingen voor deze taak.

5. Betekenis en Claims

Het artikel beweert dat voor Oekraïens meer-domein documentbegrip het behoud van documentstructuur en het relevantieschatting bewust maken van de antwoordruimte effectiever zijn dan het toevoegen van complexe downstream-heuristieken of agentische lussen.

• Efficiëntie versus Complexiteit: De auteurs betogen dat onder strikte runtime-begrotingen een goed gestructureerde pijplijn met moderne voorgeprende componenten (Qwen3-familie) voldoende is om top-tier prestaties te bereiken zonder taakspecifieke architecturale innovaties.
• Resource-gat: Door het introduceren van het 80k pretrainingscorpus en fine-tuningstrategieën, adresseert het werk de schaarste aan hoogwaardige Oekraïense retrieval-datasets, waardoor betere generalisatie over domeinen mogelijk wordt.
• Praktijktoepasbaarheid: De resultaten suggereren dat "kant-en-klare" modellen, wanneer gecombineerd met zorgvuldige data-preparatie (contextuele chunking) en passende conditionering (vraag + opties), betere prestaties kunnen leveren dan complexere, op maat gebouwde systemen in beperkte omgevingen.

De auteurs merken expliciet op dat hoewel hun aanpak robuust is voor de wedstrijdsituatie, deze afhankelijk is van relatief grote modellen (8B–32B) en machine-vertaalde hulpdata, wat uitdagingen kan opleveren voor productiedeployments met strengere latentie- of handmatige controle-eisen. Zij identificeren bidirectionele embedding-modellen (bijvoorbeeld op diffusie gebaseerd) en late chunking als veelbelovende toekomstige richtingen als rekenkrachtbeperkingen worden losgelaten.