RMIT-ADM+S at the MMU-RAG NeurIPS 2025 Competition

Probleemstelling

Retrieval-Augmented Generation (RAG) is een standaardaanpak geworden om de betrouwbaarheid van Large Language Models (LLM's) te verbeteren. Echter, bestaande evaluaties missen vaak een gebruikersgerichte perspectief en kunnen de nuances van dynamische besluitvorming niet volledig vastleggen. De MMU-RAG competitie (NeurIPS 2025) richtte zich specifiek op gebruikersgerichte evaluatie in real-time omgevingen ("RAG-Arena"). Het uitdaging was om een systeem te bouwen dat complexe, diepgaande onderzoeksvragen kan beantwoorden, maar dat tegelijkertijd efficiënt werkt op beperkte hardware (consumer-grade GPU's) en dynamisch kan schakelen tussen simpele en complexe zoekstrategieën. Bestaande systemen waren vaak ofwel te statisch (één zoekronde voor alles) of te zwaar om lokaal te draaien.

Methodologie: Routing-to-RAG (R2RAG)

Het voorgestelde systeem, R2RAG, is een architectuur die dynamisch de ophaalstrategie aanpast op basis van de geïnfereerde complexiteit van de query en de voldoendeheid van het bewijsmateriaal. De kern van de methode is een routeringsmechanisme dat queries splitst in twee paden:

1. Query Classificatie:

   • Het systeem gebruikt een LLM-gebaseerde classifier (Qwen3-4B) om queries te onderscheiden tussen "simpel" (feitelijke vragen, één zoekopdracht) en "complex" (veelzijdige vragen, vereisen redenering en meerdere stappen).
   • Dit wordt gedaan via een gestructureerde prompt die vraagt of een antwoord gevonden kan worden met één Google-zoekopdracht.

2. Pad 1: Vanilla RAG (voor simpele queries):

   • Eén-pass proces: Genereer query-varianten, voer parallelle zoekopdrachten uit op de ClueWeb22-A index, her-rank documenten en genereer het antwoord.
   • Beperkingen: Maximaal 5.000 woorden aan context, 3 query-varianten.
   • Doel: Snelheid en efficiëntie voor eenvoudige taken.

3. Pad 2: Vanilla Agent (voor complexe queries):

   • Iteratief proces: Het systeem voert meerdere zoekrondes uit totdat er voldoende bewijs is verzameld.
   • Iteratieve lus: Genereert tot 5 query-varianten, verzamelt meer documenten (tot 25k tokens), en gebruikt een Document Review Module.
   • Stopconditie: De lus stopt als:
     • Het token-budget (20.000 tokens) wordt overschreden.
     • De LLM oordeelt dat de informatiedekking (Coverage) compleet is.
     • Het maximale aantal iteraties (5) is bereikt.
   • Feedback-loop: Na elke ronde evalueert de LLM of er nog kennisgaten zijn en genereert nieuwe queries om deze te vullen, terwijl het voorkomt dat dezelfde queries opnieuw worden gebruikt.

4. Modelkeuze en Hardware:

   • Het systeem is ontworpen om te draaien op één consumer-grade GPU.
   • Modellen: Gebruik van Qwen3-4B voor classificatie, query-generatie en antwoordgeneratie, en Qwen3-Reranker-0.6B voor document-reranking.
   • Optimalisatie: De 4B-modellen worden zonder kwantisatie gebruikt om de prestaties op lange context te behouden (kwantisatie bleek prestaties te verlagen). De contextvensters zijn aangepast (25k tokens) om binnen het geheugenbudget te blijven.

Kernbijdragen

• Dynamische Architectuur (R2RAG): Een bewezen aanpak die query-complexiteit gebruikt om te routeren tussen een efficiënt één-pass pad en een grondig iteratief agent-pad.
• Kwalitatieve Evaluatie-Driven Ontwikkeling: In plaats van alleen te vertrouwen op synthetische "LLM-as-a-Judge" evaluaties, voerden de auteurs een kwalitatieve focusgroepstudie uit met 20 deelnemers (van studenten tot professoren). Dit onthulde trade-offs (bijv. "Vanilla Agent" is beter voor complexe vragen maar te lomp voor simpele vragen) die automatische metrics misten.
• Efficiëntie: Het bewijs dat complexe RAG-taken succesvol kunnen worden uitgevoerd op lage-kosten hardware door slimme modelkeuze en resource-tuning.
• Open Source: Volledige publicatie van de code en prompts om reproduceerbaarheid te waarborgen.

Resultaten

• Competitieprestaties: Het R2RAG-systeem won de Best Dynamic Evaluation Award in de Open Source categorie van de MMU-RAG NeurIPS 2025 competitie.
• Effectiviteit: Het systeem presteerde uitstekend in de "Dynamic Evaluation" (RAG-Arena), waar het vermogen om dynamisch te beslissen en iteratief te zoeken cruciaal bleek.
• Kwalitatieve inzichten: De analyse toonde aan dat gebruikers voorkeur gaven aan de structuur en detailniveau van het systeem, aspecten die niet direct in numerieke scores terugkwamen. De combinatie van de "Vanilla RAG" (voor snelheid) en "Vanilla Agent" (voor diepgang) zorgde voor een gebalanceerde gebruikerservaring.

Significantie

Dit paper benadrukt dat de volgende stap in RAG-ontwikkeling niet alleen het groter maken van modellen is, maar het intelligent routeren van taken en het dynamisch aanpassen van strategieën op basis van de vraag.

• Gebruikersgerichtheid: Het onderstreept het belang van kwalitatieve en dynamische evaluaties boven statische automatische metrics.
• Toegankelijkheid: Het toont aan dat geavanceerde, onderzoeksvriendelijke RAG-systemen niet afhankelijk hoeven te zijn van dure serverinfrastructuur, maar kunnen draaien op standaard hardware.
• Reproduceerbaarheid: Door de focus op open source en gedetailleerde prompt-engineering, biedt het een blauwdruk voor de gemeenschap om vergelijkbare systemen te bouwen.

Kortom, R2RAG demonstreert dat zorgvuldig ontworpen, lichte componenten die dynamisch samenwerken, superieure resultaten kunnen behalen in real-world scenario's vergeleken met statische, "one-size-fits-all" benaderingen.