💻 computer science

UAMG-RAG: Adaptive Multi-Granularity Retrieval-Augmented Generation with Uncertainty-Guided Re-Retrieval

Het artikel stelt UAMG-RAG voor, een framework dat de ophaaldiepte en documentgranulariteit dynamisch aanpast op basis van de complexiteit van de vraag en onzekerheidgestuurde herhaalde ophaalprocessen inzet om de redeneerprestaties te verbeteren en hallucinaties te verminderen, waarbij significante verbeteringen worden behaald op de HotpotQA- en WikiHow-benchmarks.

Oorspronkelijke auteurs: Shreya B S, Kayarvizhy N

Gepubliceerd 2026-07-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shreya B S, Kayarvizhy N

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme maar ietwat vergeetachtige assistent hebt (de AI) die probeert je vragen te beantwoorden. Deze assistent heeft tijdens zijn training een enorme bibliotheek aan boeken gelezen, maar hij verzint ook vaak dingen (hallucinaties) of geeft verouderde antwoorden omdat hij alleen op zijn geheugen vertrouwt.

Om dit op te lossen, geven we de assistent meestal een "zoekmachine" (Retrieval-Augmented Generation, of RAG), zodat hij feiten in een database kan opzoeken voordat hij antwoordt. Echter, het artikel betoogt dat de meeste huidige zoekmachines lijken op starre verkoopautomaten: ze geven altijd exact dezelfde hoeveelheid snacks (documenten) in exact dezelfde grootte (granulariteit) uit, ongeacht of je een eenvoudige vraag stelt zoals "Wat is 2+2?" of een complexe vraag zoals "Leg de keten van gebeurtenissen uit die leidde tot de val van Rome."

Deze "one-size-fits-all"-aanpak is inefficiënt. Het verspilt tijd door te veel informatie op te zoeken voor eenvoudige vragen en te weinig voor moeilijke vragen.

De Oplossing: UAMG-RAG

De auteurs stellen een nieuw systeem voor genaamd UAMG-RAG. Zie dit als een upgrade van de verkoopautomaat naar een slimme, adaptieve bibliothecaris. Deze bibliothecaris haalt niet alleen boeken op; hij begrijpt hoe hij ze moet ophalen op basis van jouw specifieke behoeften.

Zo werkt het, onderverdeeld in eenvoudige stappen:

1. De "Detective"-fase (Het begrijpen van de vraag)

Voordat er gezocht wordt, fungeert het systeem als een detective. Het analyseert je vraag om te raden:

Wat voor soort vraag is het? Is het een eenvoudige feitencheck, een meerstaps-puzzel, of een "hoe doe ik dit"-handleiding?
Hoe moeilijk is het? Is het een snelle opzoekactie of is er diep nadenken voor nodig?

2. De "Slimme Fetch"-fase (Adaptieve Retrieval)

Op basis van het rapport van de detective past de bibliothecaris zijn strategie aan:

Voor eenvoudige vragen: Hij pakt een klein, precies fragment (zoals een enkele zin) om het exacte feit snel te verkrijgen.
Voor complexe puzzels: Hij pakt een hele paragraaf of een sectie van een boek om ervoor te zorgen dat hij alle verbindende stukjes van de puzzel heeft.
De "Diepte"-aanpassing: Hij bepaalt ook hoeveel documenten er opgehaald moeten worden. Een eenvoudige vraag krijgt minder documenten; een complexe vraag krijgt er meer.

Analogie: Als je vraagt: "Wie is de president?", overhandigt de bibliothecaris een briefje met de naam. Als je vraagt: "Hoe bak ik een zuurdesembrood?", overhandigt de bibliothecaris het hele hoofdstuk met het recept.

3. De "Zelfcontrole"-fase (Onzekerheid-gestuurde Re-retrieval)

Dit is het "veiligheidsnet" van het systeem. Nadat de bibliothecaris de informatie heeft opgehaald en de AI een antwoord heeft geschreven, vraagt het systeem zichzelf af: "Weet ik 100% zeker dat dit antwoord wordt ondersteund door de documenten die ik zojuist heb gevonden?"

De Vertrouwensmeter: Het berekent een "onzekerheidsscore".
De Fix: Als de score te hoog is (wat betekent dat de AI aan het gokken is of dat het bewijs zwak is), geeft het systeem niet zomaar op. Het zegt: "Wacht, ik heb meer bewijs nodig," en gaat terug naar de bibliotheek om specifieke ontbrekende stukjes informatie op te halen. Het herhaalt deze lus totdat het zich zeker voelt.

Waarom dit ertoe doet (De Resultaten)

De auteurs hebben deze "Slimme Bibliothecaris" getest tegenover de oude "Starre Verkoopautomaat" met behulp van twee soorten testvragen:

HotpotQA: Moeilijke vragen die vereisen dat men verbanden legt tussen verschillende feiten (Multi-hop reasoning).
WikiHow: Stap-voor-stap instructievragen (Procedurele kennis).

De Bevindingen:

Betere Antwoorden: Het nieuwe systeem behaalde aanzienlijk meer correcte antwoorden (hogere F1-scores) op beide soorten tests.
Minder Leugens: Het verzonnen veel minder vaak feiten (hallucinaties), vooral bij de "hoe doe ik dit"-vragen.
Efficiëntie: Het was zelfs sneller. Door niet onnodig veel boeken op te halen voor eenvoudige vragen, bespaarde het tijd en rekenkracht.
Het Geheim van het Succes: De auteurs ontdekten dat het vermogen om de grootte van de informatiefragmenten te veranderen (van zinnen tot hele secties) de belangrijkste factor was. Als ze deze functie zouden verwijderen, zou de prestatie van het systeem drastisch dalen.

De Beperkingen

De auteurs zijn eerlijk over waar het systeem nog steeds moeite mee heeft:

Ambiguïteit: Als een vraag vaag is of lastige taal gebruikt die niet duidelijk laat zien hoe moeilijk het is, kan de "detective" de moeilijkheid verkeerd inschatten en de verkeerde hoeveelheid informatie ophalen.
Kleine Schaal: De tests werden uitgevoerd op specifieke datasets. We weten nog niet hoe het in alle mogelijke echte scenario's zou presteren.
Procedurele Taken: Voor eenvoudige "hoe doe ik dit"-vragen was de verbetering klein, omdat het oude systeem al vrij goed was in het ophalen van hele secties voor die taken.

Samenvatting

Kortom, UAMG-RAG is een systeem dat AI leert om een flexibele onderzoeker te zijn in plaats van een starre robot. Het leert te vragen: "Hoeveel informatie heb ik daadwerkelijk nodig voor deze specifieke vraag?" en "Ben ik zeker genoeg om te stoppen met zoeken?" Dit leidt tot slimmere, nauwkeurigere en betrouwbaardere antwoorden.

Technische Samenvatting: UAMG-RAG

Probleemstelling

Huidige Retrieval-Augmented Generation (RAG) systemen kampen met aanzienlijke beperkingen door hun statische retrieval-architecturen. Bestaande pipelines maken doorgaans gebruik van een vooraf bepaalde, vaste retrieval-diepte en een enkele documentgranulariteit (bijv. een vaste chunk-grootte), ongeacht de specifieke complexiteit van de gebruikersvraag. Deze "one-size-fits-all"-benadering leidt tot verschillende kritieke problemen:

Inefficiëntie: Eenvoudige feitelijke vragen triggeren vaak overmatige retrieval (over-retrieval), wat computationele middelen verspilt, terwijl complexe multi-hop of procedurele vragen lijden onder onvoldoende context (under-retrieval).
Hallucinaties: Het gebrek aan dynamische adaptatie betekent dat de opgehaalde bewijslast vaak onvoldoende ondersteuning biedt voor het gegenereerde antwoord, wat leidt tot zwakke gronding en een hoger percentage hallucinaties, met name bij redeneerintensieve taken.
Gebrek aan Validatie: De meeste bestaande RAG-pipelines missen mechanismen om te evalueren of de opgehaalde feiten het gegenereerde output adequaat ondersteunen voordat het antwoord wordt gefinaliseerd.

Hoewel recente werken zoals Self-RAG, Corrective RAG en FLARE iteratieve verfijning of zelfreflectie hebben geïntroduceerd, negeren zij grotendeels adaptieve granulariteitsselectie als een primaire optimalisatievariabele. Bovendien vertrouwen veel adaptieve frameworks op computationeel dure grafenstructuren of zware betrouwbaarheidsschattingmodellen die de schaalbaarheid belemmeren.

Methodologie: UAMG-RAG Framework

De auteurs stellen UAMG-RAG voor (Uncertainty-guided Adaptive Multi-Granularity Retrieval-Augmented Generation), een verenigd framework ontworpen om het retrieval-gedrag dynamisch aan te passen op basis van de intentie van de query en de redeneercomplexiteit. Het systeem werkt via een closed-loop pipeline bestaande uit vijf sleutelmodules:

1. Schatting van Query-intentie en Redeneercomplexiteit

Bij ontvangst van een query $Q$ classificeert het systeem de intentie eerst in drie categorieën: feitelijk, multi-hop, of procedureel. Tegelijkertijd schat het de vereiste redeneerinspanning ( $E$ ) in, gebruikmakend van kenmerken zoals querylengte ( $L_q$ ), entiteitsdichtheid ( $N_e$ ) en de aanwezigheid van complexe indicatoren ( $C_q$ ). Queries worden gecategoriseerd in lage, gemiddelde of hoge inspanningsniveaus.

2. Selectie van Adaptief Retrieval-beleid

Op basis van de geschatte intentie ( $I$ ) en inspanning ( $E$ ) bepaalt het framework dynamisch:

Retrieval-diepte ( $k$ ): Het aantal te extraheren documenten.
Granulariteit ( $g$ ): Het chunk-grootte niveau.
Het systeem maakt gebruik van een regelgebaseerde mapping (afgeleid van pilot-validatie) waarbij:
Lage inspanning queries leiden tot ondiepe retrieval ( $k=7$ ) op zinsniveau-granulariteit ( $G1$ ).
Gemiddelde inspanning queries leiden tot matige retrieval ( $k=8$ ) op alinea-niveau-granulariteit ( $G2$ ).
Hoge inspanning queries leiden tot diepe retrieval ( $k=10$ ) op sectie-niveau-granulariteit ( $G3$ ).

3. Multi-Granulariteit Indexering

De corpus wordt geïndexeerd op drie verschillende niveaus om het adaptieve beleid te ondersteunen:

G1 (Zin): ~100 tokens, geoptimaliseerd voor precieze feitelijke retrieval.
G2 (Alinea): ~200 tokens, geoptimaliseerd voor multi-hop analytisch redeneren.
G3 (Sectie): ~385 tokens, geoptimaliseerd voor procedurele en long-context redenering.
Dense retrieval wordt uitgevoerd met Sentence-BERT embeddings en FAISS voor efficiënte nearest-neighbor search.

4. Onzekerheid-gestuurde Antwoordgeneratie

De generator produceert een antwoord $A$ geconditioneerd op de query en de opgehaalde bewijslast $D_k$ . In tegenstelling tot standaard RAG accepteert het systeem de output niet onmiddellijk. In plaats daarvan berekent het een Lichtgewicht Onzekerheidsmetriek ( $U$ ) gedefinieerd als:
$U = \alpha \cdot H + \beta \cdot (1 - O)$
Waar:

$H$ een proxy is voor generatievertrouwen (entropie-approximatie).
$O$ de Evidence Overlap is, die de lexicale uitlijning meet tussen de gegenereerde antwoord-tokens en de opgehaalde bewijslast.
$\alpha$ en $\beta$ wegingsparameters zijn.

5. Iteratieve Selectieve Re-Retrieval

Als de onzekerheidsmetriek $U$ een vooraf ingestelde drempelwaarde $\tau$ overschrijdt, start het systeem een verfijningslus:

Detectie: Identificeert zwak gegronde antwoord-spans en ontbrekende entiteiten.
Herformulering: Construeert een nieuwe query $Q'$ gericht op de ontbrekende informatie.
Re-Retrieval: Voert opnieuw adaptieve retrieval uit met de nieuwe query.
Deze lus gaat door totdat de onzekerheid onder de drempelwaarde valt of een maximaal aantal iteraties is bereikt.

Belangrijkste Bijdragen

Het artikel schetst vijf primaire bijdragen:

Query-Adaptief Framework: Een systeem dat zowel de retrieval-diepte als de chunk-granulariteit dynamisch aanpast op basis van de geschatte redeneercomplexiteit, waarmee het verder gaat dan statische $k$ -waarde policies.
Multi-Granulariteit Indexering: Een verenigde pipeline die retrieval op zin-, alinea- en sectieniveau ondersteunt, waardoor het systeem de juiste contextuele resolutie kan selecteren voor diverse querytypes.
Onzekerheid-gestuurde Verfijning: Een lichtgewicht mechanisme dat iteratieve re-retrieval alleen triggert wanneer de gegenereerde respons onvoldoende bewijskracht heeft, wat de balans tussen betrouwbaarheid en efficiëntie bewaart.
Uitgebreide Evaluatie: Uitgebreide experimenten die verbeteringen aantonen in feitelijke gronding, reductie van hallucinaties en retrieval-efficiëntie op de HotpotQA en WikiHow datasets.
Ablatie-analyse: Een gedetailleerde studie die de relatieve bijdrage van elk component kwantificeert, waarbij wordt benadrukt dat adaptieve granulariteit de meest significante factor is voor prestatiewinst.

Experimentele Resultaten

Het framework werd geëvalueerd op HotpotQA (multi-hop redeneren) en WikiHow (procedurele kennis) tegenover baselines inclusief BM25+LLM, RAG+Reranker, en Fixed RAG ( $k=5$ ).

Prestatiewinst: UAMG-RAG behaalde een F1-score van 24,9% op HotpotQA en 27,6% op WikiHow, waarmee het alle baselines overtrof.
Mitigatie van Hallucinaties: Het framework reduceerde de hallucinatiegraad bij procedurele vragen tot 14,2%, aanzienlijk lager dan de Fixed RAG baseline (16,8%) en BM25+LLM (31,2%).
Efficiëntie: Ondanks het ophalen van een vergelijkbaar volume aan documenten als standaard RAG, bereikte UAMG-RAG een reductie van 50% in end-to-end latentie (3.684ms vs. 7.364ms) door gebruik te maken van adaptieve vroege stopzetting en het verminderen van onnodige LLM-aanroepen voor eenvoudigere queries.
Ablatie-bevindingen: Het verwijderen van de Adaptive Granularity component resulteerde in de grootste prestatiedaling (-19,5 F1 punten), wat bevestigt dat het afstemmen van de retrieval-granulariteit op het querytype de belangrijkste drijfveer voor succes is. Het verwijderen van de onzekerheidsschatting veroorzaakte een daling van -7,0 punten.
Query-Type Analyse: Het systeem vertoonde de meest significante winsten bij feitelijke (+5,0 F1) en multi-hop (+4,6 F1) queries. Voor procedurele queries was de winst marginaal (-3,0 F1), aangezien de auteurs opmerken dat statische sectie-niveau retrieval vaak al voldoende context biedt voor instructieve taken.

Betekenis en Claims

Het artikel beweert dat UAMG-RAG de rigiditeit van huidige RAG-systemen aanpakt door een dynamische, query-bewuste benadering van retrieval te introduceren. De auteurs stellen dat het framework er succesvol in slaagt de trade-off tussen retrieval-nauwkeurigheid en contextuele volledigheid te verzoenen.

De significantie van het werk wordt geformuleerd rond drie hoofdpunten:

Betrouwbaarheid: Door integratie van onzekerheid-gestuurde re-retrieval, zorgt het systeem ervoor dat gegenereerde antwoorden gegrond zijn in voldoende bewijs, wat hallucinaties direct mitigeert.
Efficiëntie: Het adaptieve beleid voorkomt de computationele verspilling die gepaard gaat met het ophalen van excessieve context voor eenvoudige queries of onvoldoende context voor complexe queries.
Granulariteit als First-Class Optimalisatie: De studie stelt dat adaptieve granulariteitsselectie een cruciale, vaak over het hoofd geziene optimalisatie-hefboom is die grotere prestatieverbeteringen oplevert dan enkel iteratieve verfijning.

De auteurs hanteren een bescheiden toon bij hun claims, waarbij zij beperkingen erkennen zoals de afhankelijkheid van heuristische kenmerken voor complexiteitsschatting, het gebruik van proxy-onzekerheidsmetrieken vanwege API-restricties op model-logits, en het feit dat de superioriteit van het framework ten opzichte van alle bestaande benaderingen niet exhaustief is bewezen. Zij concluderen dat hoewel de resultaten veelbelovend zijn, toekomstig werk nodig is om transformer-gebaseerde redeneermodellen en bredere domeingeneralisatie te verkennen.