💻 computer science

Hierarchical Reranking for Scalable Financial RAG System

Dit artikel introduceert Hierarchical Reranker, een schaalbaar RAG-framework dat pre-retrieval optimalisatie, een tweestaps rankingsmechanisme en long-context management integreert om de retrievalprecisie en feitelijke consistentie voor complexe financiële documentanalyse aanzienlijk te verbeteren, zoals bewezen door de top performance in de ACM-ICAIF '24 FinanceRAG Challenge.

Oorspronkelijke auteurs: Joohyun Lee, Sungwoo Hong

Gepubliceerd 2026-07-31

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Joohyun Lee, Sungwoo Hong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar in plaats van een enkele plaats delict, krijg je een bibliotheek met miljoenen boeken aangeleverd, elk gevuld met duizenden pagina's aan kleine, verwarrende tekst en complexe grafieken. Dit is de dagelijkse realiteit voor financiële analisten die documenten moeten lezen zoals 10-K rapportages (enorme rapporten die bedrijven bij de overheid indienen) om specifieke cijfers of feiten te vinden. In de wereld van Kunstmatige Intelligentie is er een tool genaamd RAG (Retrieval-Augmented Generation) die fungeert als een superintelligente bibliothecaris. Deze leest niet alleen de boeken; het doorzoekt ze om precies de pagina's te vinden die je nodig hebt en schrijft vervolgens een samenvatting gebaseerd alleen op wat het heeft gevonden. Echter, standaard bibliothecarissen raken vaak overweldigd door de enorme omvang van deze financiële bibliotheken, raken in de war door de mix van woorden en cijfers, of verzinnen feiten wanneer de documenten te lang zijn. Dit paper pakt het probleem aan van hoe je een bibliothecaris bouwt die snel, accuraat en niet verdwaald raakt in de details wanneer de klus enorm groot wordt.

De auteurs van dit paper, Joohyun Lee en Sungwoo Hong, stellen een nieuw systeem voor genaamd de Hierarchical Reranker. Zie dit systeem als een twee-staps selectieproces voor een team van detectives. In plaats van één gigantische, dure en trage detective aan te nemen om elke pagina van een boek van 100.000 pagina's te lezen, gebruikt dit systeem een "klein-en-groot"-teamstrategie. Eerst scant een snelle, lichtgewicht detective (een klein AI-model) de hele bibliotheek en gooit de pagina's weg die overduidelijk irrelevant zijn, waardoor de stapel wordt teruggebracht tot de top 100 meest veelbelovende pagina's. Vervolgens kijkt een zeer bekwame, deskundige detective (een groot, krachtig AI-model) diepgaand en zorgvuldig naar slechts die 100 pagina's om de uiteindelijke top 20 te kiezen die echt antwoord geven op de vraag. Deze aanpak bespaart tijd en geld omdat de dure expert alleen het zware werk doet op de meest waarschijnlijke kandidaten, in plaats van energie te verspillen aan de hele bibliotheek.

Maar het vinden van de juiste pagina's is slechts de helft van de strijd. Het paper introduceert ook een slimme manier om de documenten te verwerken voordat de detectives zelfs maar beginnen met zoeken. Financiële documenten zijn rommelig; ze gebruiken afkortingen zoals "YoY" (Year-over-Year) of "EPS" (Earnings per Share), en ze mengen paragrafen tekst met enorme tabellen met cijfers. De eerste stap van het systeem is het "opschonen" van de zoekopdracht en de documenten. Het zet die verwarrende afkortingen om in volledige woorden, standaardiseert eenheden (zodat "1M" en "1.000.000" er hetzelfde uitzien) en, cruciaal, zet die rommelige tabellen om in een gestructureerd formaat genaamd JSON. Dit is alsof je een handgeschreven spreadsheet omzet in een digitale database, zodat de AI niet in de war raakt over welk getal bij welke categorie hoort. Door dit "voorafgaande opschonen" zorgt het systeem ervoor dat de AI de vraag en het bewijs perfect begrijpt voordat de zoektocht zelfs maar begint.

De derde grote truc die de auteurs gebruiken, is een strategie voor het omgaan met documenten die simpelweg te lang zijn om in één keer in het geheugen van de AI te passen. Hoewel moderne AI-modellen beweren enorme hoeveelheden tekst te kunnen lezen, bleek uit het paper dat wanneer de tekst een bepaald punt passeert (specifiek 64.000 tokens, wat een maatstaf is voor tekstlengte), de AI fouten begint te maken, vooral met cijfers. Om dit op te lossen, werkt het systeem als een chef die een enorm banket bereidt. In plaats van de hele maaltijd in één keer te eten, hakt het de lange documenten in twee kleinere, behapbare stukken. Het vraagt de AI om het eerste deel te analyseren en een conceptantwoord te schrijven, analyseert vervolgens het tweede deel en schrijft een ander conceptantwoord. Ten slotte combineert een "fusie"-stap deze twee concepten tot één definitief antwoord, waarbij gecontroleerd wordt of ze met elkaar overeenstemmen en eventuele conflicten worden opgelost. Dit zorgt ervoor dat zelfs als het document een enorm rapport van 100.000 pagina's is, de AI de draad van de feiten niet kwijtraakt.

Toen de onderzoekers hun systeem testten op verschillende beroemde financiële benchmarks (zoals FinQA en FinanceBench), waren de resultaten indrukwekkend. Het systeem behaalde een score van 0,7918 op een metriek genaamd NDCG@20, die meet hoe goed het systeem de juiste informatie bovenaan zijn lijst plaatst. Deze score was aanzienlijk beter dan systemen die geen gebruik maakten van hun speciale opschonings- en twee-staps rankingmethoden. Sterker nog, deze aanpak was zo effectief dat het het team hielp de tweede plaats te bemachtigen in de ACM-ICAIF '24 FinanceRAG Challenge, een wedstrijd die ontworpen is om te testen hoe goed AI met financiële gegevens kan omgaan. Het paper suggereert dat door deze drie innovaties te combineren — het opschonen van de data, het gebruik van een twee-staps detective-team en het slim opdelen van lange documenten — financiële instellingen nu AI-systemen kunnen bouwen die niet alleen slim zijn, maar ook betrouwbaar genoeg voor real-world taken zoals auditing en beleggingsanalyse, zonder dat de AI feiten verzint of verdwaalt in de ruis.

Technische Samenvatting: Hiërarchische Herclassificatie voor een Schaalbaar Financieel RAG-systeem

Probleemstelling

De financiële sector staat voor aanzienlijke uitdagingen bij het automatiseren van de analyse van complexe documenten zoals 10-K-overzichten, tabelgegevens en macro-economische rapporten. Deze taken vereisen deskundige redenering en uitputtende kruisverwijzingen over lange, heterogene documenten. Hoewel Retrieval-Augmented Generation (RAG) een weg biedt om Large Language Models (LLMs) te funderen in onderliggend bewijs, falen standaard RAG-pipelines in financiële domeinen door drie specifieke faalmodi:

Embedding Drift: Domeinspecifiek jargon, eenheden en afkortingen veroorzaken semantische mismatches tussen queries en corpus-embeddings, wat de recall verslechtert.
Hybrid Structure Misalignment: Retriever-modellen die getraind zijn op proza, hebben moeite met het afstemmen van hybride tekst-tabelbewijs, wat leidt tot numeriek incorrecte generaties.
Long-Context Degradation: De kwaliteit van de redenering stort in bij inputs die de standaard contextvensters (bijv. 64k tokens) overschrijden, zelfs bij modellen die nominaal 100k+ tokens ondersteunen, met name wanneer er dichte numerieke referenties betrokken zijn.

Methodologie

De auteurs stellen de Hiërarchische Reranker voor, een domein-geoptimaliseerd RAG-framework dat is ontworpen om deze fouten aan te pakken via een driestaps-pipeline: Pre-Retrieval Optimalisatie, Hiërarchische Herclassificatie en Long-Context Management.

1. Pre-Retrieval Optimalisatie

Deze fase richt zich op het normaliseren van queries en het corpus om de semantische coherentie vóór het embedden te verbeteren.

Normalisatie: Queries en documenten ondergaan lowercase-conversie, typecorrectie en de expansie van financiële afkortingen (bijv. "EPS" naar "Earnings per share"). Eenheden zoals "K" of "M" worden gestandaardiseerd naar consistente numerieke expressies.
Keyword Extractie: Domeinspecifieke trefwoorden worden aan queries toegevoegd om de terminologie-dichtheid te verhogen, wat de afstemming met het corpus verbetert.
Paraphrasering: Queries worden semantisch uitgebreid naar meerdere taalkundig diverse varianten om de zoekruimte te verbreden.
Hypothetical Document Generation (HyDE): Synthetische pseudo-documenten worden gegenereerd om als semantische ankers te fungeren, waardoor de kloof tussen abstracte queries en specifieke domeincontexten wordt overbrugd.
Table-to-JSON Conversie: Cruciaal is dat Markdown-tabellen deterministisch worden omgezet naar JSON-structuren met behulp van regelgebaseerde scripts (geen LLM's) om de strikte relatie tussen numerieke waarden en hun koppen te behouden, wat hallucinaties tijdens retrieval voorkomt.
Samenvatting: Voor extreem grote corpora (>10k tokens) worden documenten samengevat om alleen essentiële financiële indicatoren en resultaten te behouden, waarbij onnodige narratieven worden verwijderd.

2. Hiërarchische Reranker Architectuur

Om precisie te balanceren met de kosten van inferentie, maakt het systeem gebruik van een twee-staps cascade in plaats van een enkele monolithische retriever.

Fase 1 (Lichtgewicht Filtering): Een snelle, laag-complexe model (jina-reranker-v3) verwerkt de volledige kandidaatpool om kandidaten met een lage relevantie te elimineren, waardoor de pool wordt teruggebracht tot de top 100 passages. Deze fase maakt gebruik van uitgebreide contextondersteuning (tot 131k tokens) voor lexicale en oppervlakkige semantische gelijkenis.
Fase 2 (Gedetailleerde Herclassificatie): Een model met een hoge capaciteit (Qwen3-Reranker-8B) voert diepe semantische beoordeling uit op de top 100 overlevenden om de definitieve top 20 passages te extraheren. Deze fase richt zich op cross-sentence financiële afhankelijkheden en numerieke consistentie tussen tabellen en tekst.

3. Long-Context Management

In het besef dat de prestaties verslechteren boven de 64k tokens, implementeert het systeem een adaptieve partitionerings- en fusiestrategie voor inputs die deze drempel overschrijden.

Partitionering: De top 20 geretourneerde corpora worden gesplitst in twee semantisch coherente subsets.
Fusie: Tussenliggende antwoorden ( $R_1, R_2$ $R_{1}, R_{2}$ ) worden voor elke subset gegenereerd. Een conditioneel fusiemechanisme voegt deze outputs samen:
- Als slechts één subset een definitief antwoord geeft, wordt dit overgenomen.
- Als beide antwoorden geven, wordt degene met de hogere vertrouwensscore geselecteerd.
- Als geen van beide duidelijk is, wordt een expliciet "onbekend" antwoord gegenereerd.
  Dit proces voorkomt gehallucineerde synthese over partities heen, terwijl de redeneerconsistentie behouden blijft.

Belangrijkste Bijdragen

Het artikel beschrijft drie primaire bijdragen:

Pre-Retrieval Optimalisatie: Een deterministische pipeline die eenheden normaliseert, trefwoorden uitbreidt en tabellen naar JSON converteert, wat meetbare winst in retrieval oplevert zonder LLM-geïnduceerde hallucinaties tijdens de preprocessing te introduceren.
Hiërarchische Reranker: Een twee-staps architectuur die een snelle filter koppelt aan een hoog-capacitieve beoordelaar, waardoor complexe financiële afhankelijkheden worden gevangen terwijl de kosten van inferentie worden begrensd.
Long-Context Management: Een bewijs-bewust fusiemechanisme dat ambigue of tegenstrijdige gedeeltelijke antwoorden afhandelt voor inputs die de 64k tokens overschrijden.

Resultaten

Het systeem werd geëvalueerd op meerdere financiële benchmarks, waaronder FinQABench, FinanceBench, FinQA, ConvFinQA en TATQA.

Retrieval Prestaties: Het volledige framework behaalde een NDCG@20 score van 0.7918.
- Alleen al de pre-retrieval optimalisatie verbeterde de baseline met +5,9%.
- De hiërarchische reranking architectuur verbeterde de relevantie met +6,5% vergeleken met een single-reranker setup.
Generatie Prestaties: Het systeem demonstreerde superieure feitelijke consistentie. In de ACM-ICAIF '24 FinanceRAG Challenge behaalde het framework de 2e plaats.
Ablatie-studies: Experimenten bevestigden dat de combinatie van Query Normalisatie, Keyword Extractie en Table-to-JSON conversie de hoogste winst in retrieval opleverde. Het split-and-fusion mechanisme voor lange contexten zorgde voor marginale maar consistente verbeteringen in nauwkeurigheid van 0,08% tot 0,49% over diverse LLM's.

Betekenis en Claims

De auteurs positioneren dit werk als een brug tussen onderzoek-grade RAG en institutionele inzetbaarheid. Zij beweren dat het framework inzetbaar, schaalbaar en domein-geoptimaliseerd is, waarbij de specifieke knelpunten van financieel redeneren worden aangepakt:

Robuustheid: Het systeem behoudt nauwkeurigheid in omgevingen met dichte numerieke data en hybride tekst-tabel structuren.
Efficiëntie: Door het probleem te deconstrueren in samenwerkende componenten (samenwerking tussen kleine- en grote modellen), houdt het systeem de end-to-end latentie en tokenkosten binnen de perken, een eigenschap die essentieel wordt geacht voor institutionele schaal.
Praktische Bruikbaarheid: Het framework is gevalideerd in real-world auditing en investeringsworkflows. De auteurs stellen dat zorgvuldige engineering — specifiek deterministische preprocessing en adaptief contextbeheer — even cruciaal is als model schaal voor het brengen van RAG naar productie.

Het artikel concludeert dat deze pipeline zowel de nauwkeurigheid als de schaalbaarheid van financieel redeneren verbetert, wat de weg vrijmaakt voor geautomatiseerde auditrapportage en kwantitatieve investeringsanalyse. De broncode is bedoeld voor publieke release na acceptatie.