SRAG: RAG with Structured Data Improves Vector Retrieval

Het artikel introduceert SRAG, een methode die vectorretrieval voor RAG-systemen aanzienlijk verbetert door gestructureerde informatie zoals onderwerpen, sentimenten en kennisgrafiek-triplets toe te voegen, wat leidt tot een 30% hogere kwaliteit van antwoorden, vooral bij vergelijkende en analytische vragen.

De kern

SRAG: De Slimme Bibliotheek die Eindelijk Alles Begrijpt

Stel je voor dat je een enorme, moderne bibliotheek hebt. In deze bibliotheek staan miljoenen boeken (de "chunks" of stukjes tekst) die een kunstmatige intelligentie (de LLM) kan raadplegen om vragen te beantwoorden. Dit systeem heet RAG (Retrieval Augmented Generation).

Hoe werkt de gewone bibliotheek nu?
Stel, je vraagt: "Hoe presteert Apple's AI-strategie in vergelijking met Microsoft?"
De bibliothecaris (het zoekalgoritme) kijkt naar je vraag en zoekt naar boeken die op het oppervlak het meest lijken op de woorden "Apple", "AI" en "Microsoft". Hij pakt de boeken die het meest op die woorden lijken.

Het probleem: Soms pakt de bibliothecaris het verkeerde boek. Hij ziet dat een boek over "Microsoft" gaat, maar hij mist de nuance dat je eigenlijk een vergelijking wilt, of dat je specifiek naar financiële cijfers kijkt. Hij zoekt op "woordgelijkenis", niet op "wat bedoel je eigenlijk".

---

De Oplossing: SRAG (De Bibliotheek met Labels)

De auteurs van dit paper, Shalin Shah en zijn team van Anvai AI, zeggen: "Laten we de bibliothecaris niet alleen de boeken laten zoeken op titel, maar ook op een heel specifiek label dat we aan elk boek en aan elke vraag plakken."

Ze noemen dit SRAG (Structured RAG).

Hoe werkt het? Een analogie met een supermarkt:
Stel je een supermarkt voor.

• Gewone RAG: Je vraagt aan de verkoper: "Ik wil iets lekkers." De verkoper kijkt naar de producten die het woord "lekker" in de beschrijving hebben. Misschien haalt hij een peperkoek, terwijl jij eigenlijk een zoete taart wilde.
• SRAG: Voordat je de supermarkt binnenkomt, krijg je een kleurrijke sticker op je vraag geplakt: "Zoekt: Vergelijking, Financieel, Negatief sentiment (risico's)."
  Elk product in de supermarkt (elk stukje tekst) heeft ook zo'n sticker: "Inhoud: Apple, Vergelijking, Positief, Financiële cijfers."

De verkoper (het zoekalgoritme) kijkt nu niet alleen naar de woorden, maar kijkt of de stickers op je vraag matchen met de stickers op de producten. Hij pakt nu precies het juiste product, zelfs als de woorden in de tekst niet exact hetzelfde zijn als in je vraag.

Wat voor "stickers" gebruiken ze?

Ze plakken heel specifieke informatie (metadata) op de vragen en de teksten:

1. Onderwerp (Topics): Waar gaat het over? (Bijv. "Apple", "Kunstmatige Intelligentie").
2. Gevoel (Sentiment): Is het positief, negatief of neutraal?
3. Type vraag: Is het een vraag om feiten te vinden? Of een vraag om twee dingen te vergelijken? Of een vraag om een voorspelling te doen?
4. Kennisnetwerk (Knowledge Graph): Ze koppelen feiten aan elkaar, zoals een web van connecties, zodat het systeem begrijpt dat "Apple" en "Microsoft" vaak samen in een vergelijking voorkomen.

Waarom is dit zo'n groot succes?

Het paper toont aan dat deze methode de antwoorden van de AI met 30% beter maakt. Maar het echte wonder gebeurt bij de moeilijke vragen:

• Vergelijkende vragen: "Hoe gaat Apple het doen ten opzichte van Google?"
  • Zonder SRAG: De AI zoekt naar teksten over Apple en teksten over Google, maar mist de link ertussen.
  • Met SRAG: De AI ziet het label "Vergelijking" en pakt direct de stukken tekst die specifiek deze twee bedrijven naast elkaar zetten.
• Analytische en voorspellende vragen: "Wat gebeurt er met de winst als de dollar stijgt?"
  • Zonder SRAG: De AI zoekt naar "winst" en "dollar", maar mist de logische redenering.
  • Met SRAG: De AI ziet het label "Voorspelling" en "Risico", waardoor hij de juiste stukjes informatie vindt die helpen om een logische conclusie te trekken.

De "Nadelen" (of het gebrek daaraan):
Het mooie is dat ze geen nieuwe, ingewikkelde bibliotheek hoeven te bouwen. Ze hoeven alleen maar de boeken (de data) opnieuw in te delen en stickers te plakken voordat ze in de kast gaan. De rest van het systeem blijft hetzelfde. Het is alsof je bestaande boekenkast gewoon een nieuw, slim etiketsysteem geeft.

Wat zeggen de cijfers?

De onderzoekers hebben dit getest met een zeer slimme AI (GPT-5) als scheidsrechter.

• Bij simpele vragen ("Wat is de winst van Apple?") was het resultaat ongeveer hetzelfde.
• Bij complexe vragen (vergelijken, analyseren, voorspellen) schoot SRAG omhoog naar een score van 94 (op 100), terwijl de oude methode bleef steken op 55 tot 65.

Conclusie in één zin

SRAG is als het geven van een GPS aan je zoekmachine. In plaats van alleen te kijken naar de bestemming (de woorden), kijkt hij ook naar het type route (vergelijking, voorspelling, feit) en de verkeersomstandigheden (gevoel, context), zodat hij je altijd de snelste en slimste weg naar het juiste antwoord laat zien.

Dit maakt AI veel slimmer in het begrijpen van wat we echt bedoelen, niet alleen wat we zeggen.

Technische samenvatting

Titel: SRAG: RAG met Gestructureerde Data Verbetert Vector Retrieval

Auteurs: Shalin Shah, Srikanth Ryali, Ramasubbu Venkatesh (Anvai AI)

---

1. Het Probleem

Retrieval Augmented Generation (RAG) is een veelgebruikte methode om Large Language Models (LLM's) te voorzien van externe informatie via vectorzoekopdrachten in databases. Hoewel dit informatie biedt, levert het vaak geen epistemische gronding (diepgaand begrip van feitelijke context).
De huidige beperkingen zijn:

• Oppervlakkige Similariteit: De prestaties van RAG hangen af van numerieke vectorrepresentaties. Retrieval is gebaseerd op representatieve gelijkenis tussen de vraag en de tekststukken (chunks).
• Generalisatiefouten: LLM's falen vaak bij het toepassen van eerder geleerde informatie op nieuwe taken, omdat die informatie weliswaar in het model "latent" (verborgen) aanwezig is, maar niet wordt opgehaald omdat de oppervlakkige semantische gelijkenis ontbreekt.
• Infrastructuurcomplexiteit: Bestaande methoden om gestructureerde data (zoals kennisgrafieken) te integreren, vereisen vaak ingrijpende architecturale wijzigingen, zoals het toevoegen van grafische databases of hybride zoeksystemen.

2. Methodologie: Structured RAG (SRAG)

De auteurs stellen SRAG voor, een methode die gestructureerde metadata toevoegt aan zowel de zoekvragen (queries) als de tekststukken (chunks) voordat deze worden geïndexeerd. Het unieke aan SRAG is dat het geen wijzigingen vereist in de onderliggende systeemarchitectuur (de vectordatabase zelf hoeft niet aangepast te worden).

Kerncomponenten van de methode:

• Re-chunking en Tagging: In plaats van alleen de tekst te indexeren, worden chunks en queries verrijkt met gestructureerde metadata in de vorm van sleutel-waarde paren.
• Gestuurde Metadata: De toegevoegde tags omvatten:
  • Onderwerpen (Topics): Thematische classificatie.
  • Sentiment: Emotionele lading van de tekst.
  • Vraag- en Chunk-classes: Categorieën zoals informatief, kwantitatief, comparatief, analytisch en predictief.
  • Semantische Tags: Gerichte semantische labels.
  • Kennisgrafiek Triples (KG Triples): Feitelijke relaties (onderwerp-relatie-object) die helpen bij "needles in a haystack"-problemen en redenering.
• Inference: Tijdens het inferentieproces wordt de vraag ook getagd. De vectordatabase zoekt dan op basis van de getagde vraag naar getagde chunks. De getagde chunks worden in de prompt geplaatst, waarna de LLM het antwoord synthetiseert.

Theoretisch Fundament:
De methode ondersteunt episodisch retrieval. Door metadata toe te voegen, verschuift de zoekopdracht van puur oppervlakkige gelijkenis naar structurele, relationele en taakgerichte uitlijning. Dit maakt het mogelijk dat latent gecodeerde informatie uit eerdere ervaringen opnieuw beschikbaar komt in de context, waardoor het model zijn bestaande redeneervermogen flexibeler kan toepassen.

3. Belangrijkste Bijdragen

1. Architectonische Simpliciteit: SRAG vereist geen nieuwe infrastructuur (zoals grafische databases) en kan worden geïntegreerd in bestaande RAG-pipelines door alleen de manier waarop chunks worden toegevoegd aan de database aan te passen.
2. Uitgebreide Structurering: In tegenstelling tot eerdere pogingen, gebruikt SRAG een breed scala aan metadata (topics, sentiment, KG-triples, query-classes) in plaats van slechts één type.
3. Significante Prestatieverbetering: De methode levert statistisch significante verbeteringen op, met name bij complexe vraagtypes.
4. Episodisch Generaliseren: De auteurs concluderen dat SRAG generalisatie faciliteert door relevante, eerder ervaren informatie (latent knowledge) opnieuw in de context te brengen via diverse en breed opgezette retrieval.

4. Resultaten

De experimenten zijn uitgevoerd met GPT-5 als "LLM-as-a-Judge" om de kwaliteit van de antwoorden te beoordelen (scores van 0 tot 100).

• Algemene Prestatie: SRAG behaalde een gemiddelde score van 94,35 tegenover 72,36 voor standaard (Plain) RAG. Dit is een verbetering van 30% met een uiterst significante p-waarde van 2e-13.
• Prestatie per Vraagtype:
  • Comparatief: 55,9 (Plain) $\rightarrow$ 94,1 (SRAG)
  • Analytisch: 65,1 (Plain) $\rightarrow$ 93,8 (SRAG)
  • Predictief: 64,46 (Plain) $\rightarrow$ 95,61 (SRAG)
  • Informatief & Kwantitatief: Ook hier zijn duidelijke verbeteringen zichtbaar.
  • Informatie-opzoeking (Information Lookup): Geen significante verbetering (beide methoden scoren hoog), wat suggereert dat deze vraagsoort minder afhankelijk is van de geavanceerde contextuele uitlijning.
• Ablatie Study:
  • Het verwijderen van individuele metadata-componenten (zoals alleen sentiment of alleen KG-triples) leidde niet tot statistisch significante dalingen in isolatie.
  • Dit wijst erop dat de verbeteringen emergent en compositieel zijn: ze ontstaan door de gezamenlijke werking van alle metadata, niet door één dominante feature.
  • Semantische tags, onderwerpen en chunk-types hadden de grootste negatieve impact wanneer ze werden verwijderd.
• Retrieval-efficiëntie: SRAG presteert beter bij een klein aantal opgehaalde chunks (lage $k$), wat aangeeft dat de methode de precisie van de top-resultaten verbetert in plaats van te vertrouwen op grote contextvensters om fouten te compenseren.

5. Betekenis en Conclusie

Het paper demonstreert dat het verrijken van vectorrepresentaties met gestructureerde metadata een krachtige en eenvoudige manier is om de redeneerprestaties van RAG-systemen te verbeteren.

• Praktische Toepassing: De methode is lichtgewicht en vereist geen complexe infrastructuurwijzigingen, wat het zeer toepasbaar maakt voor bestaande systemen.
• Redeneervermogen: De grootste winst wordt behaald bij vragen die vergelijken, analyseren en voorspellen, wat aantoont dat SRAG LLM's helpt om beter te redeneren door de juiste contextuele stukken eerder en relevanter op te halen.
• Tail Risk: Analyse van de "tail risk" (extreme uitkomsten) toont aan dat SRAG vaker zeer grote winsten oplevert, terwijl verliezen beperkt blijven.

Kortom, SRAG lost een fundamentele beperking van traditionele RAG op (de afhankelijkheid van oppervlakkige vectorgelijkenis) door structurele uitlijning, waardoor LLM's beter in staat zijn om latent aanwezige kennis te benutten voor complexe taakuitvoering.