HistoRAG: Embedding Historical Methodology in Retrieval-Augmented Generation Through Critical Technical Practice
Dit artikel introduceert HistoRAG, een framework dat Retrieval-Augmented Generation aanpast voor historisch onderzoek door historiografische principes te integreren — zoals temporele windowing, gescheiden retrieval en generatie, en transparante LLM-als-rechter evaluatie — om de feitelijke vooroordelen van standaard RAG aan te pakken en interpretatieve wetenschappelijke praktijken beter te ondersteunen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een historicus bent die probeert te begrijpen hoe mensen tussen 1950 en 1979 over computers dachten in Duitsland. Je hebt een enorme bibliotheek van meer dan 100.000 krantenartikelen.
Als je een standaard AI-tool gebruikt (genaamd "RAG"), werkt deze als een zeer snelle maar ietwat onhandige bibliothecaris. Je vraagt: "Wat vonden mensen van computers?" en de bibliothecaris rent naar de planken, pakt de boeken waar het woord "computer" in staat en overhandigt ze aan jou.
Het probleem? Deze bibliothecaris heeft een paar slechte gewoontes die historisch onderzoek verruineren:
- Ze spreken alleen moderne straattaal. Als je naar "computers" vraagt met woorden uit de jaren 70, negeert de bibliothecaris alle boeken uit de jaren 50, omdat men toen nog sprak over "elektronische hersenen". De bibliothecaris mist hierdoor de belangrijkste vroeie geschiedenis.
- Ze pakken de luidruchtigste boeken. Als een onderwerp veel werd besproken in 1970, pakt de bibliothecaris een enorme stapel boeken uit 1970 en negeert hij de stillere, maar even belangrijke discussies uit 1950.
- Ze begrijpen niet waarom je vraagt. Ze pakken gewoon boeken die er op het eerste gezicht hetzelfde uitzien als je vraag, zelfs als die boeken je specifieke onderzoeksvraag over menselijke angsten of hoop niet echt beantwoorden.
Het artikel introduceert HistoRAG (Historische RAG). Zie dit niet als een snellere bibliothecaris, maar als een nieuwe manier van werken met een onderzoeksassistent die de regels van de geschiedenis respecteert.
Zo werkt HistoRAG, met drie eenvoudige trucs:
1. De "Twee-stappen-dans" (Gescheiden Retrieval en Generatie)
In een normale AI-systeem stel je een vraag en geeft de AI direct een antwoord. Het is als een magische 8-ball.
In HistoRAG wordt het proces opgesplitst in twee duidelijke stappen:
- Stap 1: De Jacht (Heuristik). De AI gaat op pad en verzamelt veel potentiële bronnen. Maar daar stopt het ook. Hij legt ze op een tafel en zegt: "Hier zijn de kandidaten. Jij, de historicus, moet kijken naar welke het waard zijn om te lezen."
- Stap 2: De Analyse (Interpretatie). Pas nadat jij de beste bronnen hebt gekozen, helpt de AI je bij het schrijven van een samenvatting of het vinden van patronen.
De Analogie: Stel je voor dat je een detective bent. Een normale AI is als een detective die een verdachte vindt en onmiddellijk een slotpleidooi schrijft. HistoRAG is een detective die een lijst met verdachten vindt, de lijst aan jou overhandigt en zegt: "Jij bepaalt wie ik moet ondervragen. Zodra je de juiste mensen hebt gekozen, help ik je pas met het schrijven van het rapport." Dit zorgt ervoor dat de menselijke historicus de controle behoudt over het verhaal.
2. De "Tijdreizigers-grid" (Temporele Windowing)
Standaard AI-tools zijn bevooroordeeld richting het heden. Als je naar "computers" vraagt, pakt de AI vooral recente artikelen omdat de taal beter overeenkomt. Het is alsof je probeert oude recepten te vinden door alleen te zoeken op moderne kooktermen; je zult de oude termen missen.
HistoRAG dwingt de AI om eerlijk te zijn. Het verdeelt de periode van 30 jaar in kleine tijdsblokken (zoals blokken van 5 jaar). Vervolgens zegt het: "Ongeacht hoeveel 'computer'-artikelen er in 1970 zijn, je moet een gelijk aantal artikelen uit 1950, 1955, 1960, enzovoort, pakken."
De Analogie: Stel je voor dat je een fruitsalade maakt. Een normale AI pakt een enorme emmer aardbeien (omdat die nu overal zijn) en negeert de blauwe bessen van vorig seizoen. HistoRAG is een strikte chef die zegt: "We hebben precies één kopje fruit nodig uit elk seizoen van het jaar, zelfs als de aardbeien op dit moment populairder zijn." Dit zorgt ervoor dat je de volledige geschiedenis proeft, niet alleen het meest populaire tijdperk.
3. De "Menselijke Rechter" (LLM-as-Judge)
Zelfs als de AI de juiste tijdperken pakt, kan het nog steeds de verkeerde soorten artikelen pakken. Het kan een droog technisch handboek pakken terwijl je juist een brief van een bezorgde burger wilde.
HistoRAG voegt een tweede controlelaag toe. Nadat de AI de artikelen heeft gepakt, haalt hij ze door een "Rechter" (een andere AI) die fungeert als een menselijke historicus. Deze Rechter leest de artikelen en vraagt: "Gaat dit echt over angst of hoop?" De Rechter geeft het artikel een score en schrijft een reden waarom.
De Analogie: Stel je een talentenjacht voor. De eerste AI is de "Casting Director" die iedereen vindt die kan zingen. De "Rechter" is de "Muziekcriticus" die luistert en beslist: "Oké, je kunt wel zingen, maar je zingt niet de emotionele ballad waar we naar op zoek zijn." De Rechter telt niet alleen de noten, maar begrijpt het gevoel van het lied.
Het Resultaat: "Zwischentexte" (Intermediaire Teksten)
Ten slotte spreekt het artikel over wat de AI daadwerkelijk schrijft. In normale systemen probeert de AI je een definitief antwoord te geven. In HistoRAG produceert de AI wat de auteurs Zwischentexte noemen.
De Analogie: Denk hier niet aan als een afgeronde roman, maar als een conceptversie of een schets. De AI zegt: "Hier is een mogelijke interpretatie van hoe mensen zich in 1964 voelden. Hier is een patroon dat ik zie. Maar ik ben slechts een hulpmiddel. Jij, de historicus, moet mijn werk controleren, de bronnen verifiëren en beslissen of mijn schets accuraat is."
Waarom dit ertoe doet
Het artikel betoogt dat we voor geschiedenis en andere interpretatieve vakgebieden niet alleen de "snelste" antwoorden willen. We hebben een systeem nodig dat:
- Niet vergeet wat er in het verleden gebeurde, simpelweg omdat de taal veranderde.
- Niet toelaat dat het meest populaire tijdperk de stillere tijdperken overstemt.
- Zijn redenering zichtbaar maakt, zodat een mens kan zeggen: "Ik ben het niet eens met die conclusie."
HistoRAG is een blauwdruk voor het bouwen van AI-tools die fungeren als bescheiden onderzoeksassistenten in plaats van alwetende orakels, waardoor de menselijke historicus degene blijft die bepaalt wat het verleden betekent.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.