💬 NLP

Cite Pretrain: Retrieval-Free Knowledge Attribution for Large Language Models

Dit paper introduceert CitePretrain, een methode die Large Language Models via een twee-staps trainingsproces met 'Active Indexing' in staat stelt om betrouwbare, verifieerbare citaten te genereren voor tijdens het pretraining gezien documenten zonder gebruik te maken van externe zoekopdrachten tijdens de inferentie.

Oorspronkelijke auteurs: Yukun Huang, Sanxing Chen, Jian Pei, Manzil Zaheer, Bhuwan Dhingra

Gepubliceerd 2026-04-07

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yukun Huang, Sanxing Chen, Jian Pei, Manzil Zaheer, Bhuwan Dhingra

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat een kunstmatige intelligentie (zoals een chatbot) een vraag beantwoordt. Vaak zegt hij: "Dit is het antwoord," maar zonder te zeggen waar hij het vandaan heeft. Soms verzonnen ze zelfs feiten, alsof ze uit hun duim zuigen. Dit noemen we "hallucineren".

Om dit op te lossen, gebruiken veel systemen nu een zoekmachine. Als de bot een vraag krijgt, zoekt hij eerst op het internet, leest hij een paar artikelen en geeft dan het antwoord met een link naar die artikelen. Dit werkt goed, maar het heeft nadelen: het is traag, het kost veel energie en als de zoekmachine een foutief artikel vindt, geeft de bot ook een foutief antwoord.

De auteurs van dit paper (CitePretrain) hebben een slimme, nieuwe manier bedacht: Ze leren de bot om de antwoorden alvast te "koppelen" aan de bronnen tijdens zijn opleiding, zodat hij ze later uit zijn eigen geheugen kan halen zonder te hoeven zoeken.

Hier is hoe ze dat doen, uitgelegd met een paar creatieve analogieën:

1. Het Probleem: De "Passieve" Student

Stel je een student voor die een dik boek leest. Aan het einde van het boek plakt de leraar een sticky note met de titel van het boek erop.

De oude methode (Passieve Indexing): De student leest het boek en ziet de sticky note. Hij onthoudt misschien de tekst, maar als je hem later vraagt: "Waar heb je dat over de witte muur gelezen?", kijkt hij verward. Hij weet dat hij het gelezen heeft, maar hij kan de link tussen de feitelijke zin en de titel van het boek niet snel maken. Hij moet dan pas gaan zoeken (zoals de zoekmachine).

2. De Oplossing: "Actieve Indexering" (Active Indexing)

De auteurs zeggen: "Laten we de student niet alleen het boek laten lezen, maar hem ook actief oefenen." Ze gebruiken een methode die ze Actieve Indexering noemen.

Ze doen dit in twee stappen, alsof ze de student twee soorten training geven:

Stap A: Van Titel naar Feit (De "Voorwaartse" Oefening)

De leraar zegt tegen de student: "Kijk naar dit boek met de titel 'De Geschiedenis van de VS'. Vertel me nu alles wat je weet over de oprichting van de VS, gebaseerd op dát specifieke boek."

Wat leert de bot hier? Hij leert dat als hij de titel "De Geschiedenis van de VS" hoort, hij de feiten uit dat specifieke boek moet ophalen. Hij koppelt de bron aan de kennis.

Stap B: Van Feit naar Titel (De "Terugwaartse" Oefening)

Dit is de echte truc. De leraar zegt: "Hier is een feit: 'Het Witte Huis werd gebouwd tussen 1792 en 1800'. Welk boek uit je bibliotheek heb je dit gelezen?"

Wat leert de bot hier? Hij moet niet alleen het antwoord geven, maar ook de bron noemen. Hij leert: "Ah, dit feit komt uit het boek 'Het Witte Huis', niet uit het boek over 'Dollar Macht'."
De kracht: Zelfs als de vraag anders wordt gesteld (bijvoorbeeld: "Wanneer werd het Witte Huis gebouwd?" in plaats van "Wie bouwde het?"), weet de bot nog steeds welk boek hij moet citeren. Hij leert de essentie van de bron te herkennen, niet alleen de exacte woorden.

3. Het Resultaat: De "Alles-wetende Bibliothecaris"

Na deze training heeft de bot een superkracht ontwikkeld:

Geen zoekmachine nodig: Hij hoeft niet meer op het internet te zoeken. Hij haalt het antwoord en de bron direct uit zijn eigen geheugen. Dit is sneller en werkt ook als er geen internet is.
Betrouwbaarder: Omdat hij getraind is om de link tussen feit en bron te maken, verzonnt hij minder vaak bronnen. Als hij een feit noemt, kan hij bijna altijd zeggen: "Dit staat in boek X."
Samenwerking: Als de bot twijfelt, kan hij nog steeds een zoekmachine gebruiken. Maar als de zoekmachine faalt (bijvoorbeeld omdat de internetverbinding slecht is), kan hij terugvallen op zijn eigen, goed getrainde geheugen.

Waarom is dit belangrijk?

Vroeger dachten we dat we AI's alleen maar moesten laten "kopiëren en plakken" van teksten om bronnen te geven. Dit paper laat zien dat we de AI's moeten leren redeneren over waar hun kennis vandaan komt.

Het is alsof je een kind niet alleen een boek geeft, maar het kind ook leert: "Als je dit weet, komt het uit dit specifieke boek. En als je dit andere weet, komt dat uit dat andere boek." Zo wordt de AI niet alleen slimmer, maar ook eerlijker en transparanter.

Kortom: De auteurs hebben een manier gevonden om AI's te trainen om hun antwoorden direct te koppelen aan hun "studieboeken", zodat ze geen zoekmachine nodig hebben om te weten waar ze het vandaan hebben. Dit maakt ze sneller, betrouwbaarder en minder afhankelijk van externe tools.

Probleemstelling

Vertrouwenswaardige taalkundige modellen (LLMs) moeten niet alleen correcte antwoorden geven, maar deze ook kunnen verifiëren door bronvermeldingen (citaties) te leveren. Huidige systemen vertrouwen vaak op externe citaties, waarbij tijdens het inferentieproces een externe retriever wordt aangeroepen om documenten op te halen. Dit introduceert echter verschillende nadelen:

Latentie en infrastructuurafhankelijkheid: Het vereist extra rekenkracht en afhankelijkheid van zoekmachines of databases.
Onbetrouwbaarheid: Externe retrieval kan ruis bevatten, verouderde informatie teruggeven of conflicteren met de parametrische kennis van het model.
Interne hallucinaties: Als modellen proberen zelf citaties te genereren zonder retrieval (interne citaties), doen ze dit vaak onbetrouwbaar met hoge hallucinatiepercentages (tot 91,4% in sommige studies).

De kernvraag van dit paper is: Kunnen LLMs worden getraind om betrouwbare citaties te genereren voor documenten die ze tijdens het pretraining hebben gezien, zonder gebruik te maken van retrieval tijdens het testen?

Methodologie

De auteurs stellen een tweestapsframework voor om interne citaties mogelijk te maken, gebaseerd op een nieuw trainingsparadigma genaamd Active Indexing.

1. CitePretrain-Bench (Benchmark)

Om dit probleem te bestuderen, hebben de auteurs een nieuwe benchmark ontwikkeld die bestaat uit:

Een gevarieerde corpus van real-world documenten (Wikipedia, Common Crawl, arXiv) en volledig nieuwe, onbekende documenten.
Taken voor zowel korte antwoorden (single fact) als lange antwoorden (multi-fact, synthese van meerdere bronnen).
Documentidentificatoren worden weergegeven als menselijk leesbare titels (in plaats van numerieke ID's), wat beter aansluit bij de taalmodellen.

2. Trainingsstrategie: Active Indexing

In tegenstelling tot eerdere werk dat alleen "Passive Indexing" gebruikte (waarbij een document-ID passief aan het einde van een tekst werd toegevoegd), introduceert Active Indexing een actief trainingsproces met synthetische data-augmentatie. Dit omvat twee richtingen:

Forward Augmentation (Source $\to$ Fact):
- Het model leert feiten op te halen op basis van een document-ID.
- Er worden synthetische vraag-antwoordparen gegenereerd waarbij een LLM vragen stelt over specifieke entiteiten in een document, met als voorwaarde dat het antwoord gebaseerd moet zijn op dat specifieke document.
- Dit versterkt de associatie tussen een ID en de feitelijke inhoud.
Backward Augmentation (Fact $\to$ Source):
- Het model leert de juiste bron-ID te voorspellen op basis van een gegenereerd feit of antwoord.
- Dit vereist cross-document redenering: het model moet informatie uit meerdere documenten synthetiseren en vervolgens de juiste bronnen attribueren.
- Dit trainingsdoel dwingt het model om te begrijpen welke feiten uit welk document komen, zelfs als de feiten worden herschreven of samengevat.

Het proces bestaat uit:

Continu Pretraining: Het model wordt getraind op de augmented data om de index (de link tussen feiten en ID's) te internaliseren.
Instruction Tuning: Het model wordt fijngefineerd om instructies te volgen waarbij het zowel het antwoord als de bijbehorende citaties moet genereren.

Kernbijdragen

CitePretrain-Bench: Een uitgebreide benchmark voor het evalueren van interne citaties, die zowel bekende als nieuwe kennis en zowel korte als lange antwoorden test.
Active Indexing: Een nieuwe trainingsmethode die synthetische data gebruikt om bidirectionele bindingen (Source-Fact en Fact-Source) te leren, in plaats van alleen passief ID's toe te voegen.
Retrieval-vrije Attributie: Het bewijs dat LLMs betrouwbare citaties kunnen genereren zonder externe zoekopdrachten, wat leidt tot lagere latentie en betere transparantie.
Complementariteit: Het inzicht dat interne en externe citaties elkaars zwakke punten opvullen (interne citaties zijn robuust bij slechte retrieval, externe bij onvolledige interne kennis).

Resultaten

De experimenten zijn uitgevoerd op modellen van Qwen-2.5 (3B, 7B en 14B parameters) en Llama-3.

Prestatieverbetering: Active Indexing presteert consequent beter dan de Passive Indexing-baseline. Er is een verbetering in citatie-precisie van maximaal 30,2% over alle taken en modellen.
- Bijvoorbeeld: Op de RepliQA-dataset steeg de citatie-precisie van 2,4% (Passive) naar 32,6% (Active) voor het Qwen-7B model.
Complementariteit van Richtingen: De combinatie van Forward en Backward augmentatie levert de beste resultaten op. Backward indexing (Fact $\to$ Source) bleek vaak sterker te zijn dan Forward alleen, maar samen zijn ze het meest effectief.
Schaalbaarheid: De prestaties blijven verbeteren naarmate de hoeveelheid augmented data toeneemt, zelfs tot 16 keer de oorspronkelijke token-aantal, zonder verzadiging te vertonen.
Modelgrootte: Grotere modellen presteren beter, maar zelfs grote proprietary modellen (zoals GPT-4.1) worstelen met interne citaties zonder deze specifieke trainingsmethode.
Hybride Systemen: Een hybride aanpak (waarbij het model eerst interne kennis gebruikt en alleen naar externe retrieval grijpt bij twijfel of onvoldoende informatie) levert de beste algehele prestaties op, ongeacht de kwaliteit van de externe retrieval.

Betekenis en Impact

Dit paper is significant omdat het een stap zet richting transparante en traceerbare AI.

Regelgeving: Het sluit aan bij de EU AI Act, die vereist dat hoog-risico systemen hun output kunnen verklaren en de bronnen kunnen traceren.
Efficiëntie: Het elimineert de noodzaak van dure en trage retrieval-systemen voor veel vragen die het model al uit zijn training kent.
Robuustheid: Het biedt een veilige back-up wanneer externe bronnen niet beschikbaar zijn, verouderd zijn of tegenstrijdige informatie bevatten.
Toekomstperspectief: Het suggereert dat het "leren van citaties" een fundamentele vaardigheid is die tijdens het pretraining moet worden ingebouwd, in plaats van als een naverwerkingsstap.

Kortom, CitePretrain bewijst dat door het actief trainen van modellen om feiten te koppelen aan hun bronnen, we betrouwbare, verifieerbare en retrieval-vrije LLMs kunnen creëren.