Technische Samenvatting: ReadingMachine

1. Het Probleem: De Leesbottleneck

Moderne instituties genereren geschreven materiaal op een schaal die de menselijke capaciteit voor uitgebreid lezen, interpreteren en synthetiseren overstijgt. Hoewel toegang tot informatie niet langer de beperkende factor is, is het systematisch betrekken van grote corpora dat wel. Bestaande computationele benaderingen slagen er niet in dit structurele on evenwicht op te lossen:

• Retrieval-Augmented Generation (RAG): Werkt door subsets van een corpus te selecteren op basis van queries. Dit introduceert "stille omissie", waarbij niet-opgehaald materiaal nooit wordt geanalyseerd, en het systeem geen zicht heeft op wat is uitgesloten.
• Hiërarchische Samenvatting: Comprimeert informatie vroeg in de pijplijn (document $\to$ samenvatting $\to$ samenvatting). Dit leidt tot vroegtijdig informatieverlies, het gladstrijken van meningsverschillen en het weggooien van minderheids- of laagfrequente claims.
• Agentic Research Workflows: Afhankelijk van iteratieve zoekopdrachten en verfijning, maar blijven ze padafhankelijk. Kleine variaties in prompts of trajecten leiden tot verschillende resultaten, waarbij omissies impliciet blijven en moeilijk te detecteren zijn.

Het resultaat is een kloof tussen beschikbare kennis en systematisch begrepen kennis, wat systematisch risico introduceert in hoog-risico domeinen zoals beleid, recht en onderzoek. Huidige Large Language Model (LLM) toepassingen zijn geoptimaliseerd voor het genereren van antwoorden op basis van selectief geacceseerde materie, niet voor het systematisch lezen en organiseren van de volledige structuur van een corpus.

2. Methodologie: Gestructureerde Corpus-lezing

ReadingMachine herformuleert LLM's niet louter als antwoordgeneratoren, maar als systemen die in staat zijn tot het uitvoeren van begrensde leesoperaties. Het kernontwerpprincipe is de scheiding van lezen en interpretatie. Het systeem deelt grootschalige corpusanalyse op in een sequentie van gecontroleerde, inspecteerbare transformaties, waarbij oordeel en synthese worden uitgesteld naar latere stadia.

De Pijplijn Architectuur

De workflow verloopt als volgt:

1. Ingestie & Chunking: Documenten worden ingevoerd en opgedeeld in semantische chunks (~3500 tekens) met behulp van een greedy strategie die prioriteit geeft aan paragraaf-/zin-grenzen.
2. Inzichtextractie:
   • Chunk-niveau: Modellen extraheren atomaire claims, argumenten of bevindingen die relevant zijn voor door de gebruiker gedefinieerde onderzoeksvragen.
   • Document-niveau (Meta-inzichten): Een tweede passage verwerkt volledige documenten om hogere-orde argumenten te identificeren die meerdere secties beslaan, waarbij deze worden onderscheiden van gelokaliseerde chunk-inzichten.
3. Clustering (Scaffolding): Inzichten worden gevectoriseerd, gereduceerd via UMAP en geclusterd met behulp van HDBSCAN. Cruciaal is dat clustering wordt gebruikt als semantische scaffolding om de inzichtruimte te organiseren, niet als de determinant van de uiteindelijke thema's.
4. Themageneratie:
   • Cluster-samenvattingen worden gegenereerd in een volgorde die wordt bepaald door de kortste-padafstand in de embedding-ruimte.
   • Een taalmodel genereert een Thema-schema (labels, beschrijvingen en toewijzingsregels) op basis van deze samenvattingen.
   • Het schema bevat een Overig categorie voor minderheidsinzichten en een Conflicten categorie om incompatibele claims expliciet te bewaren, wat de neiging van het model om meningsverschillen glad te strijken tegengaat.
5. Thema-mapping & Populatie: Inzichten worden toegewezen aan de gegenereerde thema's. Synthese vindt plaats op thema-niveau, opererend op gestructureerde inzichtsets in plaats van ruwe documenten.
6. Orphan Handling (Dekking afdwingen): Dit is een kritieke mechanisme voor zelfcorrectie. Het systeem vergelijkt toegewezen inzichten met de gegenereerde thema-samenvatting. Elk inzicht dat aan een thema is toegewezen maar niet substantieel wordt gerepresenteerd in de samenvatting, wordt gemarkeerd als een "orphan" (weeskind). Deze worden expliciet opnieuw ingevoegd, en de thema-samenvatting wordt herschreven.
7. Iteratieve Verfijning: Het schema wordt geregenereerd op basis van de bijgewerkte samenvattingen. De loop (Schema $\to$ Mapping $\to$ Orphan Handling) herhaalt zich totdat het schema stabiliseert.
8. Redundantie & Rendering: Optionele passes verminderen herhaling en passen stilistische herschrijvingen toe voor leesbaarheid, gevolgd door de uiteindelijke outputgeneratie (PDF/Markdown/Word).

Schaalbare Aanpassingen

Om binnen eindige contextvensters te opereren, maakt het systeem specifieke adaptaties:

• Density-Seeded Partitioning: Als een cluster het contextlimiet overschrijdt, wordt deze onderverdeeld in kleinere, semantisch coherente partities met behulp van HDBSCAN-seeds.
• Sampling & Batching: Als een thema te veel inzichten ontvangt, worden deze gesampled of in batches verwerkt.
• Orphan Batching: Reinsertie van orphans gebeurt in batches om output-truncatie te voorkomen.
• Diagnostische Foutafhandeling: Als de reinsertie van orphans faalt door output-limieten, behandelt het systeem dit als een signaal van conceptuele heterogeniteit, wat leidt tot schema-splitting in plaats van eenvoudige truncatie.

3. Belangrijkste Bijdragen

Het paper identificeert vier primaire bijdragen:

1. Methodologische Inkadering: Introduceert "gestructureerde corpus-lezing" als een onderscheidende modus van kennisproductie, waarbij prioriteit wordt gegeven aan dekking, traceerbaarheid en het bewaren van meningsverschillen boven snelle antwoordgeneratie.
2. Open-Source Implementatie: Publiceert ReadingMachine als een experimenteel framework (GitHub) dat deze aanpak operationaliseert.
3. Grootschalige Demonstratie: Past het systeem toe op een heterogeen corpus van 152 documenten over industrieel beleid, wat meer dan 17.500 atomaire inzichten en een gestructureerde thematische kaart oplevert.
4. Foutmodus-analyse: Identificeert en adresseert specifieke schaalbeperkingen, waaronder "orphan persistence", "context-pressure effects" en "late-stage reinflation" (de noodzaak om gecomprimeerd materiaal opnieuw te introduceren).

4. Resultaten en Observaties

Het systeem werd geëvalueerd tijdens een enkele grootschalige run met betrekking tot de literatuur over industrieel beleid.

• Output-kenmerken: De output is aanzienlijk langer en dichter dan conventionele AI-samenvattingen, en vertoont gelijkenissen met een academische literatuurreview. Het behoudt granulaire claims, specifieke mechanismen en condities in plaats van te vervallen in abstracte generalisaties op hoog niveau.
• Dekking & Traceerbaarheid: Het systeem slaagde erin het corpus in kaart te brengen, waarbij specifieke claims werden bewaard en conflicten expliciet werden gerepresenteerd. Er werden geen evidente hallucinaties geïdentificeerd tijdens interne review.
• Iteratieve Stabiliteit: Het thema-schema stabiliseerde na 5 iteraties. Het aantal "failing themes" (thema's die niet in staat waren alle toegewezen inzichten te accommoderen) daalde van 4 naar 0 over de runs heen.
• Kosten & Tijd: De volledige pijplijn nam ~14 uur in beslag en kostte ~$300. Dit vertegenwoordigt een reductie van één tot twee grootheden vergeleken met menselijke reviews voor vergelijkbare corpusgroottes.
• Geobserveerde Foutmodi:
  • Hoog Volume Meta-Inzichten: De meta-insight pass was computationeel duur en produceerde aanzienlijke redundantie, wat suggereert dat prompt-tuning vereist is.
  • Hoge Orphan Counts: De aantallen orphans bleven hoog, wat aangeeft dat synthese claims vaak tot een mate abstraheert waarbij ze niet langer "substantieel gerepresenteerd" worden in de samenvatting, wat reinflatie vereist.
  • Citation Drift: Ongeveer 1/3 van de citaties werd gedropt tijdens de synthese. Een "citation repair" mechanisme werd geïmplementeerd om dit te mitigeren, hoewel dit een uitdaging blijft.

5. Betekenis en Claims

Het paper positioneert ReadingMachine als een complementaire benadering van bestaande AI-tools, niet als een vervanging. De betekenis ligt in:

• Verschuiving van de Bottleneck: Het verplaatst de beperking in kenniswerk van informatieverwerving/lezen naar interpretatie en besluitvorming.
• Externe Audit: Het systeem fungeert als een externe audit-architectuur voor iteratieve LLM-synthese. Het demonstreert dat onbeperkte LLM-synthese van nature geen dekking, herkomst of structurele getrouwheid conserveert; deze eigenschappen moeten worden afgedwongen door externe mechanismen (orphan tracking, schema repair, citation verification).
• Scheiding van Lezen en Redeneren: Door de extractie/organisatie van claims (lezen) te ontkoppelen van de evaluatie/conclusie (redeneren), vergroot het systeem de transparantie. Het produceert een gestructureerde representatie van wat het corpus bevat in plaats van een enkel gesynthetiseerd argument van wat het betekent.
• Epistemische Objectiviteit: De intermediaire representaties (inzichten, clusters, thema's) dienen als expliciete epistemische objecten die geïnspecteerd, vergeleken en uitgedaagd kunnen worden, wat een meer doelbewuste toepassing van redeneren mogelijk maakt.

De auteurs stellen expliciet dat deze resultaten een demonstratie van systeemgedrag op schaal zijn en geen formeel gevalideerde prestatiebeoordeling. Formele vergelijkende evaluatie tegenover RAG of menselijke review blijft toekomstig werk. Het systeem wordt gepresenteerd als een experimenteel framework bedoeld om systematische kwalitatieve synthese en downstream, expliciet gecontroleerd redeneren te ondersteunen.