Epistemic Throughput: Fundamental Limits of Attention-Constrained Inference

Titel: Epistemische Doorvoer: Fundamentele Grenzen van Inference onder Beperkte Aandacht

Auteurs: Lei You (TU Denemarken, Scholar7)
Datum: Februari 2026

---

1. Probleemstelling en Achtergrond

Generatieve AI-systemen hebben de economie van informatie fundamenteel omgekeerd: de kosten voor het genereren van plausibele content zijn gedaald tot bijna nul, terwijl de kosten voor het verifiëren van de waarheid hoog blijven. Dit creëert een kritieke knelpunt in hoog-risicodomeinen (zoals wetenschappelijke ontdekking, software-leveringsketens en financiële inlichtingen), waar het doel niet engagement is, maar inference (het afleiden van de waarheid).

Het centrale probleem is Attention-Constrained Inference (ACI):

• Overvloed: Er zijn duizenden kandidaat-records (de "haystack") die goedkoop gegenereerd of opgehaald kunnen worden.
• Schaarste: Downstream-besluitvormers hebben een beperkt budget aan "aandacht" (duur, nauwkeurige verificatie) om slechts een klein subsetje ($B$) van deze records grondig te controleren.
• Doel: Hoe kan men, onder deze beperkingen, de onzekerheid over de onderliggende waarheid (de posterior) maximaliseren reduceren? De auteurs introduceren hiervoor de term Epistemische Doorvoer (epistemic throughput): de maximale reductie in posterior-onzekerheid per tijdvenster, gemeten via Bayes-log-loss.

2. Methodologie en Model

De auteurs formaliseren het probleem als een tweestapsproces binnen een "haystack-regime":

1. Screening (Brede Aandacht): Een goedkope, ruwe filter die $K$ records scant. Dit levert een ruwe score $Z$ op die correleert met de waarschijnlijkheid dat een record informatief is ($T=1$), maar geen directe informatie geeft over de feitelijke waarheid ($\Theta$). De kwaliteit van screening wordt gemeten door de wederzijdse informatie $J = I(T; Z)$.
2. Verificatie (Diepe Aandacht): Een dure, nauwkeurige audit van maximaal $B$ geselecteerde kandidaten. Als een record informatief is ($T=1$), levert verificatie waardevolle informatie $V$ op over $\Theta$ met een bijdrage $I_{ver}$.

Kernaanname: De verhouding $K/B$ (oversampling) is groot. Het systeem moet de beste $B$ kandidaten selecteren uit $K$ opties op basis van de screening-scores.

3. Belangrijkste Bijdragen

A. De "JaKoB" Schaalwet

De paper presenteert een fundamentele schaalwet voor de maximale informatie-uitwinst (gain) onder log-loss. De verwachte winst in onzekerheidsreductie wordt gegeven door:

$$\text{Gain} \approx I_{ver} \cdot B \left( p + c \sqrt{\frac{JK}{B}} \right)$$

Waarbij:

• $I_{ver}$: Informatie per geverifieerd informatief record.
• $B$: Het verificatiebudget.
• $p$: De prevalentie (basisvoorkomen) van informatieve records.
• $J$: De kwaliteit van de screening (wederzijdse informatie).
• $K$: Het aantal gescreende records.
• $c$: Een universele constante ($\le \sqrt{\ln 2 / 2}$).

Interpretatie:
De formule toont aan dat epistemische throughput bestaat uit een lineaire basis ($B \cdot p$, wat overeenkomt met willekeurige verificatie) plus een niet-lineaire versterkingsfactor van orde $\sqrt{JK/B}$. Dit betekent dat het uitbreiden van het goedkope screening-budget ($K$) de schaarse verificatiecapaciteit ($B$) niet lineair, maar kwadratisch (via de wortel) kan versterken, zelfs als informatieve records zeldzaam zijn.

B. Constructieve Bereikbaarheid

De auteurs bewijzen dat deze theoretische bovengrens niet slechts een abstracte limiet is, maar efficiënt bereikbaar is. Een eenvoudige strategie volstaat:

1. Screen alle $K$ records.
2. Rangschik ze op basis van hun Bayes-scores (de kans dat ze informatief zijn).
3. Verifieer de top-$B$.
   In een "weak-screening" regime (waar de screening slechts licht correleert met de waarheid) bereikt deze strategie exact dezelfde schaalwet als de theoretische converse.

C. De "Gaussian Trap" en Staartgedrag

Een cruciale inzicht is dat de winst van massale screening afhangt van de staartverdeling van de screening-scores:

• Lichte staarten (bijv. Gaussiaans): De versterking groeit slechts logaritmisch met $K/B$. Het uitbreiden van de screening levert snel afnemende meeropbrengst op.
• Zware staarten (bijv. Pareto): De versterking groeit polynoom met $K/B$. In dit geval is het uitbreiden van de screening enorm effectief, omdat er een kleine kans is op extreem hoge scores die bijna zeker informatief zijn.

Dit impliceert dat voor systemen met schaarse verificatie, het engineering-doel moet zijn om screening-systemen te bouwen die zware staarten genereren (d.w.z. systemen die soms "zeer sterke" signalen geven), in plaats van alleen de gemiddelde nauwkeurigheid te verbeteren.

4. Resultaten en Validatie

• Theoretische Bewijzen: De paper levert een converse-bewijs (Theorem 6) dat aantoont dat geen enkel beleid de $\sqrt{JK/B}$ schaal kan overtreffen. Tegelijkertijd wordt een achievability-bewijs (Theorem 10) gegeven voor de top-$B$ selectiestrategie.
• Simulaties: Figuren in het paper (zoals Fig. 4) tonen simulaties die de theoretische voorspellingen valideren. De empirische informatie-uitwinst volgt nauwkeurig de voorspelde curve en blijft onder de theoretische bovengrens.
• Risico-Ressource Regio: In Appendix A wordt een exact opgelost benchmark-model gepresenteerd dat de relatie tussen risico (log-loss) en resources ($K, B$) kwantificeert via de verwachte som van de top-$B$ scores.

5. Betekenis en Implicaties

De paper introduceert een nieuw paradigma: Epistemische Communicatie.

• Verschuiving van Focus: Traditionele communicatie focust op betrouwbaarheid (bits) of semantiek (betekenis). Epistemische communicatie focust op waarheid onder beperkte aandacht.
• Design Principes voor AI-systemen:
  1. Selectiviteit boven Gemiddelde: Screening moet gericht zijn op het vinden van de uitzonderlijke "hits" (zware staarten) in plaats van het verfijnen van de gemiddelde rangschikking.
  2. Oversampling als hefboom: Het vergroten van de screening-capaciteit ($K$) is zinvol alleen als het systeem in staat is om extreme waarden te onderscheiden.
  3. Herbruikbare Artefacten: Geverifieerde informatie moet als publieke artefacten worden gepubliceerd zodat de dure verificatiekosten over vele gebruikers en tijd kunnen worden gespreid.
• Toepassing: De theorie is direct toepasbaar op Retrieval-Augmented Generation (RAG), tool-using agents en fact-checking pipelines. Het suggereert dat de bottleneck niet het ophalen van informatie is, maar het intelligent toewijzen van verificatie-resources aan de meest veelbelovende signalen.

Conclusie:
Dit werk biedt een wiskundig fundament voor het begrijpen van de grenzen van informatieverwerking in een wereld van overvloedige content en schaarse aandacht. Het toont aan dat slimme selectie (via screening) een niet-lineaire versterking kan bieden, maar dat de effectiviteit hiervan fundamenteel wordt beperkt door de statistische aard (staartgedrag) van de screening-scores.