🔢 mathematics

Capability from Access Structure, Not Scale: Lower Bounds and Pre-Registered Tests for Hybrid Sequence Models

Dit artikel daagt het idee uit dat schaling alleen convergentie van capaciteit garandeert door de Capability Convergence Hypothesis voor te stellen, die stelt dat ware capaciteit een specifieke hybride architectuur vereist die een compressieve staatkanaal en een verbatim-indexkanaal combineert, een bewering die wordt ondersteund door theoretische ondergrenzen en vooraf geregistreerde experimentele resultaten.

Oorspronkelijke auteurs: Wenhui Chen, Jianlin Chen, Ziyao Lin, Chi Man Vong

Gepubliceerd 2026-07-17

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Wenhui Chen, Jianlin Chen, Ziyao Lin, Chi Man Vong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Grote AI-race: Waarom groter niet altijd beter is

Stel je voor dat je een bibliotheek bouwt om de hele geschiedenis van het universum op te slaan. Een lange tijd geloofden wetenschappers dat als je de bibliotheek maar groter maakte en de bibliothecarissen slimmer maakte, ze het uiteindelijk allemaal eens zouden worden over waar elk enkel boek thuishoorde. Dit idee, bekend als de Platonische Representatiehypothese, suggereert dat naarmate AI-modellen massaal groeien, ze allemaal op dezelfde manier gaan "denken" en convergeren naar een perfect, gedeeld begrip van de werkelijkheid. Het is zoals hoe elke mens, ongeacht taal, uiteindelijk eens wordt over het feit dat vuur heet is en water nat.

Maar er is een addertje onder het gras. Weten waar een boek op een plank staat (representatie) is iets heel anders dan daadwerkelijk naar die plank kunnen rennen, het boek kunnen pakken en een specifieke zin eruit kunnen lezen terwijl de bibliotheek in brand staat en je slechts een klein zaklampje hebt (capaciteit). In de wereld van AI is deze "zaklamp" het inferentiebudget — de strikte limiet op hoeveel geheugen en rekenkracht het model kan gebruiken voor elke vraag die het beantwoordt. De grote vraag is niet alleen: "Begrijpt het model de wereld?", maar: "Kan het daadwerkelijk het juiste antwoord vinden in een zee van informatie zonder door zijn geheugen heen te raken?" Dit is de puzzel die dit artikel aanpakt: garandeert het groter maken van een model dat het moeilijkere problemen kan oplossen, of is er een specifieke architecturale truc vereist om de klus daadwerkelijk te klaren?

De Appel in de Oneindige Stroom

Dit artikel stelt een nieuwe regel voor in de AI-wereld voor, genaamd de Capability Convergence Hypothesis (CCH) (Hypothese van Capaciteitsconvergentie). Het betoogt dat hoewel AI-modellen misschien allemaal leren de wereld op dezelfde manier te "zien" naarmate ze groter worden, ze niet noodzakelijkerwijs beter worden in het doen van dingen, tenzij ze zijn gebouwd met een specifieke tweeledige structuur.

Om dit te begrijpen, gebruiken de auteurs een gedachte-experiment genaamd "Newtons Appel in een Oneindige Stroom." Stel je een rivier voor die eeuwig blijft stromen en miljoenen stukjes papier meevoert. Ergens vlak bij het begin heeft iemand "Newton, appel, 1666" op een stukje papier geschreven. De rivier wordt vervolgens overstroomd door miljarden andere papiertjes die er heel erg op lijken (zoals "Newton, zwaartekracht, 1666" of "Appel, taart, 1666"). Jouw taak is om te wachten tot het einde van de rivier en exact dat oorspronkelijke papiertje met "Newton, appel, 1666" eruit te vissen.

Het artikel betoogt dat de meeste huidige AI-modellen lijken op twee verschillende soorten zwemmers die proberen dat papiertje te vinden:

De Compressive Zwemmer (SSM's): Deze modellen zijn als een zwemmer die een kleine, zware rugzak draagt. Ze kunnen de algemene richting van de rivier onthouden (bijv. "het is een verhaal over Newton"), maar omdat hun rugzak zo klein is, moeten ze specifieke details weggooien om ruimte te maken voor nieuw water. Tegen de tijd dat ze het einde van de rivier bereiken, zijn ze de exacte woorden "appel" en "1666" vergeten. Ze stuiten op wat de auteurs de Shannon Wall noemen: een harde limiet waarbij je simpelweg niet alle noodzakelijke details in een kleine geheugenruimte kunt passen.
De Verbatim Zwemmer (Transformers): Deze modellen zijn als een zwemmer die een enorme, drijvende bibliotheek met zich meedraagt van elk stukje papier dat hij heeft gezien. Ze kunnen de exacte woorden perfect onthouden. Echter, zij hebben een Horizon Wall: ze kunnen slechts een korte afstand terugkijken. Als de rivier te lang is, is het "Newton, appel"-papiertje al uit hun gezichtsveld gestroomd. Ze stuiten ook op een Circuit Wall: als de taak een lange keten van complexe logica vereist (zoals een puzzel stap voor stap oplossen), raakt hun vaste breingrootte vast en kunnen ze de verbanden niet leggen.

De Winnen Strategie: De Hybride Brug

De belangrijkste ontdekking van het artikel is dat je om het "Newton's Appel"-probleem op te lossen, niet alleen een grotere zwemmer nodig hebt, maar een Hybride. Dit is een model dat beide soorten zwemmers combineert in één team:

Het Idee (State Channel): Eén deel houdt een kleine, efficiënte samenvatting bij van de richting van de rivier (het "Idee"). Het onthoudt waar te kijken zonder zich te verliezen in details.
De Schaduw (Index Channel): Het andere deel houdt een enorme, doorzoekbare lijst bij van elk specifiek woord dat het heeft gezien (de "Schaduw"). Het onthoudt de exacte details.

De auteurs noemen dit de Access-Complete Hybrid. Hun experimenten laten zien dat wanneer je deze twee combineert, het model problemen kan oplossen die noch pure "Compressieve" noch pure "Verbatim" modellen kunnen oplossen, ongeacht hoe ver je ze opschaalt.

Wat de Experimenten Lieten Zien

De onderzoekers gokten niet alleen maar; ze voerden vooraf geregistreerde tests uit (wat betekent dat ze hun regels opschreven voordat ze de resultaten zagen) op kleinschalige modellen om te zien of deze theorie standhield.

De Scharenkloof (The Scissors Gap): Ze vonden een dramatisch verschil, wat ze de "schaarenkloof" noemen. Wanneer ze een pure "Compressieve" model testten op een taak met 128 verborgen feiten, faalde het bijna volledig (99,4% foutmarge). Maar toen ze slechts één laag van de "Verbatim" index aan datzelfde model toevoegden, daalde de foutmarge naar bijna nul (0,000%). Dit bewees dat het vermogen om het probleem op te lossen niet ging over het model dat "slimmer" of "groter" was, maar over het hebben van de juiste toegangsstructuur.
De Betrouwbaarheid van Training: Ze ontdekten ook dat hoewel een puur model theoretisch gezien een moeilijke puzzel zou kunnen oplossen als het tijdens de training ongelooflijk veel geluk had, het Hybride model het elke keer betrouwbaar oploste. Het is het verschil tussen een student die misschien slaagt voor een examen door te gokken, versus een student die de stof daadwerkelijk beheerst.
De Industrie-trend: Het artikel keek ook naar real-world AI-modellen die tussen 2023 en 2026 zijn uitgebracht. Ze ontdekten dat de industrie van nature naar dit Hybride ontwerp neigt. De meeste topmodellen gebruiken nu een mix van de twee benaderingen: ze houden een kleine "state" aan voor efficiëntie en een grotere "index" voor nauwkeurigheid.

Wat Dit Betekent (en Wat Het Niet Betekent)

Het artikel is zeer voorzichtig in wat het claimt. Het zegt niet dat Hybride modellen perfect zijn of dat ze elk probleem kunnen oplossen. Het sluit expliciet de gedachte uit dat "groter is beter" op zichzelf voldoende is; een puur model, hoe enorm ook, zal nog steeds tegen een muur aanlopen als het niet over de juiste toegangsstructuur beschikt.

Het geeft ook toe dat hun "Newton's Appel"-test een worst-case scenario is. In de echte wereld is natuurlijke taal misschien niet zo chaotisch als de oneindige rivier die ze simuleerden. Echter, de kernbevinding is robuust: Capaciteit is niet gratis. Je kunt niet simpelweg betere probleemoplossende vaardigheden "kopen" door meer rekenkracht in een enkel type model te pompen. In plaats daarvan moet je de mogelijkheid om complexe, langetermijnproblemen op te lossen "kopen" door een systeem te bous dat zowel een gecomprimeerd geheugen voor de richting als een gedetailleerde index voor informatieopvraging heeft.

Kortom, het artikel suggereert dat de toekomst van AI niet alleen gaat over het groter maken van modellen, maar over het bouwen ervan met de juiste tweeledige architectuur. Het "Idee" houdt het model in beweging, en de "Schaduw" zorgt ervoor dat het nooit de specifieke feiten verliest die het nodig heeft om te slagen.

Technische Samenvatting: De Capability Convergence Hypothesis (CCH)

Probleemstelling
Het artikel adresseert een kritieke kloof in het begrip van de schaling van grote taalmodellen. Terwijl de Platonic Representation Hypothesis (PRH) stelt dat heterogene modellen convergeren naar een gedeelde statistische representatie van de werkelijkheid ( $Z$ ) naarmate ze schalen, betoogt dit artikel dat representatieve convergentie niet automatisch leidt tot capability convergence (capaciteitsconvergentie). Specifiek: onder een vast budget per token tijdens inferentie kunnen modellen weliswaar convergeren in hun interne representaties, maar significant divergeren in hun vermogen om taken op te lossen die langetermijn, letterlijke extractie (verbatim retrieval) gecombineerd met seriële toestandsregistratie (state tracking) vereisen. De auteurs identificeren dat het "weten" van een feit in de representatieruimte fundamenteel verschilt van het "toegang krijgen tot" dat feit onder beperkte middelen.

Methodologie
Het artikel hanteert een gelaagde bewijsvoering die formele theorie, gedachte-experimenten en gecontroleerde empirische tests combineert:

Theoretisch Kader & Gedachte-experiment:
- Het Newton-appel Probleem: Een gedachte-experiment waarbij een model een specifieke feit (bijv. "Newton, appel, 1666") moet ophalen dat aan het begin van een stroom is geplaatst, na $10^7$ tokens aan semantische overlap-ruis.
- Drie Resource Walls (Middelenmuren): De auteurs definiëren drie theoretische barrières die pure architecturen verhinderen dit probleem op te lossen onder vaste budgetten:
  - Shannon Wall (Onvoorwaardelijk): Pure compressieve modellen (bijv. SSMs) hebben een $O(1)$ toestandscapaciteit. Informatietheorie (Data Processing Inequality) dicteert dat zij niet $O(Nb)$ bits aan onafhankelijke bindingen kunnen opslaan, wat leidt tot een harde foutenondergrens.
  - Horizon Wall (Onvoorwaardelijk): Pure attention-modellen met een vaste context window verliezen toegang tot tokens buiten dat venster, waardoor ze falen in exacte extractie bij lange stromen.
  - Circuit Wall (Voorwaardelijk op $TC_0 \neq NC_1$ ): Modellen met een vaste diepte van enkel attention-lagen kunnen geen seriële compositie van toestand-updates (bijv. $S_5$ groep-acties) uitvoeren die vereist zijn voor complexe redeneerketens.
- De Access-Complete Hybrid: De voorgestelde oplossing is een architectuur die zowel een compressieve toestand-kanaal (voor $O(1)$ seriële compositie) als een verbatim index-kanaal (voor $\Theta(L)$ exacte extractie) bezit.
Formele Bewijzen:
- Het artikel stelt informatie-theoretische ondergrenzen vast die bewijzen dat elke architectuur met $o(Nb)$ query-tijd toestand faalt bij exacte extractie van hoog-entropische, onafhankelijke bindingen.
- Het definieert Capability Closure ( $C_\infty$ ) om formeel aan te tonen dat de verzameling oplosbare taken voor een hybride strikt groter is dan de unie van pure families ( $C_\infty(T \sqcup S) \supsetneq C_\infty(T) \cup C_\infty(S)$ ).
Empirisch Bewijs:
- Census Analyse: Een survey van 140 uitgebrachte architecturen (2023–2026) die een convergentie laten zien naar "access-complete" ontwerpen met een specifiek aandeel globale aandacht ( $\rho$ ) in de range $[1/12, 1/4]$ .
- Pre-geregistreerde Kleinschalige Tests: Gecontroleerde experimenten (0.2M–1.1M parameters) die specifieke voorspellingen (P1–P3) testen onder een bevroren protocol. Deze tests isoleren architectuur van schaal en data.

Belangrijkste Bijdragen

De Capability Convergence Hypothesis (CCH): Een formele hypothese die stelt dat onder vaste inferentie-budgetten, capaciteit niet convergeert naar één enkele architectuur, maar naar de access-complete klasse—elke combinatie van een compressief toestand-kanaal en een schaalbaar verbatim index-kanaal.
De "Scissors Gap" en de Informatie-ondergrens: Het artikel biedt de eerste pre-geregistreerde meting van een "scissors gap": pure-state modellen raken een hoge foutenondergrens bepaald door informatie-theoretische limieten, terwijl hybriden (met dezelfde toestand plus een index) een fout van bijna nul bereiken.
Formele Scheiding van Representatie en Capaciteit: De auteurs demonstreren dat representatieve uitlijning (PRH) niet de capaciteit voorspelt. In experimenten met gelijke schaal vertoonden modellen met een hoge representatieve uitlijning (CKA) divergerende extractie-capaciteiten op basis van enkel hun toegangstructuur.
Bewijs van Super-additiviteit: Het artikel bewijst dat de combinatie van een toestand-kanaal en een index-kanaal een capaciteit creëert die strikt groter is dan de som der delen, specifiek voor taken die zowel seriële compositie als exacte extractie vereisen.

Resultaten

Theoretisch: De drie muren (Shannon, Horizon, Circuit) worden gevestigd als onvoorwaardelijke of voorwaardelijke barrières voor pure families. De hybride architectuur wordt getoond deze muren te doorbreken door de "prijs te betalen" van een index-kanaal in plaats van de grenzen te ontwijken.
Census (R1–R4): Industriegegevens tonen een consistente trend naar hybride architecturen met een aandeel globale aandacht ( $\rho$ ) die clusteren rond 0.167 (mediaan), wat wijst op een economisch en capaciteit-gedreven convergentie naar de access-complete klasse.
Experimenteel (P1–P3):
- P1 (Scissors Gap): Ondersteund. Pure SSMs bereikten de informatie-ondergrens (fout $\approx 0.994$ ), terwijl hybriden met dezelfde toestand plus één globale attention-laag een fout van $\approx 0.000$ bereikten.
- P2 (Bifurcatie): Gedeeltelijk ondersteund. Hybriden met voldoende toestand-expressiviteit (bijv. $\beta \in (0,2)$ ) losten $S_5$ tracking op, terwijl minder expressieve varianten faalden. Echter, betrouwbare trainbaarheid op de grens bleek afhankelijk van de seed.
- P3 (Channel Commensurability): Gefaald. De voorspelling dat het oplossen van hybriden een hogere cross-kanaal uitlijning zou vertonen dan falende modellen, werd omgekeerd; oplossende hybriden vertoonden juist een lagere uitlijning, wat duidt op kanaal-differentiatie in plaats van convergentie.
- Conjunction Witness: De hybride slaagde voor een samengestelde taak (adres-compositie + extractie) op alle seeds, terwijl geen enkele andere pure architectuur aan het criterium voldeed. Eén pure-recurrence seed loste het wel op, wat aangeeft dat de scheiding momenteel een kwestie is van trainingsbetrouwbaarheid in plaats van existentie op deze schaal.

Betekenis en Claims

Het artikel claimt een nieuwe grens te hebben vastgesteld voor het begrijpen van model-schaling: capaciteit wordt gekocht door de toegangsstructuur, niet gratis verkregen door schaal.

Beperkte Omvang: De auteurs benadrukken expliciet dat zij niet beweren hybride architecturen te hebben uitgevonden of bewezen dat natuurlijke corpora voldoen aan de noodzakelijke scheidingsvoorwaarden. De "witness" is een worst-case constructie; de claim is dat toegangsstructuur beslissend kan zijn, niet dat het beslissend is voor alle natuurlijke workloads.
Falsifieerbaarheid: Het artikel positioneert CCH als een falsifieerbare hypothese. De kernclaims (access-completeness principe) worden ondersteund door ondergrenzen en pre-geregistreerde experimenten. Het "convergentie"-aspect wordt geframed als een economisch gemotiveerde conjectuur, ondersteund door consistentie (census data) in plaats van directe demonstratie.
Implicaties: De auteurs stellen dat toekomstige benchmarking en modelontwerp de toegangsstructuur (access structure) als een primaire variabele moeten behandelen. Zij suggereren dat de industrie convergeert naar een specifiek ontwerppatroon (de access-complete hybride) omdat dit de enige manier is om te voldoen aan de dubbele eisen van langetermijn-redeneren en exacte extractie onder vaste inferentie-budgetten.