🔢 mathematics

Capability from Access Structure, Not Scale: Lower Bounds and Pre-Registered Tests for Hybrid Sequence Models

Diese Arbeit stellt die Vorstellung infrage, dass Skalierung allein die Konvergenz der Fähigkeiten garantiert, indem sie die Hypothese der Fähigkeitskonvergenz vorschlägt, die argumentiert, dass wahre Fähigkeit eine spezifische Hybridarchitektur erfordert, die einen kompressiven Zustandskanal und einen Verbatim-Index-Kanal kombiniert, ein Anspruch, der durch theoretische untere Schranken und vorregistrierte experimentelle Ergebnisse gestützt wird.

Ursprüngliche Autoren: Wenhui Chen, Jianlin Chen, Ziyao Lin, Chi Man Vong

Veröffentlicht 2026-07-17

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Wenhui Chen, Jianlin Chen, Ziyao Lin, Chi Man Vong

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große KI-Rennen: Warum größer nicht immer besser ist

Stellen Sie sich vor, Sie bauen eine Bibliothek, um die gesamte Geschichte des Universums zu speichern. Lange Zeit glaubten Wissenschaftler, dass man einfach die Bibliothek größer und die Bibliothekare klüger machen müsste, damit sie sich schließlich alle darauf einigen würden, wo genau jedes einzelne Buch hingehört. Diese Idee, bekannt als die Platonische Repräsentationshypothese, besagt, dass KI-Modelle, wenn sie massiv wachsen, alle beginnen, auf die gleiche Weise zu „denken“ und zu einem perfekten, gemeinsamen Verständnis der Realität konvergieren. Es ist wie bei Menschen, die unabhängig von ihrer Sprache letztlich alle übereinstimmen, dass Feuer heiß und Wasser nass ist.

Aber es gibt einen Haken. Zu wissen, wo ein Buch in einem Regal steht (Repräsentation), ist etwas völlig anderes, als tatsächlich zu dem Regal laufen, das Buch greifen und einen spezifischen Satz daraus lesen zu können, während die Bibliothek brennt und man nur eine winzige Taschenlampe besitzt (Fähigkeit). In der Welt der KI ist diese „Taschenlampe“ das Inferenz-Budget – das strikte Limit für den Arbeitsspeicher und die Rechenleistung, die das Modell für jede einzelne Frage verwenden kann. Die große Frage ist nicht nur: „Kann das Modell die Welt verstehen?“, sondern: „Kann es tatsächlich die richtige Antwort in einem Meer von Informationen finden, ohne dass der Speicher ausgeht?“ Dies ist das Rätsel, das dieses Paper angeht: Garantiert es, dass ein größeres Modell schwierigere Probleme lösen kann, oder ist ein spezieller architektonischer Trick erforderlich, um die Aufgabe tatsächlich zu bewältigen?

Der Apfel im unendlichen Strom

Dieses Paper schlägt eine neue Regel für die Welt der KI vor, die Capability Convergence Hypothesis (CCH). Es argumenttiert, dass KI-Modelle zwar alle lernen könnten, die Welt auf die gleiche Weise zu „sehen“, wenn sie größer werden, sie aber nicht zwangsläufig besser darin werden, Dinge zu tun, es sei denn, sie sind mit einer spezifischen zweiteiligen Struktur gebaut.

Um dies zu verdeutlichen, nutzen die Autoren ein Gedankenexperiment namens „Newtons Apfel in einem unendlichen Strom“. Stellen Sie sich einen Fluss vor, der ewig fließt und Millionen von Papierstücken mit sich führt. Irgendwo am Anfang schreibt jemand „Newton, Apfel, 1666“ auf ein Stück Papier. Der Fluss wird dann überflutet von Milliarden anderer Papiere, die sehr ähnlich aussehen und klingen (wie „Newton, Gravitation, 1666“ oder „Apfel, Kuchen, 1666“). Ihre Aufgabe ist es, am Ende des Flusses zu warten und genau das ursprüngliche „Newton, Apfel, 1666“-Papier herauszuziehen.

Das Paper argumentt, dass die meisten aktuellen KI-Modelle wie zwei verschiedene Arten von Schwimmern sind, die versuchen, dieses Papier zu finden:

Der komprimierende Schwimmer (SSMs): Diese Modelle sind wie ein Schwimmer, der einen winzigen, schweren Rucksack trägt. Sie können sich an die allgemeine Richtung des Flusses erinnern (z. B. „es ist eine Geschichte über Newton“), aber weil ihr Rucksack so klein ist, müssen sie spezifische Details wegwerfen, um Platz für neues Wasser zu schaffen. Bis sie das Ende des Flusses erreichen, haben sie die exakten Worte „Apfel“ und „1666“ vergessen. Sie stoßen auf das, was die Autoren die Shannon-Wand nennen: eine harte Grenze, an der man einfach nicht alle notwendigen Details in einen kleinen Speicher passen kann.
Der verbatim Schwimmende (Transformer): Diese Modelle sind wie ein Schwimmer, der eine riesige, schwebende Bibliothek jedes einzelnen Papiers trägt, das er je gesehen hat. Sie können die exakten Worte perfekt erinnern. Sie haben jedoch eine Horizont-Wand: Sie können nur eine kurze Distanz zurückblicken. Wenn der Fluss zu lang ist, ist das „Newton, Apfel“-Papier bereits aus ihrem Sichtfeld geschwommen. Sie stoßen auch auf eine Schaltkreis-Wand: Wenn die Aufgabe eine lange Kette komplexer Logik erfordert (wie das Lösen eines Puzzles Schritt für Schritt), bleibt ihr fest definiertes Gehirn stecken und kann die Verbindungen nicht herstellen.

Die Gewinnstrategie: Die hybride Brücke

Die Hauptentdeckung des Papers ist, dass man zur Lösung des „Newton-Apfel“-Problems nicht nur einen größeren Schwimmer braucht, sondern einen Hybriden. Dies ist ein Modell, das beide Arten von Schwimmern in einem Team kombiniert:

Die Idee (State Channel): Ein Teil behält eine winzige, effiziente Zusammenfassung der Flussrichtung (die „Idee“). Er erinnert sich daran, wohin zu schauen ist, ohne sich in Details zu verlieren.
Der Schatten (Index Channel): Der andere Teil behält eine massive, durchsuchbare Liste jedes einzelnen Wortes, das er gesehen hat (den „Schatten“). Er erinnert sich an die exakten Details.

Die Autoren nennen dies den Access-Complete Hybrid. Ihre Experimente zeigen, dass man durch die Kombination dieser beiden Typen Probleme lösen kann, die weder reine „komprimierende“ noch reine „verbatim“ Modelle lösen können, egal wie sehr man sie skaliert.

Was die Experimente zeigten

Die Forscher haben nicht nur geraten; sie führten vorregistrierte Tests durch (das heißt, sie legten ihre Regeln fest, bevor sie die Ergebnisse sahen), um zu prüfen, ob diese Theorie standhält.

Die Scheren-Lücke (Scissors Gap): Sie fanden einen dramatischen Unterschied, den sie als „Scheren-Lücke“ bezeichnen. Als sie ein reines „komprimierendes“ Modell bei einer Aufgabe mit 128 verborgenen Fakten testeten, versagte es fast vollständig (99,4 % Fehlerquote). Doch als sie demselben Modell nur eine einzige Schicht des „verbatim“ Index hinzufügten, sank der Fehler auf nahezu Null (0,000 %). Dies bewies, dass die Fähigkeit, das Problem zu lösen, nicht davon abhing, ob das Modell „schlauer“ oder „größer“ war, sondern davon, dass es über die richtige Zugriffsstruktur verfügte.
Die Trainingszuverlässigkeit: Sie fanden auch heraus, dass ein reines Modell ein schwieriges Rätsel theoretisch lösen könnte, wenn es beim Training unglaublich viel Glück hätte, das Hybrid-Modell es jedoch jedes Mal zuverlässig löste. Es ist der Unterschied zwischen einem Studenten, der eine Prüfung bestehen könnte, wenn er richtig rät, und einem Studenten, der das Material tatsächlich beherrscht.
Der Branchentrend: Das Paper untersuchte auch reale KI-Modelle, die zwischen 2023 und 2026 veröffentlicht wurden. Es stellte fest, dass die Branche sich natürlich in Richtung dieses Hybrid-Designs bewegt. Die meisten Top-Modelle verwenden nun eine Mischung aus beiden Ansätzen, wobei sie einen kleinen „Zustand“ (State) für die Effizienz und einen größeren „Index“ für die Genauigkeit beibehalten.

Was dies bedeutet (und was es nicht bedeutet)

Das Paper ist sehr vorsichtig mit seinen Behauptungen. Es sagt nicht, dass Hybrid-Modelle perfekt sind oder dass sie jedes Problem lösen können. Es schließt explizit die Idee aus, dass „größer besser ist“ an sich; ein reines Modell wird, egal wie riesig es ist, immer gegen eine Wand stoßen, wenn ihm die richtige Zugriffsstruktur fehlt.

Es räumt auch ein, dass ihr „Newton-Apfel“-Test ein Worst-Case-Szenario ist. Im wirklichen Leben ist natürliche Sprache vielleicht nicht so chaotisch wie der simulierte unendliche Fluss. Die Kernbotschaft ist jedoch robust: Fähigkeit ist nicht kostenlos. Man kann die Problemlösungskompetenz nicht einfach kaufen, indem man mehr Rechenleistung auf ein Modell eines einzigen Typs wirft. Stattdessen muss man die Fähigkeit, komplexe, langfristige Probleme zu lösen, „erwerben“, indem man ein System baut, das sowohl einen komprimierten Speicher für die Richtung als auch einen detaillierten Index für den Abruf besitzt.

Kurz gesagt legt das Paper nahe, dass die Zukunft der KI nicht nur darin besteht, Modelle größer zu machen, sondern sie mit der richtigen Zwei-Kanal-Architektur zu bauen. Die „Idee“ hält das Modell in Bewegung, und der „Schatten“ stellt sicher, dass es die spezifischen Fakten, die es zum Erfolg braucht, niemals verliert.

Technisches Resümee: Die Capability Convergence Hypothesis (CCH)

Problemstellung
Das Paper adressiert eine kritische Lücke im Verständnis der Skalierung großer Sprachmodelle. Während die Platonic Representation Hypothesis (PRH) postuliert, dass heterogene Modelle gegen eine gemeinsame statistische Repräsentation der Realität ( $Z$ ) konvergieren, wenn sie skalieren, argumentiert dieses Paper, dass die konvergente Repräsentation nicht automatisch eine Konvergenz der Fähigkeiten (Capability Convergence) impliziert. Speziell unter einem festen pro-Token-Inferenzbudget können Modelle zwar in ihren internen Repräsentationen übereinstimmen, sich jedoch signifikant in ihrer Fähigkeit unterscheiden, Aufgaben zu lösen, die eine weitreichende, wortgetreue Abfrage (Verbatim Retrieval) in Kombination mit serieller Zustandsverfolgung erfordern. Die Autoren identifizieren, dass das „Wissen“ eines Faktums im Repräsentationsraum von der „Zugänglichkeit“ desselben unter Ressourcenbeschränkungen verschieden ist.

Methodik
Das Paper verwendet einen mehrschichtigen evidenzbasierten Ansatz, der formale Theorie, Gedankenexperimente und kontrollierte empirische Tests kombiniert:

Theoretischer Rahmen & Gedankenexperiment:
- Das Newton-Apfel-Problem: Ein Gedankenexperiment, bei dem ein Modell einen spezifischen Fakt (z. B. „Newton, Apfel, 1666“) abrufen muss, der am Anfang eines Datenstroms nach $10^7$ Token an semantischem Überlappungsrauschen platziert wurde.
- Drei Ressourcenwände: Die Autoren definieren drei theoretische Barrieren, die reine Architekturen daran hindern, dieses Problem unter festen Budgets zu lösen:
  - Shannon-Wand (Unbedingt): Reine kompressive Modelle (z. B. SSMs) haben eine Zustandskapazität von $O(1)$ . Die Informationstheorie (Data Processing Inequality) besagt, dass sie nicht in der Lage sind, $O(Nb)$ Bits unabhängiger Bindungen zu speichern, was zu einer harten Fehlerschranke führt.
  - Horizont-Wand (Unbedingt): Reine Attention-Modelle mit festen Fenstern verlieren den Zugriff auf Tokens außerhalb des Fensters, wodurch sie die exakte Abfrage in langen Strömen verhindern.
  - Schaltkreis-Wand (Bedingt auf $TC_0 \neq NC_1$ ): Stacks mit fester Tiefe, die nur auf Attention basieren, können keine serielle Komposition von Zustandsaktualisierungen (z. B. $S_5$ -Gruppenoperationen) durchführen, die für komplexe Reasoning-Ketten erforderlich sind.
- Der Access-Complete Hybrid: Die vorgeschlagene Lösung ist eine Architektur, die sowohl einen kompressiven Zustandskanal (für $O(1)$ serielle Komposition) als auch einen wortgetreuen Indexkanal (für $\Theta(L)$ exakte Abfrage) besitzt.
Formale Beweise:
- Das Paper etabliert informationstheoretische Untergrenzen, die beweisen, dass jede Architektur mit $o(Nb)$ Query-Zeit-Zustand bei der exakten Abfrage von hochentropischen, unabhängigen Bindungen scheitert.
- Es definiert Capability Closure ( $C_\infty$ ), um formal zu demonstrieren, dass die Menge der lösbaren Aufgaben für einen Hybrid die Vereinigung reiner Familien strikt übersteigt ( $C_\infty(T \sqcup S) \supsetneq C_\infty(T) \cup C_\infty(S)$ ).
Empirische Evidenz:
- Census-Analyse: Eine Untersuchung von 140 veröffentlichten Architekturen (2023–2026), die eine Konvergenz hin zu „access-complete“ Designs mit einem spezifischen Global-Attention-Anteil ( $\rho$ ) im Bereich $[1/12, 1/4]$ zeigt.
- Prä-registrierte Kleinskalentests: Kontrollierte Experimente (0,2M–1,1M Parameter), die spezifische Vorhersagen (P1–P3) unter einem eingefrorenen Protokoll testen. Diese Tests isolieren die Architektur von Skala und Daten.

Zentrale Beiträge

Die Capability Convergence Hypothesis (CCH): Eine formale Hypothese, die besagt, dass unter festen Inferenzbudgets die Fähigkeit nicht zu einer einzelnen Architektur konvergiert, sondern zur access-complete Klasse – jeder Kombination aus einem kompressiven Zustandskanal und einem skalierbaren Wortgetreue-Indexkanal.
Die „Scissors Gap“ und der Informationsboden: Das Paper liefert die erste prä-registrierte Messung einer „Scissors Gap“: Reine Zustandsmodelle treffen auf einen durch informationstheoretische Limits bestimmten hohen Fehlerschwellenwert, während Hybride (mit demselben Zustand plus einem Index) einen Fehler von nahezu Null erreichen.
Formale Trennung von Repräsentation und Fähigkeit: Die Autoren zeigen, dass die Repräsentations-Ausrichtung (PRH) die Fähigkeit nicht vorhersagt. In Modellen mit vergleichbarer Skala zeigten Modelle mit hoher repräsentativer Ausrichtung (CKA) divergente Abfragefähigkeiten, basierend allein auf ihrer Zugriffsstruktur.
Existenzbeweis der Super-Additivität: Das Paper beweist, dass die Kombination eines Zustandskanals und eines Indexkanals eine Fähigkeit schafft, die strikt größer ist als die Summe ihrer Teile, insbesondere für Aufgaben, die sowohl serielle Komposition als auch exakte Abfrage erfordern.

Ergebnisse

Theoretisch: Die drei Wände (Shannon, Horizont, Schaltkreis) werden als unbedingte oder bedingte Barrieren für reine Familien etabliert. Die Hybrid-Architektur wird gezeigt, dass sie diese Wände überwindet, indem sie den „Preis“ eines Indexkanals zahlt, anstatt die Grenzen zu umgehen.
Census (R1–R4): Industriedaten zeigen einen konsistenten Trend hin zu Hybrid-Architekturen mit einem Global-Attention-Anteil ( $\rho$ ), der um 0,167 clustert, was auf eine ökonomisch und fähigkeitsgetriebene Konvergenz zur access-complete Klasse hindeutet.
Experimentell (P1–P3):
- P1 (Scissors Gap): Bestätigt. Reine SSMs treffen auf den Informationsboden (Fehler $\approx 0,994$ ), während Hybride mit demselben Zustand plus einer Global-Attention-Schicht einen Fehler von $\approx 0,000$ erreichten.
- P2 (Bifurkation): Teilweise bestätigt. Hybride mit ausreichender Zustands-Expressivität (z. B. $\beta \in (0,2)$ ) lösten $S_5$ -Tracking, während weniger expressive Varianten scheiterten. Die zuverlässige Trainierbarkeit an der Grenze war jedoch seed-abhängig.
- P3 (Channel Commensurability): Nicht bestätigt. Die Vorhersage, dass das Lösen von Hybriden eine höhere Cross-Channel-Ausrichtung zeigen würde als das Scheitern, war umgekehrt; lösende Hybride zeigten eine geringere Ausrichtung, was auf Kanaldifferenzierung statt Konvergenz hindeutet.
- Conjunction Witness: Der Hybrid bestand eine zusammengesetzte Aufgabe (Adress-Komposition + Abfrage) bei allen Seeds, während keine andere reine Architektur das Kriterium erfüllte. Ein reiner Rekurrenz-Seed löste es ebenfalls, was darauf hindeutet, dass die Trennung auf dieser Skala eher eine Frage der Trainierbarkeit als der Existenz ist.

Bedeutung und Ansprüche

Das Paper behauptet, eine neue Grenze für das Verständnis der Modellskalierung etabliert zu haben: Fähigkeit wird durch die Zugriffsstruktur „gekauft“, nicht kostenlos durch Skalierung gegeben.

Moderater Umfang: Die Autoren betonen explizit, dass sie nicht beanspruchen, Hybrid-Architekturen erfunden zu haben oder bewiesen zu haben, dass natürliche Korpora die notwendigen Separabilitätsannahmen erfüllen. Der „Witness“ ist eine Worst-Case-Konstruktion; die Behauptung ist, dass die Zugriffsstruktur entscheidend sein kann, nicht dass sie für alle natürlichen Arbeitslasten entscheidend ist.
Falsifizierbarkeit: Das Paper positioniert die CCH als falsifizierbare Hypothese. Die Kernbehauptungen (Access-Completeness-Prinzip) werden durch Untergrenzen und prä-registrierte Experimente gestützt. Der Aspekt der „Konvergenz“ wird als ein durch die Ökonomie motiviertes Postulat gerahmt, das durch Konsistenz (Census-Daten) gestützt wird, anstatt durch direkte Demonstration.
Implikationen: Die Autoren argumentieren, dass zukünftiges Benchmarking und Modelldesign die Zugriffsstruktur als primäre Variable behandeln müssen. Sie schlagen vor, dass die Industrie zu einem spezifischen Designmuster konvergiert (dem access-complete Hybrid), weil dies der einzige Weg ist, die dualen Anforderungen von Langzeit-Reasoning und wortgetreuer Abfrage unter festen Inferenzbudgets zu erfüllen.

Zusammenfassend lässt sich sagen, dass das Paper argumentiert, dass während Repräsentationen zu einer gemeinsamen Realität konvergieren (PRH), Fähigkeiten zu einem spezifischen architektonischen Attraktor konvergieren (CCH), der durch die Fähigkeit definiert ist, sowohl einen komprimierten Zustand als auch einen wortgetreuen Index zu halten. Diese Konvergenz wird durch die Ökonomie der Inferenz und die informationstheoretische Notwendigkeit getrieben, für die Zugriffskapazität zu bezahlen.