🧬 biology

The Variance Brain Foundation Models Forgot: Third-Order Statistics Predict Cognition Where Billion-Parameter Models Fail

Trotz ihrer Skalierung scheitern aktuelle Gehirn-Fundamentmodelle daran, die kognitive Leistung vorherzusagen, da ihre Vortrainierungsziele entscheidende statistische Strukturen dritter Ordnung (Ko-Schiefe) verwerfen, eine Einschränkung, die durch eine einfache, vortrainierungsfreie lineare Pipeline überwunden werden kann, welche diese höheren Merkmale explizit bewahrt, um sowohl die Modelle als auch Standard-Funktions-Konnektivitäts-Baselines zu übertreffen.

Ursprüngliche Autoren: Giovanni Marraffini, Gabriel Mahuas, Trinidad Borrell, Victoria Shevchenko, Demian Wassermann

Veröffentlicht 2026-06-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Giovanni Marraffini, Gabriel Mahuas, Trinidad Borrell, Victoria Shevchenko, Demian Wassermann

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das „schlaue“ Gehirn-Modell, das den Punkt verfehlte

Stellen Sie sich vor, Sie haben einen superintelligenten Studenten (ein Brain Foundation Model), der jedes einzelne Lehrbuch darüber gelesen hat, wie das Gehirn funktioniert. Sie geben ihm einen Test: „Schau dir diesen Gehirnscan an und sag mir, wie intelligent die Person ist.“

Sie erwarten, dass dieser Student den Test mit Bravour besteht, weil er riesig und komplex ist und auf massiven Mengen von Daten trainiert wurde. Aber stattdessen versagt er kläglich. Ein einfaches, altmodisches Taschenrechnermodell (eine lineare Regression), das einfach nur die rohen Gehirnscandaten betrachtet, erzielt tatsächlich ein viel besseres Ergebnis.

Noch seltsamer: Als die Forscher den „schlauen Studenten“ noch größer und leistungsfähiger machten, wurde er bei dem Test sogar noch schlechter.

Dieses Paper erklärt, warum das passierte und wie sie es behoben haben.

1. Das Problem: Auf das falsche Rauschen hören

Stellen Sie sich einen Gehirnscan (fMRI) wie eine Aufnahme einer belebten Stadtstraße vor.

Das Rauschen: Die Aufnahme wird von lauten, offensichtlichen Geräuschen dominiert: dem Grollen eines Busses (Herzschläge), dem Wind (Atmung) und dem Schlurfen von Füßen (Kopfbewegungen). Dies sind die „dominanten“ Geräusche.
Das Signal: Das eigentliche Gespräch zwischen zwei Personen (kognitives Denken) ist leise und subtil. Es ist verborgen in den komplexen, rhythmischen Mustern, wie drei oder mehr Personen gleichzeitig miteinander interagieren.

Was die KI tat: Die KI-Modelle wurden darauf trainiert, die Aufnahme zu „rekonstruieren“. Ihr Ziel war es, dass das Ergebnis exakt wie der Input klingt. Da die lauten Geräusche (Herzschläge, Atmung) viel lauter waren als das leise Gespräch, lernte die KI, perfekt darin zu werden, das Rauschen zu kopieren. Sie wurde zur Expertin darin, das Busgrollen vorherzusagen, aber sie ignorierte das leise Gespräch völlig.

Das Ergebnis: Die KI-Modelle waren so gut darin, das „Rauschen“ zu kopieren, dass sie das „Signal“ vergaßen. Sie scheiterten daran, die menschliche Kognition vorherzusagen, weil sie zu sehr damit beschäftigt waren, sich auf die lauten, langweiligen Teile der Daten zu konzentrieren.

2. Das „Inverse Scaling“-Paradoxon

Normalerweise gilt in der KI: Wenn man ein Modell größer macht (ihm mehr Gehirnschmalz gibt), wird es intelligenter.

Die Erkenntnis des Papers: Hier geschah das Gegenteil. Die Forscher testeten eine „kleine“ KI (111 Millionen Parameter) und eine „riesige“ KI (650 Millionen Parameter).
Die Wendung: Die riesige KI war schlechter darin, Kognition vorherzusagen, als die kleine.
Warum? Die größere KI war sogar noch besser darin, das laute Rauschen zu kopieren. Sie hatte mehr Kapazität, um die Herzschläge und die Atmung auswendig zu lernen, wodurch sie die subtilen kognitiven Signale noch effektiver übertönte. Es war, als würde man ein riesiges, superpräzises Mikrofon mieten, das nur den Straßenlärm verstärkt und das Gespräch im Raum übertönt.

3. Die Lösung: Auf „Third-Order“-Muster achten

Die Forscher erkannten, dass menschliches Denken nicht nur daraus besteht, dass zwei Hirnregionen miteinander kommunizieren (was Standard-Gehirnscans meist messen). Es geht darum, dass drei Regionen auf eine spezifische, komplexe Weise gleichzeitig interagieren.

Die Analogie:
- Second-Order (Standard): Zwei Freunde, Alice und Bob, unterhalten sich. Man kann messen, wie oft sie sprechen.
- Third-Order (Das Geheimrezept): Alice, Bob und Charlie sind in einem Raum. Der interessante Teil ist nicht nur, dass Alice mit Bob spricht; es ist der spezifische Moment, in dem alle drei gleichzeitig auf einen Witz reagieren. Diese komplexe Drei-Wege-Interaktion ist dort, wo das „Denken“ stattfindet.

Die Standard-KI-Modelle waren blind für diese „Third-Order“-Interaktion, weil ihre Trainingsmethode (der Versuch, das Rohgeräusch zu kopieren) diese zerstört hat.

4. Die Lösung: Der „Denoising Filter“

Anstatt zu versuchen, eine größere KI zu bauen, entwickelten die Forscher einen einfachen, cleveren Filter.

Die Methode: Sie verwendeten eine mathematische Technik namens Tucker-Dekomposition. Stellen Sie sich das wie eine spezielle Brille vor, die das laute Busrauschen und den Wind herausfiltert, sodass nur noch die komplexen Drei-Wege-Gespräche übrig bleiben.
Das Ergebnis:
1. Sie nahmen die rohen Gehirndaten.
2. Sie leiteten sie durch diesen „Third-Order-Filter“.
3. Sie maßen die Verbindungen innerhalb dieses gefilterten Raums.
4. Boom: Diese einfache, Nicht-KI-Methode sagte die menschliche Kognition besser voraus als jedes der massiven, vortrainierten KI-Modelle. Sie war so gut, dass sie die bisherigen Bestleistungen auf dem Gebiet übertraf – und das ganz ohne Supercomputer oder teures Training.

5. Das „Fine-Tuning“-Wunder

Die Forscher fragten sich dann: „Können wir die große KI dazu bringen, dies zu sehen?“

Sie nahmen die massive KI und gaben ihr eine neue Hausaufgabe. Anstatt nur „kopiere das Geräusch“, sagten sie ihr: „Kopiere das Geräusch, aber stelle sicher, dass du die komplexen Drei-Wege-Gespräche intakt hältst.“

Das Ergebnis: Als sie dies taten, wurde die KI plötzlich so gut wie der einfache Filter. Sie wechselte von einem völligen Scheitern beim Test zu einer exzellenten Leistung.
Die Lehre: Die KI war nicht „dumm“ oder „zu klein“. Sie war nur mit dem falschen Ziel trainiert worden. Das Problem war nicht die Architektur (das Gehirn des Modells); das Problem war das Ziel (was das Modell lernen sollte).

Zusammenfassung der wichtigsten Erkenntnisse

Größer ist nicht immer besser: Bei der Modellierung des Gehirns führte das Vergrößern der KI nur dazu, dass sie besser darin wurde, das „Rauschen“ (Herzschlag/Bewegung) zu kopieren und schlechter darin, das „Signal“ (Denken) zu finden.
Das Signal ist im Komplexen verborgen: Menschliche Kognition lebt in komplexen Drei-Wege-Interaktionen (Third-Order-Statistiken), welche Standard-KI-Trainingsmethoden versehentlich löschen.
Einfachheit ist mächtig: Ein einfacher mathematischer Filter, der sich auf diese komplexen Interaktionen konzentriert, arbeitet besser als Milliarden-Parameter starke KI-Modelle.
Das Ziel zählt am meisten: Wenn man einer KI beibringt, auf das Richtige zu achten (das Bewahren dieser komplexen Interaktionen), kann selbst ein Standardmodell die „State-of-the-Art“-Giganten übertreffen.

Kurz gesagt: Die Forscher fanden heraus, dass die „schlauen“ KI-Modelle zu sehr damit beschäftigt waren, auf den Verkehrslärm zu hören, um das Gespräch wahrzunehmen. Indem sie einen Filter bauten, der den Verkehr stummschaltet und die komplexen Gruppengespräche verstärkt, fanden sie einen Weg, das menschliche Denken besser vorherzusagen als jedes riesige KI-Modell.

Technisches Resümee: Die Varianz, die Brain Foundation Models vergessen haben

Problemstellung
Brain Foundation Models (BFMs) sind selbstüberwachte Transformer, die auf fMRT-Daten vortrainiert wurden, mit dem Ziel, reichhaltige Repräsentationen der Gehirnaktivität zu erlernen, um kognitive Leistungen vorherzusagen. Die vorherrschende Hypothese besagt, dass tiefe Transformer, mit ihrer Kapazität, komplexe Interaktionen jenseits von paarweisen Korrelationen zu modellieren, klassische Functional Connectivity (FC)-Baselines übertreffen sollten. Dieses Paper demonstriert jedoch, dass aktuelle State-of-the-Art BFMs (speziell BrainLM, Brain-JEPA und BrainMass) nicht in der Lage sind, die für die Vorhersage der Kognition notwendige Varianz zu erfassen. Stattdessen schneiden sie schlechter ab als eine einfache lineare Regression auf rohen FC-Matrizen (ca. 80.000 Parameter). Darüber hinaus identifiziert das Paper ein „Inverse Scaling“-Phänomen, bei dem größere Modelle (z. B. das 650 Mio. Parameter starke BrainLM) schlechter abschneiden als kleinere Modelle (111 Mio. Parameter), was darauf hindeutet, dass die erhöhte Kapazität auf die Modellierung dominanter, nicht-kognitiver Rauschanteile verschwendet wird, anstatt auf die aufgabenrelevante Struktur.

Methodik
Die Autoren verwenden ein rigoroses Evaluierungsprotokoll basierend auf Ooi et al. [2022], unter Verwendung einer replizierten geschachtelten Kreuzvalidierung (20 Wiederholungen × 10 Folds) über zwei Datensätze: AOMIC-ID1000 (N=876) und HCP (N=955), mit zwei Parzellierungen (AAL-424 und Schaefer-400).

Statistische Analyse via Kumulanten: Das Paper rahmt die Analyse mithilfe der gemeinsamen Kumulantenentwicklung ein.
- $\kappa_2$ (Zorder): Repräsentiert die paarweise Kovarianz (Standard-FC).
- $\kappa_3$ (Dritter Ordnung): Repräsentiert die dreifache Ko-Skewness (Schiefe), welche die nicht-gaußsche Struktur erfasst, die für FC unsichtbar ist.
  Die Autoren analysieren BFM-Rekonstruktionen, um zu bestimmen, welche statistischen Ordnungen bewahrt werden. Sie finden, dass zwar $\kappa_2$ teilweise bewahrt wird, $\kappa_3$ jedoch durch das MSE-Pretraining-Ziel (Mean Squared Error) weitgehend zerstört wird, welches hochvariantes physiologisches Rauschen (kardial, respiratorisch, Bewegung) gegenüber synergistischen kognitiven Signalen priorisiert.
Vorgeschlagene lineare Pipeline (Tucker-Dekomposition): Um die verlorene $\kappa_3$ -Struktur ohne Deep Learning wiederherzustellen, schlagen die Autoren eine lineare Pipeline vor:
- Berechnung des empirischen Ko-Skewness-Tensors ( $S \in \mathbb{R}^{P \times P \times P}$ ) aus den Trainingsdaten.
- Durchführung einer Tucker-Dekomposition (Higher-Order SVD), um einen niedrigdimensionalen räumlichen Subraum ( $U$ ) zu extrahieren, der die Struktur dritter Ordnung maximiert.
- Projektion der rohen ROI-Zeitserien in diesen Subraum.
- Berechnung der FC innerhalb dieses $\kappa_3$ -informierten Subraums.
- Einspeisung dieser Features in einen Kernel Ridge Regression (KRR) Prädiktor.
Finetuning-Strategie: Um zu testen, ob die BFM-Architektur selbst der Flaschenhals oder lediglich das Pretraining-Ziel ist, finetunen die Autoren BrainLM mit einem „Dual-Moment“-Loss. Dieser Loss richtet die Rekonstruktion nicht nur an dem Rohsignal aus, sondern auch an der FC, die innerhalb des optimalen $\kappa_3$ -Tucker-Subraums berechnet wurde (unter Verwendung einer Log-Cholesky-Distanzmetrik).

Kernergebnisse

Unterleistung der BFMs: Unter dem Ooi-et-al.-Protokoll erreichen alle drei BFMs vernachlässigbare Kognitions-Vorhersagewerte (Pearson $r \approx 0,00$ bis $0,18$), was signifikant schlechter ist als die rohen FC-Baselines ( $r \approx 0,31$ bis $0,39$).
Inverse Scaling: In der BrainLM-Familie sagt das 650M-Modell die Kognition schlechter voraus als das 111M-Modell, was bestätigt, dass die Skalierung der Parameter ohne Änderung des Ziels die Unfähigkeit zur Erfassung der kognitiven Varianz verschärft.
Versagen der Kumulanten-Erhaltung: Die Analyse der BFM-Rekonstruktionen zeigt, dass der $\kappa_2$ -Fehler moderat ist (29–47 % relativer Fehler), der $\kappa_3$ -Fehler jedoch katastrophal ist (NMSE 2,6–6,2 $\times$ Eingangsenergie), was bedeutet, dass die Modelle die spezifische statistische Ordnung, in der die kognitionsrelevante Information liegt, verwerfen.
Überlegenheit des Tucker-Subraums: Die vorgeschlagene lineare Pipeline (FC berechnet im $\kappa_3$ $κ_{3}$ -optimalen Tucker-Subraum) setzt einen neuen State-of-the-Art (SOTA) für die Vorhersage der Ruhezustands-fMRT-Kognition. Sie übertrifft die rohe FC und alle vortrainierten BFMs über alle Datensätze und Parzellierungen hinweg, ohne Pretraining oder GPUs zu benötigen.
- Auf HCP Schaefer-400 erreicht die Methode $r = 0,571 \pm 0,089$ und übertrifft damit bisherige SOTA-Ergebnisse (z. B. $r = 0,520$ für Principal Gradients).
Wiederherstellung durch Finetuning: Wenn BrainLM mit dem kumulanten-informierten Loss (Dual-Moment) finetuned wird, stellt seine Rekonstruktions-basierte FC-Vorhersage das Roh-FC-Ceiling wieder her ( $r \approx 0,39$ auf HCP, was dem Baseline-Wert entspricht). Dies beweist, dass der Flaschenhals das Pretraining-Ziel ist und nicht die Transformer-Architektur oder die Modellgröße.
Versagen der Einbettung (Embedding Failure): Trotz des Erfolgs der Rekonstruktions-Ausgabe bleibt die Vorhersagekraft der CLS-Embeddings der BFMs selbst nach dem Finetuning nahe Null, was darauf hindeutet, dass die latente Geometrie während des Pretrainings fixiert wird und nicht durch den Decoder-Level-Loss reorganisiert wird.

Bedeutung und Ansprüche
Das Paper behauptet, dass das Versagen der Brain Foundation Models nicht an mangelnder Kapazität liegt, sondern an einem „Varianz-Allokationsproblem“, das den rekonstruktionsbasierten Pretraining-Zielen inhärent ist. Diese Ziele priorisieren dominantes physiologisches Rauschen ( $\kappa_2$ ) und verwerfen höhere-Ordnung-synergistische Informationen ( $\kappa_3$ ), die die Kognition vorhersagen.

Die Autoren argumentieren:

Evaluierungsstandards: Foundation Models müssen gegen klassische, domänenbezogene Baselines (wie rohe FC) evaluiert werden, bevor sie weiter skaliert werden.
Explizite Dekomposition: Wenn der aufgabenrelevante Subraum bekannt ist (in diesem Fall der $\kappa_3$ -optimale Subraum), sind explizite lineare Dekompositionen (Tucker) sauberer und effektiver als das Lernen latenter Repräsentationen via Selbstüberwachung.
Objective vs. Architektur: Der Flaschenhals der BFM-Performance ist das Pretraining-Ziel, nicht die Modellarchitektur. Die Ausrichtung der Loss-Funktion an der spezifischen statistischen Struktur der Aufgabe (dritte Ordnung der Ko-Skewness) kann die Performance wiederherstellen, ohne die Modellstruktur zu ändern.

Das Paper schließt, dass die kognitionsrelevante Struktur in der Ruhezustands-fMRT mindestens beim dritten Kumulanten liegt und dass einfache, GPU-freie lineare Pipelines, die diese Struktur nutzen, derzeit Milliarden-Parameter starke Foundation Models übertreffen.