🤖 machine learning

NeuroMambaLLM: Dynamic Graph Learning of fMRI Functional Connectivity in Autistic Brains Using Mamba and Language Model Reasoning

NeuroMambaLLM ist ein End-to-End-Framework, das dynamisches latentes Graphenlernen und Mamba-basierte zeitliche Modellierung von fMRT-Daten mit einem durch LoRA erweiterten, eingefrorenen LLM integriert, wodurch sowohl die diagnostische Klassifizierung von Autismus als auch die Generierung klinisch aussagekräftiger Textberichte durch adaptive Konnektivitätsanalyse ermöglicht werden.

Ursprüngliche Autoren: Yasaman Torabi, Parsa Razmara, Hamed Ajorlou, Bardia Baraeinejad

Veröffentlicht 2026-05-27

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yasaman Torabi, Parsa Razmara, Hamed Ajorlou, Bardia Baraeinejad

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich Ihr Gehirn als eine belebte Stadt mit tausenden von Vierteln (Gehirnregionen) vor, die ständig miteinander sprechen. In einer gesunden Stadt fließen diese Gespräche reibungslos und ändern sich schnell je nach den aktuellen Umständen. Doch in der „Stadt" eines autistischen Gehirns schlägt der Text vor, dass die Verkehrsströme und Gespräche anders sein könnten – manchmal zu laut in einem Bereich, oder die Verbindungen zwischen den Vierteln ändern sich zu schnell oder zu langsam.

Lange Zeit versuchten Wissenschaftler, diese Gespräche zu kartieren, indem sie ein einzelnes, statisches „Schnappschuss" der Stadt machten. Sie berechneten die durchschnittliche Freundschaft zwischen den Vierteln über den ganzen Tag hinweg. Das Problem? Das ist so, als würde man einen ganzen Film beurteilen, indem man nur einen einzigen eingefrorenen Frame betrachtet. Man verpasst dabei alle Handlungen, Wendungen und flüchtigen Momente, die tatsächlich die Geschichte erzählen.

NeuroMambaLLM: Der „Filmregisseur"-KI

Die Forscher entwickelten ein neues Werkzeug namens NeuroMambaLLM. Stellen Sie es sich als ein dreiteiliges Team vor, das zusammenarbeitet, um den „Film" des Gehirns anzusehen und eine Rezension darüber zu schreiben.

1. Der dynamische Detektiv (Dynamisches Graphenlernen)

Anstatt ein eingefrorenes Schnappschuss zu machen, beobachtet dieser Teil des Systems die Gehirnaktivität sekundenweise. Er verwendet eine spezielle Technik, um herauszufinden, welche Viertel gerade jetzt miteinander sprechen.

Die Analogie: Stellen Sie sich einen Detektiv vor, der nicht nur in ein Telefonbuch schaut, wer normalerweise wen anruft. Stattdessen lauscht er den Live-Telefonleitungen, um zu sehen, wer in diesem exakten Moment tatsächlich spricht. Dies ermöglicht dem System, „transiente" (kurzlebige) Verbindungen zu erfassen, die statische Karten übersehen, wie etwa ein plötzlicher Gesprächsausbruch zwischen zwei entfernten Teilen des Gehirns.

2. Der effiziente Zeitreisende (Mamba)

Sobald das System diese sich verändernden Verbindungen sieht, muss es die ganze Geschichte im Gedächtnis behalten, ohne überwältigt zu werden. Ältere KI-Modelle (wie Transformer) versuchen, alles auf einmal zu behalten, was so ist, als würde man versuchen, eine Bibliothek voller Bücher im Kopf zu halten – es wird schwer und langsam.

Die Analogie: Dieses System verwendet Mamba, das wie ein super-effizienter Zeitreisender ist. Es kann einen sehr langen Film (ein langes Gehirnscan) schnell durchsuchen, merkt sich die wichtigen Handlungspunkte und ignoriert die langweiligen Teile (wie wenn die Kamera wackelt oder der Schauspieler zu viel bewegt). Dies geschieht in „linearer Zeit", was bedeutet, dass es schnell und leicht bleibt, selbst wenn der Film sehr lang ist.

3. Der Geschichtenerzähler (Large Language Model)

Das letzte Stück ist eine leistungsstarke Sprach-KI (basierend auf LLaMA-3). Normalerweise sind diese KIs gut darin, Geschichten zu schreiben oder Fragen zu beantworten, aber schlecht darin, Gehirnscans zu lesen.

Die Analogie: Die Forscher brachten dieser Sprach-KI bei, „Gehirn zu sprechen". Sie trainierten die gesamte KI nicht neu (was so wäre, als würde man einem Menschen beibringen, eine neue Sprache von Grund auf zu lesen). Stattdessen gaben sie ihr ein paar „Übersetzerhinweise" (sogenannte LoRA-Module). Jetzt, wenn das System die dynamischen Muster des Gehirns sieht, spuckt es nicht nur eine „Ja/Nein"-Antwort aus. Es schreibt einen kurzen, lesbaren Bericht, der erklärt, warum es denkt, dass das Gehirn so aussieht, wie es aussieht.

Was haben sie gefunden?

Das Team testete dies an einer großen Sammlung von Gehirnscans von Menschen mit Autismus-Spektrum-Störung (ASS) und solchen ohne (der ABIDE-Datensatz).

Die Punktzahl: Das System identifizierte Autismus-Fälle etwa 72 % der Zeit korrekt. Dies ist vergleichbar mit den besten aktuellen Methoden, bietet aber einen großen Bonus: Es erklärt seine Schlussfolgerungen.
Das „Warum": Als das System die Gehirne betrachtete, fand es spezifische Muster, die mit dem übereinstimmen, was Wissenschaftler bereits über Autismus wissen. Zum Beispiel bemerkte es, dass bestimmte Bereiche, die an der sozialen Wahrnehmung und Sprache beteiligt sind (wie der „superiore Temporalsulcus"), anders agierten. Es sah auch, dass die Verbindungen zwischen Vorder- und Rückseite des Gehirns in der autistischen Gruppe oft weniger integriert waren.
Die Ausgabe: Anstatt nur „Autismus" zu sagen, generierte die KI einen Satz wie: „Das Modell identifiziert atypische zeitliche Interaktionen, die frontale und temporale Regionen betreffen, mit reduzierter Langstrecken-Integration..." Dies macht das Ergebnis für Ärzte viel nützlicher, die den Mechanismus verstehen müssen, nicht nur das Etikett.

Das Fazit

NeuroMambaLLM ist eine neue Art, auf das Gehirn zu schauen, die es wie einen dynamischen, bewegenden Film behandelt und nicht wie ein statisches Foto. Durch die Kombination eines schnellen Speichersystems (Mamba) mit einem intelligenten Sprachschreiber (LLM) kann es nicht nur Autismus mit angemessener Genauigkeit diagnostizieren, sondern auch eine klare Geschichte darüber erzählen, was im Inneren des Gehirns vor sich geht, und so die Lücke zwischen komplexen Daten und menschlichem Verständnis schließen.

Technischer Zusammenfassung: NeuroMambaLLM

Problemstellung
Die aktuelle neurobildgebende Analyse für Autismus-Spektrum-Störungen (ASS) steht vor zwei primären Einschränkungen. Erstens stützen sich die meisten Methoden auf statische funktionale Konnektivität (sFC), die fMRI-Daten in eine einzige Korrelationsmatrix aggregiert. Dieser Ansatz verschleiert transiente neuronale Dynamiken und zeitvariierende Interaktionen, die für das Verständnis neuroentwicklungsbedingter Störungen entscheidend sind. Zweitens ist die Integration von Large Language Models (LLMs), die leistungsfähige semantische Schlussfolgerungen bieten, mit Modellen der Gehirnkonnektivität noch in den Anfängen. Bestehende „Gehirn-zu-Text"-Frameworks (z. B. FCN-LLM, BrainLLM) bilden typischerweise statische Konnektivitätsmatrizen auf LLMs ab, wodurch die Schlussfolgerung auf durchschnittliche Biomarker beschränkt bleibt statt auf spezifische zeitliche Ereignisse. Darüber hinaus leiden tiefe Lernmodelle für lange fMRI-Sequenzen oft unter den quadratischen Rechenkosten von Transformern oder den Vergessensproblemen rekurrenter Netze, was eine End-to-End-Modellierung langer, verrauschter Zeitreihen unpraktisch macht.

Methodik
Die Arbeit schlägt NeuroMambaLLM vor, ein End-to-End-Framework, das das Paradigma von der statischen Graph-zu-Text-Modellierung zur Modellierung dynamischer latenter Signale-zu-Text verschiebt. Die Architektur besteht aus drei gekoppelten Stufen:

Inferenz dynamischer latenter Graphen (LGI):
Anstatt vorausberechneter Korrelationsmatrizen oder fester struktureller Priors zu verwenden, lernt das Modell zeit aufgelöste funktionale Konnektivität direkt aus rohen Blood-Oxygen-Level-Dependent (BOLD)-Zeitreihen. Ein differenzierbares Modul bildet instantane BOLD-Signale unter Verwendung von 1D-Faltungen und Self-Attention in einen latenten Merkmalsraum ab. Die paarweise Ähnlichkeit zwischen diesen latenten Knoten-Embeddings erzeugt eine zeitvariierende Adjazenzmatrix ( $G_t$ ), die instantane funktionale Kopplung und nicht-lineare Abhängigkeiten erfasst, ohne heuristische gleitende Fenster.
Selektive Zustandsraum-Zeitmodellierung (Mamba):
Die graphenfilterten Gehirnzustände werden von einer Mamba-Architektur verarbeitet, einem Selektiven Zustandsraum-Modell (SSM). Im Gegensatz zu Transformern verarbeitet Mamba Signale in linearer Zeit bezüglich der Sequenzlänge und vermeidet ein quadratisches Speicherwachstum. Es verwendet einen hardwarebewussten selektiven Scan-Mechanismus, bei dem Zustandsübergangs- und Eingangsprojektionsmatrizen als deterministische Funktionen des aktuellen Eingangs erzeugt werden. Dies ermöglicht dem Modell, relevante zeitliche Informationen adaptiv auszuwählen, Bewegungsartefakte und physiologisches Rauschen effektiv zu unterdrücken und gleichzeitig langreichweitige Abhängigkeiten in fMRI-Daten zu erfassen.
Cross-Modale Ausrichtung mit LLM:
Die resultierende Sequenz latenter zeitlicher Zustände wird in einen festen Satz von „Gehirn-Zusammenfassungs-Tokens" komprimiert. Diese Tokens werden in den Embedding-Raum eines eingefrorenen LLaMA-3-8B-Sprachmodells projiziert. Die Ausrichtung erfolgt über Low-Rank Adaptation (LoRA)-Module, die in die Attention-Schichten des LLM eingefügt werden, wobei das Basismodell aus Gründen der Parameter-Effizienz eingefroren bleibt. Das LLM erhält diese Gehirntokens, konkateniert mit diagnostischen Prompts, was es ermöglicht, diagnostische Klassifizierungen durchzuführen und klinisch sinnvolle Textberichte zu generieren, die auf den spezifischen zeitlichen Mustern der Eingabe basieren.

Hauptbeiträge

Lernen dynamischer funktionaler Graphen: Einführung eines End-to-End-Encoders, der adaptive, zeit aufgelöste funktionale Konnektivität direkt aus rohen BOLD-Signalen inferiert und transiente neuronale Interaktionen erfasst, die von statischen Analysen übersehen werden.
Effiziente Zeitmodellierung: Anwendung der Mamba-selektiven Zustandsraum-Architektur zur Modellierung langreichweitiger fMRI-Abhängigkeiten mit linearer Rechenkomplexität, die Rauschen adaptiv unterdrückt, ohne die Kosten von Transformern.
LLM-Schlussfolgerungs-Framework: Eine neuartige Ausrichtungsstrategie unter Verwendung von LoRA, um dynamische Gehirngraphen in den Embedding-Raum eines eingefrorenen LLM zu projizieren. Dies ermöglicht eine gemeinsame diagnostische Klassifizierung und sprachbasierte Schlussfolgerung, die interpretierbare textliche Erklärungen statt Black-Box-Vorhersagen liefert.

Experimentelle Ergebnisse
Experimente wurden auf dem Autism Brain Imaging Data Exchange (ABIDE I)-Datensatz durchgeführt, wobei Ruhezustands-fMRI-Daten von 39 Regionen von Interesse (ROIs) verwendet wurden, die auf 100 Zeitpunkte gekürzt wurden.

Leistung: NeuroMambaLLM erreichte eine Testgenauigkeit von 72,12 % und übertraf neuere State-of-the-Art-Methoden, darunter BoLT (71,28 %), SwinT (68,59 %) und statische graphbasierte Ansätze wie BrainGNN (69,31 %).
Metriken: Das Modell zeigte eine Präzision von 0,8022 und einen F1-Score von 0,6931.
Ablationsstudien:
- Der Ersatz des dynamischen Graphen durch eine statische Formulierung („Static MambaLLM") reduzierte die Genauigkeit auf 66,50 %, was die Notwendigkeit einer adaptiven Graphinferenz bestätigt.
- Das Einfrieren der LLM-Parameter ohne LoRA-Anpassung („Frozen MambaLLM") führte im Vergleich zur LoRA-feinabgestimmten Version zu einer geringeren Leistung (68,20 %) und validierte den Wert einer leichten Feinabstimmung.
- Vergleiche zeitlicher Rückgrate (GRU, TCN, Transformer, S4) zeigten, dass Mamba die beste Leistung erbrachte.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass NeuroMambaLLM die Lücke zwischen dynamischen neurobiologischen Prozessen und rechnerischer Machbarkeit schließt. Seine primäre Bedeutung liegt in der Bewegung über „Black-Box"-Vorhersagen hinaus hin zu klinisch sinnvollen Erklärungen. Indem es LLM-Ausgaben auf kausal relevante, zeitlich spezifische neuronale Muster gründet, liefert das Framework interpretierbare Berichte, die atypische Interaktionen (z. B. im linken superior temporalen Sulcus und frontotemporalen Regionen) identifizieren, die mit der bekannten ASS-Neurobiologie übereinstimmen.

Die Autoren betonen, dass das Sprachmodell nicht allein eingeführt wurde, um die Klassifizierungsgenauigkeit zu maximieren, sondern um eine strukturierte Interpretation dynamischer Gehirnmuster für Fachexperten zu unterstützen. Das Modell zeigt erfolgreich, dass dynamisches latentes Graphenlernen kombiniert mit effizienter Zustandsraum-Modellierung und LLM-Schlussfolgerung wettbewerbsfähige diagnostische Leistungen erbringen kann, während es ein Maß an Interpretierbarkeit (durch generierte Textzusammenfassungen und Saliency-Karten) bietet, das statischen Modellen fehlt. Als zukünftige Arbeit wird die Generalisierung über zusätzliche Datensätze hinweg und die Verfeinerung von Prompt-Einschränkungen zur Minderung potenzieller Halluzinationen genannt.