🧬 biology

Task-guided cross-subject latent alignment: a multi-encoder-decoder VAE

Dieses Paper stellt den Multi-Encoder-Decoder Variational Autoencoder (MED-VAE) vor, ein Framework, das eine überlegene subjektübergreifende neuronale Ausrichtung und generalisierbare Dekodierung erreicht, ohne dass gemeinsame Stimuli erforderlich sind, indem es neuronale Repräsentationen an einem gemeinsamen Gerüst verankert, das durch ein vortrainiertes künstliches neuronales Netzwerk bereitgestellt wird.

Ursprüngliche Autoren: Angeliki Papathanasiou, Jascha Achterberg, Thomas E. Nichols, Rui Ponte Costa

Veröffentlicht 2026-06-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Angeliki Papathanasiou, Jascha Achterberg, Thomas E. Nichols, Rui Ponte Costa

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein Buch zu übersetzen, das in einem Geheimcode geschrieben wurde. Das Problem ist, dass es 8 verschiedene Personen gibt, von denen jede ihre eigene, einzigartige Version des Codes besitzt. Obwohl sie alle exakt dieselbe Geschichte lesen, schreibt Person A „Apfel“ als „rot-frucht-kreis“. Person B schreibt es als „knackig-süß“ und Person C als „Obstgarten-1“.

Wenn Sie verstehen wollen, worüber sie alle in der Geschichte denken, können Sie ihre Notizen nicht einfach direkt vergleichen, da die Wörter nicht übereinstimmen. Traditionell versuchten Wissenschaftler, dies zu lösen, indem sie alle die gleichen 872 Seiten des Buches lesen ließen, um so ein Wörterbuch basierend auf diesen gemeinsamen Seiten zu erstellen. Aber was ist, wenn die Leute unterschiedliche Bücher lesen oder die Seiten sich nicht überschneiden? Die alten Methoden versagen dann.

Dieses Paper stellt ein neues Werkzeug namens MED-VAE vor, das dieses Problem löst, ohne dass alle dieselben Seiten lesen müssen. So funktioniert es, unter Verwendung einfacher Analogien:

1. Der „Universalübersetzer“ (Das ANN-Gerüst)

Anstatt die Leute zu zwingen, direkt miteinander zu kommunizieren, führen die Forscher einen Universalübersetzer ein (ein Künstliches Neuronales Netz, speziell ein ResNet-50). Dieser Übersetzer hat bereits Millionen von Bildern gelesen und weiß genau, wie ein „Apfel“, ein „Auto“ oder eine „Person“ auf eine standardisierte, perfekte Weise aussieht.

Der alte Weg: Sie bitten Person A und Person B, denselben Apfel zu beschreiben, und versuchen dann, ihre Beschreibungen abzugleichen.
Der neue Weg: Sie bitten Person A, den Apfel zu beschreiben, und Sie bitten Person B, den Apfel zu beschreiben. Dann bitten Sie beide, ihre Beschreibungen in die Sprache des Universalübersetzers zu übersetzen.

Da der Universalübersetzer über eine perfekte, gemeinsame Definition dessen verfügt, was ein Apfel ist, werden Person A und Person B gezwungen, die „gleiche Sprache zu sprechen“, wenn sie mit ihm kommunizieren, selbst wenn sie nie miteinander gesprochen haben.

2. Die „Einbahnstraße“ (Die Architektur)

Die Forscher bauten eine Maschine mit zwei Seiten:

Die Eingangsseite: Jede Person hat ihren eigenen privaten Übersetzer, der ihre Gehirnscans (fMRT) in die Sprache des Universalübersetzers umwandelt.
Die Ausgangsseite: Es gibt einen gemeinsamen Decoder, der versucht, diese universelle Sprache zurück in die ursprünglichen „perfekten“ Bildmerkmale des Universalübersetzers zu verwandeln.

Die Magie geschieht, weil die Maschine darauf trainiert ist, zwei Dinge gleichzeitig zu tun:

Sicherzustellen, dass die Sprache des Universalübersetzers zurück in ein perfektes Bild umgewandelt werden kann.
Sicherzustellen, dass die Sprache des Universalübersetzers zurück in diesen spezifischen Gehirnscan der jeweiligen Person umgewandelt werden kann.

Dies erzeugt einen „Druck“ auf alle Gehirnscans. Um die Maschine zufrieden zu stellen, müssen die Gehirnscans von Person A und Person B im „Universalen Sprachraum“ exakt an derselben Stelle landen, wann immer sie ähnliche Dinge sehen (wie eine Katze), selbst wenn sie insgesamt unterschiedliche Bilder gesehen haben.

3. Das Ergebnis: Eine bessere Karte

Als die Forscher dies testeten, fanden sie drei wesentliche Dinge:

Eine ordentlich organisierte Bibliothek: In dem neuen gemeinsamen Raum sind die „Bücher“ (Bilder) perfekt nach Kategorien sortiert. Wenn man sich eine Karte der Daten ansieht, liegen alle „Tiere“ in einem Cluster und alle „Fahrzeuge“ in einem anderen. Die alten Methoden waren wie ein unordentlicher Haufen, in dem Tiere und Autos vermischt waren.
Keine „gemeinsamen Seiten“ nötig: Die alten Methoden (wie SRM und Procrustes) benötigten 872 Bilder, die alle gemeinsam anschauen mussten, um zu lernen, wie man sie abgleicht. MED-VAE benötigte das nicht. Es lernte die Ausrichtung allein durch die Nutzung des Universalübersetzers als Leitfaden.
Bessere Vorhersage: Da die Ausrichtung so gut ist, können Sie die Gehirnaktivität von Person A nehmen, sie in die universelle Sprache übersetzen und dann zurück in die Gehirnsprache von Person B übersetzen, wodurch Sie eine sehr genaue Vorhersage dessen erhalten, was die Gehirnaktivität von Person B wäre. Es ist, als wäre man in der Lage, den Geist von Person B zu lesen, indem man nur auf die Daten von Person A schaut, ohne jemals zuvor die Daten von Person B gesehen zu haben.

4. Der „Rausch“-Filter

Eine interessante Erkenntnis betraf das „Rauschen“. Die alten Methoden schienen während des Experiments besser darin zu sein, den exakten Gehirnscan zu rekonstruieren. Die Forscher stellten jedoch fest, dass die alten Methoden versehentlich das „Statikrauschen“ oder „Rauschen“ (wie den Herzschlag oder die Atmung der Person) mitgespeichert hatten, das in diesem Moment zufällig in den Daten vorhanden war.

Als sie die Methoden an neuen Testläufen prüften (um zu sehen, ob das Signal echt oder nur Rauschen war), versagten die alten Methoden. MED-VAE hingegen ignorierte das Rauschen und behielt das echte Signal bei. Es ist, als hätten die alten Methoden das Hintergrundgeplapper zusammen mit der Sprache aufgezeichnet, während MED-VAE das Geplapper herausfilterte und nur die klare Stimme behielt.

Zusammenfassung

Das Paper präsentiert einen Weg, die Gehirnaktivität verschiedener Menschen abzugleichen, ohne dass diese dieselben Bilder ansehen müssen. Dies geschieht durch die Nutzung einer vortrainierten KI als „gemeinsamen Boden“ oder Gerüst. Dies schafft eine gemeinsame mentale Landkarte, auf der verschiedene Gehirne verglichen werden können, was zu einem besseren Verständnis dafür führt, wie wir alle die Welt sehen, und es ermöglicht, die Gehirnaktivität einer Person basierend auf der einer anderen vorherzusagen.

Technisches Resümee: Aufgabengestützte Cross-Subject-Latent-Alignment via Multi-Encoder-Decoder VAE

Problemstellung

Die Ausrichtung neuronaler Aktivität über verschiedene Individuen hinweg ist essenziell, um gemeinsame computational Prinzipien zu entdecken und generalisierbare Decoder in den Neurowissenschaften aufzubauen. Herkömmliche Alignment-Methoden (z. B. Shared Response Models, Procrustes-Analyse, Hyperalignment) unterliegen jedoch einer kritischen Einschränkung: Sie erfordern gemeinsame Stimuli, die von allen Probanden betrachtet wurden, um Transformationsmatrizen abzuleiten. Diese Limitierung schränkt die Anwendbarkeit auf naturalistische Paradigmen massiv ein, in denen Probanden weitgehend nicht überlappende oder nicht geteilte Daten betrachten, was die Aggregation groß angelegter, cross-studienbezogener Neuroimaging-Datensätze verhindert. Darüber hinaus versagen Methoden, die ausschließlich auf geteilten Teilmengen trainiert wurden, oft bei der Generalisierung auf nicht geteilte, gehaltene Stimuli, da ihre Alignment-Transformationen möglicherweise nicht den für breitere Datensätze erforderlichen vollen Repräsentationsraum erfassen.

Methodik: MED-VAE

Die Autoren führen den Multi-Encoder-Decoder Variational Autoencoder (MED-VAE) ein, ein Framework, das darauf ausgelegt ist, Cross-Subject-Alignment ohne die Notwendigkeit gemeinsamer Stimuli zu erreichen. Die zentrale Erkenntnis besteht darin, ein vortrainiertes Künstliches Neuronales Netz (ANN) als computationales „Gerüst“ (Scaffold) zu nutzen, um Repräsentationen verschiedener Probanden in einem gemeinsamen latenten Raum zu verankern.

Architektur

Der MED-VAE verwendet eine Multi-Pathway-Architektur:

Probandenspezifische Encoder: Jeder Proband $i$ besitzt einen dedizierten Encoder ( $Enc_{fMRI}^i$ ), der dessen fMRT-Antworten ( $x_{fMRI}^i$ ) auf einen gemeinsamen $d$ -dimensionalen latenten Raum ( $z_i$ ) abbildet.
Gemeinsamer ANN-Encoder: Ein gemeinsamer Encoder ( $Enc_{ANN}$ ) bildet Merkmale eines vortrainierten ANNs (speziell ResNet-50) auf denselben latenten Raum ab.
Probandenspezifische Decoder: Jeder Proband hat einen dedizierten Decoder ( $Dec_{fMRI}^i$ ), der seine ursprünglichen Voxel-Muster aus dem latenten Raum rekonstruiert.
Gemeinsamer ANN-Decoder: Ein universeller Decoder ( $Dec_{ANN}$ ) rekonstruiert die ANN-Merkmale aus jeder latenten Repräsentation (ob abgeleitet vom ANN selbst oder von fMRT).

Trainingsziel

Das Modell wird mit einer Verlustfunktion trainiert, die vier Rekonstruktionspfade mit KL-Regularisierung integriert:

Innerhalb der Modalität fMRT: Rekonstruktion der fMRT-Daten eines Probanden aus seinem eigenen latenten Code.
Cross-modal ANN $\to$ fMRT: Rekonstruktion der fMRT-Daten eines Probanden aus dem durch den ANN-Encoder generierten latenten Code.
Innerhalb der Modalität ANN: Rekonstruktion der ANN-Merkmale aus dem durch den ANN-Encoder generierten latenten Code.
Cross-modal fMRT $\to$ ANN: Rekonstruktion der ANN-Merkmale aus einem durch fMRT abgeleiteten latenten Code eines Probanden.

Der gemeinsame ANN-Decoder fungiert als primärer Alignment-Mechanismus. Indem das Modell erzwingt, dass die latenten Repräsentationen aller Probanden dieselben hierarchischen visuellen Merkmale und semantischen Beziehungen rekonstruieren, die im ANN kodiert sind, wird ein impliziter Alignment-Druck erzeugt. Dies stellt sicher, dass semantisch ähnliche Stimuli (selbst wenn sie von verschiedenen Probanden betrachtet wurden) in der Nähe benachbarter Positionen im gemeinsamen latenten Raum abgebildet werden. Entscheidend ist, dass das ANN-Gerüst während des Trainings nur erforderlich ist; bei der Inferenz werden die Probanden unter Verwendung nur ihrer fMRT-Encoder in den gemeinsamen Raum projiziert.

Zentrale Beiträge

Eliminierung gemeinsamer Stimuli: MED-VAE erreicht Cross-Subject-Alignment ohne die Notwendigkeit, dass Probanden identische Stimuli betrachten, indem es stattdessen auf die strukturellen Priors eines vortrainierten ANNs zurückgreift.
Semantische Organisation: Die Methode erzeugt latente Räume mit überlegener semantischer Organisation, was durch höhere Silhouette-Scores und eine bessere Cross-Subject-Kategorie-Dekodiergenauigkeit im Vergleich zu traditionellen Methoden belegt wird.
Robuste Generalisierung: Im Gegensatz zu traditionellen Methoden, deren Leistung bei nicht geteilten Stimuli abnimmt, zeigt MED-VAE eine robuste Generalisierung auf gehaltene Bilder und erfasst somit subjekt-invariante Repräsentationen statt lediglich auf spezifische geteilte Teilmengen zu überfitten.
Signalerhaltung: Cross-Trial-Evaluierungen zeigen, dass während traditionelle Methoden eine höhere Within-Trial-Rekonstruktion aufweisen (was oft auf trial-spezifisches Rauschen zurückzuführen ist), MED-VAE ein äquivalentes Niveau an stimulusgetriebenem Signal bewahrt und gleichzeitig Rauschen unterdrückt.
Downstream-Nutzen: Der ausgerichtte Raum ermöglicht eine überlegene Cross-Subject-neuronale Vorhersage und Bilddekodierung, wodurch die Rekonstruktion der Gehirnaktivität eines Probanden aus der latenten Repräsentation eines anderen möglich wird.

Ergebnisse

Die Experimente wurden mit dem Natural Scenes Dataset (NSD) durchgeführt, bei dem 8 Probanden ca. 10.000 natürliche Bilder mit minimaler Überlappung betrachteten.

Semantische Struktur: Die MED-VAE-Latenzräume zeigten signifikant höhere Silhouette-Scores (0,34) im Vergleich zu SRM (0,22) und Procrustes (0,21), was auf eine kohärente Clusterung semantischer Kategorien hindeutet. Die Leave-one-subject-out-Dekodierung lieferte ebenfalls eine höhere Genauigkeit für MED-VAE.
Alignment-Metriken: MED-VAE erreichte eine höhere komponentenweise Korrelation (0,64 vs. 0,52/0,45) und höhere RSA-Scores (0,63 vs. 0,41/0,41) als die Baselines.
Generalisierungslücke: Traditionelle Methoden (SRM, Procrustes) zeigten einen signifikanten Leistungsabfall bei der Evaluierung auf einem semi-geteilten gehaltenen Set (128 Bilder) im Vergleich zu ihrem Trainingsset, während MED-VAE eine konsistente Leistung beibehielt, was zeigt, dass es nicht auf Stimulus-Überlappung für das Alignment angewiesen ist.
Cross-Subject-Retrieval: MED-VAE erreichte eine Top-1-Retrieval-Genauigkeit von 46,2 % auf dem gehaltenen Set, was mehr als doppelt so hoch ist wie die von SRM (21,8 %) und Procrustes (18,4 %).
Rauschen vs. Signal: Within-Trial-Rekonstruktionsmetriken bevorzugten traditionelle Methoden, aber die Cross-Trial-Evaluierung (Korrelation der Rekonstruktion von Trial $i$ mit der Ground Truth von Trial $j$ ) zeigte keinen signifikanten Unterschied zwischen den Methoden. Dies bestätigt, dass der Vorteil traditioneller Methoden auf der Rekonstruktion von trial-spezifischem Rauschen beruhte, während MED-VAE das stimulusgetriebene Signal gleichermaßen gut bewahrt.
Bilddekodierung: Wenn die Cross-Subject-Vorhersagen in einen gefrorenen MindEye2-Decoder eingespeist wurden, übertraf MED-VAE die Baselines in hochgradigen semantischen Maßen (z. B. CLIP-Ähnlichkeit, Inception-Scores), insbesondere in niedrigdimensionalen (32D) Räumen.

Bedeutung und Ansprüche

Das Paper behauptet, dass MED-VAE einen Rahmen bietet, um generalisierbare gemeinsame Subräume für Cross-Subject-Vorhersagen und Downstream-Aufgaben ohne den Engpass gemeinsamer Stimuli zu identifizieren. Durch den Ersatz von explizitem Stimulus-Matching durch implizite Constraints aus einem vortrainierten ANN ermöglicht die Methode:

Populationsweite Analysen auf Daten von Probanden, die unter unterschiedlichen Protokollen oder mit unterschiedlichen Stimuli gescannt wurden.
Cross-Subject-neuronale Vorhersage und Bilddekodierung mit minimaler pro-Subjekt-Kalibrierung.
Datenaugmentation für Probanden mit begrenzter Scan-Zeit durch das Nutzen ausgerichteter Daten anderer Probanden.

Die Autoren betonen, dass der gemeinsame Raum die computationale Organisation der visuellen Repräsentation (kategoriale Struktur und semantische Beziehungen) erfasst und nicht bloß arbiträre statistische Korrespondenzen. Sie merken an, dass die Qualität des Alignments fundamental durch die Model-Brain-Korrespondenz des gewählten ANN-Scaffolds (z. B. ResNet-50) begrenzt ist, was darauf hindeutet, dass Scaffolds mit stärkerer dynamischer oder temporaler Modellierung das Alignment in Zukunft weiter verbessern könnten. Das Framework wird als Schritt zur Aggregation von neurowissenschaftlichen Daten über Studien und Individuen hinweg präsentiert, um leistungsfähigere Untersuchungen zu ermöglichen.