🧬 biology

LITcoder: A General-Purpose Library for Building and Comparing Encoding Models

LITcoder is een open-source, modulaire bibliotheek die is ontworpen om de ontwikkeling, benchmarking en systematische vergelijking van neurale coderingsmodellen te stroomlijnen door gestandaardiseerde hulpmiddelen te bieden voor het afstemmen van continue stimuli op hersendata, terwijl het praktische inzichten biedt in kritieke methodologische keuzes voor continue fMRI-analyse.

Oorspronkelijke auteurs: Taha Binhuraib, Ruimin Gao, Anna A. Ivanova

Gepubliceerd 2026-05-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Taha Binhuraib, Ruimin Gao, Anna A. Ivanova

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Stel je voor dat je probeert te begrijpen hoe het menselijk brein werkt door naar een verhaal te luisteren. Wetenschappers willen al lang een "decoder" bouwen die precies kan voorspellen waar je brein aan denkt, enkel op basis van het verhaal dat je hoort. Dit noem je een encoding-model.

Het bouwen van deze modellen is echter geweest als het proberen een taart te bakken waarbij elke kok een andere oven, een ander meetbekertje en een ander recept gebruikt. De ene groep meet ingrediënten in koppen, de andere in grammen; de ene bakt op 175°C, de andere op 200°C. Hierdoor is het bijna onmogelijk geweest om hun resultaten te vergelijken of te weten wie eigenlijk de beste taart heeft gebakken.

Maar dan komt LITcoder. Denk aan LITcoder als een universele, open-source keuken voor breinwetenschappers. Het biedt een gestandaardiseerde set tools, ovens en meetbekertjes, zodat iedereen een "breinvoorspellingstaart" kan bakken en deze eerlijk kan vergelijken met die van een ander.

Hier is hoe LITcoder werkt, met eenvoudige analogieën:

1. De Assemblagelijn (Data Voorbereiding)

Eerst heb je twee zeer verschillende dingen: het verhaal (tekst of audio) en de hersenscan (fMRI-data).

Het Probleem: Verhalen gaan snel (woorden per seconde), maar hersenscans gaan traag (één "snapshot" elke 2 seconden). Het is alsof je probeert een video van een raceauto op hoge snelheid te matchen met een foto die eens per minuut wordt genomen.
De LITcoder-oplossing: Het gebruikt een module genaamd de AssemblyGenerator om het verhaal en de hersenscan perfect in de tijd op elkaar af te stemmen. Vervolgens gebruikt het een Downsampler om uit te zoeken hoe de snelle woorden kunnen worden gecombineerd tot de trage hersensnapshots.
- Analogie: Stel je voor dat je probeert een film te beschrijven aan iemand die maar één frame elke 10 seconden ziet. Laat je ze dan alleen het laatste frame voor de knip zien? Of middelt je het hele 10-seconden-interval? LITcoder stelt onderzoekers in staat om verschillende manieren om dit te doen te testen (zoals het "middelen" van woorden versus gewoon het "laatste woord" kiezen) om te zien welke methode het waarheidsgetrouwste verhaal vertelt.

2. De Vertaler (Feature Extractie)

Zodra de data is uitgelijnd, moet de computer het verhaal vertalen naar een taal die het breinmodel begrijpt.

De LITcoder-oplossing: Het gebruikt een FeatureExtractor. Dit kan een simpele vertaler zijn (het tellen van hoeveel woorden er per minuut worden gesproken) of een super-slimme vertaler (met behulp van geavanceerde AI zoals GPT-2 of Whisper om de betekenis van de woorden te begrijpen).
Analogie: Denk hieraan als het vertalen van een boek naar verschillende dialecten. Eén dialect is "Woordtelling", een ander is "Eenvoudige Betekenis" en een ander is "Diepe AI-Verstaan". LITcoder stelt wetenschappers in staat om deze vertalers direct te verwisselen om te zien welke het breinactiviteit het beste helpt voorspellen.

3. De Tijdmachine (Hemodynamische Vertraging)

Er is een lastige vertraging in het brein. Wanneer je een woord hoort, licht je brein niet direct op; het duurt een paar seconden voordat de bloedtoevoer reageert (zoals een traag werkende lichtschakelaar).

De LITcoder-oplossing: Het gebruikt een tool genaamd FIR (Finite Impulse Response). In plaats van aan te nemen dat het brein direct reageert, kijkt het naar het huidige woord en de woorden van de laatste paar seconden om de reactie van het brein te voorspellen.
Analogie: Als je in een drukke kamer "Brand!" schreeuwt, is de reactie niet direct. Mensen kijken om zich heen, hijgen dan, en rennen dan pas. LITcoder houdt rekening met deze "vertraagde reactie" zodat het model niet in de war raakt over wanneer het brein eigenlijk reageert.

4. De Eerlijke Rechter (Evaluatie & Veiligheid)

Het grootste gevaar bij deze experimenten is per ongeluk "valsspelen". Als je je model traint op een verhaal en het vervolgens test op een deel van het verhaal dat er direct naast ligt, kan het model gewoon het patroon van de tijd hebben gememoriseerd in plaats van het verhaal daadwerkelijk te begrijpen.

De LITcoder-oplossing: Het dwingt onderzoekers om strikte Cross-Validation-regels te gebruiken. Het zorgt ervoor dat de "trainingsdata" en "testdata" ver genoeg uit elkaar liggen in de tijd, zodat het model niet kan valsspelen.
Analogie: Stel je een student voor die een toets maakt. Als de leraar de antwoorden op de toets tijdens de studiesessie geeft, halen ze een perfect cijfer, maar hebben ze eigenlijk niets geleerd. LITcoder zorgt ervoor dat de "toets" een volledig ander hoofdstuk van het verhaal is, zodat het model echt slim is en niet gewoon geluk heeft.

Wat Vonden Ze?

Met behulp van deze nieuwe keuken testten de auteurs drie verschillende verhaaldatasets (zoals De Kleine Prins en diverse audieverhalen) en vonden ze enkele belangrijke dingen:

Kies niet zomaar het laatste woord: Bij het matchen van snelle woorden met trage hersenscans werkt het kijken naar alle woorden in een tijdvenster beter dan alleen het allerlaatste woord te kiezen.
Tijd telt: Je moet rekening houden met die 2-3 seconden vertraging in de reactie van het brein. Het negeren ervan maakt het model minder accuraat.
Laat de data niet valsspelen: Als je de volgorde van het verhaal verwart tijdens het testen, ziet het model er veel beter uit dan het werkelijk is. LITcoder helpt deze "illusie" van succes te voorkomen.
Hoofdbeweging is de vijand: Als iemand tijdens de scan te veel met zijn hoofd beweegt, raakt het model in de war en presteert het slecht. LITcoder helpt wetenschappers deze "wiebelende" deelnemers op te sporen en te filteren.

De Conclusie

LITcoder is geen wonderpil die ziekten geneest of direct gedachten leest. In plaats daarvan is het een gereedschapskist voor het bouwen van betere, eerlijkere en betrouwbaardere experimenten. Het stopt wetenschappers met het opnieuw uitvinden van het wiel elke keer dat ze het brein willen bestuderen, waardoor ze zich kunnen richten op de echte wetenschap: het begrijpen van hoe onze hersenen de verhalen verwerken die we horen.

Technische Samenvatting: LITcoder

Probleemstelling

Het veld van neurale encoderingsmodellen, met name die welke hersenreacties voorspellen op continue prikkels zoals taal, heeft een snelle groei doorgemaakt maar lijdt onder aanzienlijke methodologische heterogeniteit. Verschillende onderzoeksgroepen maken gebruik van uiteenlopende ontwerpkeuzes met betrekking tot feature-extractie, temporele uitlijning, downsampling-strategieën en cross-validatieprotocollen. Dit gebrek aan gestandaardiseerde infrastructuur bemoeilijkt replicatie, belemmert vergelijkingen tussen papers en introduceert systematische biases (bijvoorbeeld temporele autocorrelatie die prestaties opblaast) die moeilijk te beheersen zijn zonder geprincipeerde pipelines. Hoewel frameworks zoals Brain-Score standaardisatie bieden, fixeren ze vaak ontwerpkeuzes, waardoor de flexibiliteit die nodig is om te experimenteren met diverse configuraties van encoderingsmodellen, wordt beperkt.

Methodologie

De auteurs introduceren LITcoder, een open-source, modulaire backendbibliotheek die is ontworpen om de constructie en benchmarking van neurale encoderingsmodellen te standaardiseren terwijl flexibiliteit wordt behouden. De bibliotheek implementeert een vierfasige pipeline:

Data Voorbereiding en Assemblage: De AssemblyGenerator-module verwerkt fMRI-data in BIDS-formaat, stimulustranscripten en tijdstempels. Het aligneert hersendata (volume- of oppervlakruimte) met prikkels om tijd-gekoppelde hersen-stimulusparen te produceren. Het ondersteunt diverse anatomische masks (bijvoorbeeld Glasser-atlas, LanA-taalnetwerk) en strategieën voor contextvensters (volledig, half of reset context).
Feature Extractie: De FeatureExtractor-module transformeert prikkels naar representatieve features. Het ondersteunt een breed scala aan bronnen, waaronder vooraf getrainde taalmodellen (bijvoorbeeld GPT-2, Pythia), spraakmodellen (bijvoorbeeld Whisper, HuBERT), statische embeddings (GloVe, word2vec) en low-level baselines (bijvoorbeeld woordtempo). Nieuwe extractors kunnen worden toegevoegd door af te leiden van een basisklasse.
Downsampling naar Neurale Data: De Downsampler lost het temporele verschil op tussen hoogfrequente token-activaties (bijvoorbeeld ~3–4 tokens/s) en trage fMRI-bemonstering (TR's van 1,5–2s). Het implementeert meerdere pooling- en filterstrategieën, waaronder som-pooling, gemiddelde pooling, selectie van de laatste token en Lanczos-filtering, om features te aggregeren tot TR-grote vensters.
Voorspelling en Evaluatie van Hersenreacties: De Mapping-module voert voxel- of vertex-gewijze ridge-regressie uit. Het integreert Finite Impulse Response (FIR)-modellering om rekening te houden met hemodynamische vertraging door featurevectoren uit te breiden met $k$ vertraagde kopieën. Het ondersteunt flexibele cross-validatieschema's (standaard k-fold, aaneengesloten folds en aaneengesloten folds met randtrimming) om temporeel lekken te mitigeren. De FIRExpander-klasse behandelt specifiek de constructie van vertraagde feature-matrices.

De bibliotheek bevat een Logger voor systeembrede monitoring, die integreert met backends zoals Weights & Biases (W&B), TensorBoard en CSV/JSON, en ondersteuning biedt voor uitvoering in lokale, HPC- en SLURM-omgevingen.

Belangrijkste Bijdragen

Modulaire Infrastructuur: LITcoder biedt een geünificeerde, uitbreidbare backend die kernpipelinecomponenten (uitlijning, extractie, downsampling, mapping) ontkoppelt van frontend-interfaces, waardoor onderzoekers ontwerpkeuzes kunnen wisselen zonder de infrastructuur opnieuw te moeten schrijven.
Gestandaardiseerde Methodologische Controles: De bibliotheek dwingt best practices af voor kritieke methodologische keuzes, zoals het rekening houden met alle tokens binnen een TR (in plaats van alleen de laatste), het modelleren van hemodynamische vertraging via FIR, en het gebruik van train-test splits die informatielekken minimaliseren (bijvoorbeeld aaneengesloten folds met randtrimming).
Systematische Vergelijking: Door de pipeline te unificeren, maakt LITcoder directe, eerlijke vergelijkingen mogelijk over verschillende datasets, families van features en methodologische configuraties.

Experimentele Resultaten

De auteurs hebben LITcoder geëvalueerd met behulp van drie natuurlijke verhaal-luister fMRI-datasets: LeBel, Narratives en Little Prince.

Families van Features: Taalmodellen (GPT-2, Pythia) presteerden consistent beter dan statische embeddings, spraakmodellen en woordtempo-baselines bij het voorspellen van neurale reacties binnen het taalnetwerk. De voorspelbaarheid schaalde met modelgrootte (bijvoorbeeld grotere Pythia-modellen leverden hogere scores op).
Downsampling en Temporele Modellering: Aggregatiestrategieën die alle tokens binnen een TR-venster integreerden (som/gemiddelde pooling, Lanczos-filtering) leverden hogere voorspelbaarheid op dan "laatste-token"-selectie. FIR-modellering verbeterde de prestaties tot een dataset-specifiek plateau (ongeveer 9–12 seconden voor TR=2,0s), waarna de meerwaarde afnam.
Cross-Validatie Strategie: Experimenten toonden aan dat geschudde (gerandomiseerde) cross-validatie folds de voorspelbaarheidsscores kunstmatig opblazen door temporeel lekken. Aaneengesloten folds zorgden voor conservatievere benchmarks, en het toevoegen van randtrimming mitigeerde lekken van naburige steekproeven verder.
Hoofdbeweging: Er werd een consistente negatieve correlatie waargenomen tussen hoofdbeweging (mean framewise displacement) en de voorspelbaarheid van het encoderingsmodel over alle datasets, wat aangeeft dat beweging een betekenisvol deel van de variantie tussen proefpersonen verklaart.

Betekenis en Claims

Het artikel beweert dat LITcoder technische drempels voor het implementeren van encoderingsmodellen verlaagt en systematische, reproduceerbare vergelijkingen tussen modellen en datasets faciliteert. Door een flexibel maar rigoureus framework te bieden, streeft het ernaar methodologische strengheid in het veld te bevorderen. De auteurs benadrukken dat de bibliotheek niet alleen bestaande workflows automatiseert, maar de kritieke belangrijkheid van specifieke ontwerpkeuzes onderstreept—zoals juiste temporele uitlijning, modellering van hemodynamische vertraging en bewegingscontrole—die de gerapporteerde voorspelbaarheid aanzienlijk beïnvloeden. De tool wordt gepositioneerd als een aanvulling op gestandaardiseerde benchmarks zoals Brain-Score, en biedt de flexibiliteit die nodig is om de enorme ontwerpruimte van encoderingsmodellen te verkennen, terwijl transparantie en reproduceerbaarheid worden gewaarborgd.