openretina: Collaborative Retina Modelling Across Datasets and Species

Dit artikel introduceert openretina, een modulaire Python-pakket dat een gestandaardiseerd, open en samenwerkend ecosysteem biedt voor het modelleren, evalueren en analyseren van retinale computatie over verschillende datasets en soorten heen, om de fragmentatie in het veld aan te pakken en reproduceerbare voortgang te bevorderen.

De kern

Het OpenRetina-project: Een gemeenschappelijke keuken voor het oog

Stel je voor dat het netvlies van je oog (de retina) een superkrachtige, minieme computer is die elke seconde beelden van de wereld om je heen verwerkt. Wetenschappers proberen al decennia lang om precies te begrijpen hoe deze "computer" werkt. Ze bouwen wiskundige modellen om na te bootsen wat de cellen in je oog doen.

Maar tot nu toe was dit onderzoek een beetje chaotisch. Het leek op een wereld waar elke kok (wetenschapper) zijn eigen recepten, eigen potten en eigen maten gebruikte. Als kok A een taart maakte en kok B wilde kijken of hij die taart kon verbeteren, kon hij dat niet, omdat de ingrediëntenlijst van kok A in een ander land geschreven was en de maten anders waren. Dit maakte het moeilijk om resultaten te vergelijken of samen te werken.

Enter OpenRetina: De universele keuken

Dit nieuwe paper introduceert OpenRetina. Dit is geen nieuw recept voor een taart, maar een gemeenschappelijke keuken met standaardgereedschap. Het is een gratis softwarepakket (een toolbox voor computers) dat het voor iedereen mogelijk maakt om op dezelfde manier te koken (modelleren) en te proeven (evalueren).

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Core + Readout" Bouwset

Stel je voor dat je een robot wilt bouwen die kan zien. OpenRetina gebruikt een slimme bouwset die bestaat uit twee delen:

• De Core (De Motor): Dit is het gedeelte dat het beeld "begrijpt". Het kijkt naar het licht en de vormen, net als de hersenen die de basisinformatie verwerken. Deze motor is voor iedereen hetzelfde.
• De Readout (De Besturing): Dit is het gedeelte dat de motor koppelt aan een specifieke uitkomst. Het zegt: "Als de motor dit ziet, moet deze specifieke cel in het oog reageren."

De kracht van OpenRetina is dat je de motor kunt vervangen door een krachtigere versie (een nieuw model) zonder de hele keuken opnieuw te hoeven bouwen. Je kunt ook verschillende motoren testen om te zien welke het beste werkt.

2. Een Universele Talen (Data)

Vroeger stuurde lab A zijn data in een mapje met een vreemde naam, en lab B kon het niet openen. OpenRetina zorgt ervoor dat alle data in HDF5 wordt opgeslagen.

• Analogie: Stel je voor dat alle labs nu een universele USB-stick gebruiken. Of je nu een muis, een salamander of een marmoset bestudeert, de data komt in hetzelfde formaat binnen. Je hoeft niet meer te vertalen; de software doet het automatisch.

3. De "Proefkeuken" (Benchmarking)

In de keuken van OpenRetina hebben ze een standaard "proeftaak" bedacht. Ze geven alle modellen dezelfde film te kijken en vragen: "Hoe goed voorspel jij wat de cellen in het oog doen?"

• Ze gebruiken eerlijke meetlatjes (zoals de FEVE, wat staat voor "Hoeveel van de variatie in het antwoord heb jij echt begrepen?").
• Hierdoor kunnen wetenschappers eerlijk zeggen: "Model X is beter dan Model Y," in plaats van: "Mijn model is beter omdat ik mijn eigen meetlatjes gebruikte."

4. De "Magische Versterker" (In Silico Analyse)

Dit is misschien wel het coolste deel. Soms is het lastig om te weten waarom een model iets doet. OpenRetina heeft een magische knop: Optimalisatie.

• Het idee: Je kunt de computer vragen: "Wat is het allerlekkerste eten voor deze ene cel?" (in de wereld van de cel is dat een heel specifiek lichtpatroon).
• De computer "droomt" dan een beeld op dat de cel extreem enthousiast maakt.
• Ze kunnen ook vragen: "Wat is het beeld dat cel A blij maakt, maar cel B juist verdrietig?"
• Dit helpt wetenschappers om te zien welke patronen in het licht de cellen echt aanspreken, zonder dat ze duizenden uren in een lab hoeven te zitten met echte dieren.

Wat hebben ze ontdekt?

Door deze nieuwe, gemeenschappelijke keuken te gebruiken, hebben ze twee belangrijke dingen gezien:

1. We zijn nog niet klaar: Zelfs de slimste computermodellen die we nu hebben, missen nog veel details. Ze kunnen het gedrag van het oog goed voorspellen, maar niet perfect. Er is nog veel werk te doen.
2. Het is lastig te vergelijken: Als je modellen van verschillende labs vergelijkt, zie je enorme verschillen. Soms komt dat door het model, soms door de data (bijvoorbeeld: hoeveel keer is hetzelfde filmpje getoond?). OpenRetina helpt om deze verwarring op te lossen door alles op één lijn te brengen.

Conclusie

OpenRetina is een uitnodiging aan de hele wetenschappelijke wereld: "Kom samen in deze keuken." In plaats van dat elke lab zijn eigen eilandje is, kunnen ze nu elkaars recepten gebruiken, elkaars resultaten vergelijken en samenwerken om het geheim van het zien eindelijk volledig op te lossen.

Het is een stap van "iedereen doet het voor zich" naar "samen bouwen we de ultieme kaart van het menselijk oog."

Technische samenvatting

Probleemstelling

Het modelleren van het netvlies (retina) is een langdurige uitdaging in de computationele en systeemneurowetenschappen. Hoewel diepe leermethodes (deep learning) de voorspellende nauwkeurigheid van modellen voor retinale ganglioncellen (RGC's) aanzienlijk hebben verbeterd, blijft de veldversnippering een groot obstakel:

• Fragmentatie: Data, code en analysepraktijken zijn verspreid over verschillende laboratoria, elk met eigen bestandsformaten, trainingspipelines en evaluatiemethoden.
• Reproduceerbaarheid: Door het ontbreken van gestandaardiseerde protocollen is het moeilijk om resultaten te reproduceren, modellen te vergelijken of voort te bouwen op bestaand werk.
• Toegankelijkheid: De drempel voor onderzoekers zonder sterke machine learning-ervaring is hoog, wat de cumulatieve vooruitgang beperkt.

Er is een dringende behoefte aan een open, collaboratief ecosysteem om de veld te verplaatsen van geïsoleerde studies naar een unificerend, kwantitatief verslag van retinale berekening.

Methodologie: Het openretina Framework

Het paper introduceert openretina, een modulaire Python-pakket gebaseerd op PyTorch, dat een gestandaardiseerde omgeving biedt voor het trainen, evalueren en interpreteren van neurale netwerkmodellen van het netvlies.

1. Architectuur: "Core + Readout"
Het framework hanteert een bewezen architectuur die bestaat uit twee componenten:

• Core: Een gedeelde laag (vaak een CNN of GRU) die de visuele input verwerkt en een rijke feature-representatie extraheren. Deze is neuron-onafhankelijk.
• Readout: Een neuron-specifieke laag die de output van de Core afbeeldt naar de vuursnelheid (firing rate) van individuele neuronen.
  Deze scheiding maakt het model zowel flexibel als uitbreidbaar; klassieke modellen (zoals LNP) en complexe deep learning-architecturen kunnen binnen hetzelfde raamwerk worden geïmplementeerd.

2. Data Standaardisatie en Interoperabiliteit

• Formaat: Alle data wordt opgeslagen in het HDF5-formaat, wat het bundelen van hoge-dimensionale stimulus- en responsarrays met uitgebreide metadata (zoals celtype, temperatuur, preprocessing-details) mogelijk maakt.
• Input: Stimuli worden behandeld als videotensors (beeldcomputable), ongeacht of het gaat om witte ruis, natuurlijke films of synthetische patronen.
• Datasets: Het pakket integreert momenteel vijf openbare datasets van verschillende soorten (tijger salamander, muis, marmoset, axolotl) en opnamemodi (MEA, 2P calcium imaging). Voor elke dataset worden voorbewerkte data-loaders en voorgeprogrammeerde modelcheckpoints geleverd.

3. Training en Evaluatie

• Pipeline: De training wordt beheerd via PyTorch Lightning, wat logging, checkpointing en gedistribueerde training vereenvoudigt. Een configuratiebesturingssysteem (gebaseerd op YAD) maakt het mogelijk om architectuurcomponenten en datasets dynamisch te wisselen.
• Metingen: Er wordt een unificerend setje evaluatiemetrics gebruikt, waaronder:
  • Pearson Correlatie: Voor lineaire overeenstemming.
  • FEVE (Fraction of Explainable Variance Explained): Een noise-correctie variant van $R^2$ die rekening houdt met trial-to-trial variabiliteit.
  • Leave-One-Out Oracle: Om de theoretische bovengrens van prestaties te schatten.

4. In silico Analyse en Interpretatie
Het pakket biedt tools om de "black box" van neurale netwerken te openen:

• Optimalisatie van Stimuli: Het genereren van MEI's (Maximally Exciting Inputs) door de stimulus te optimaliseren om de respons van een neuron te maximaliseren.
• Discriminerende Stimuli: Het vinden van stimuli die specifieke neuronengroepen activeren terwijl andere worden onderdrukt.
• Visualisatie van Gewichten: Het visualiseren van ruimtelijke en temporele convolutiegewichten en readout-masks om mechanistische inzichten te krijgen.
• Gradient Field Analysis: Het analyseren van de gradiënt van de stimulus-responsfunctie om de stabiliteit van optimale stimuli en ruimtelijke contrastgevoeligheid te onderzoeken.

Belangrijkste Resultaten

1. Prestatieverbetering: Binnen-dataset benchmarks (op de Höfling et al., 2024 dataset) tonen aan dat deep learning-modellen (CNN's en GRU's) aanzienlijk beter presteren dan traditionele lineaire modellen (LNP). Het gebruik van hogere resolutie en kleurgewijzigde input (UV/Groen) leidt tot hogere FEVE-scores.
2. Cross-dataset Vergelijking: Het paper presenteert de eerste gestandaardiseerde vergelijking van modellen over vijf verschillende datasets. De resultaten tonen grote variatie in prestaties (FEVE varieert van 0,45 tot 0,81), wat wijst op de invloed van experimentele factoren (soort, stimulus, aantal herhalingen).
3. Onverklaarde Variatie: Zelfs de beste modellen laten een aanzienlijke hoeveelheid "verklaarbare variantie" onverklaard. Dit suggereert dat er nog ruimte is voor verbetering in architectuur of dat er fundamentele beperkingen in de huidige data liggen.
4. Gradient Field Inzicht: Een specifieke analyse toont aan dat de instabiliteit van MEI's bij ON-OFF cellen kan worden verklaard door het gradiëntveld van de stimulus-responsfunctie. Dit verklaart waarom optimalisatiealgoritmen afhankelijk van initialisatie tot stimuli met tegenovergestelde polariteit kunnen convergeren.

Bijdragen en Significantie

De openretina-initiatief is een mijlpaal voor de retinale onderzoeksgemeenschap met de volgende kernbijdragen:

• Unificatie: Het creëert een gemeenschappelijke taal en infrastructuur voor data, modellen en evaluatie, waardoor directe vergelijking tussen laboratoria mogelijk wordt.
• Democratisering: Door voorgeprogrammeerde checkpoints en een gebruiksvriendelijke interface wordt de drempel verlaagd voor neurowetenschappers om deep learning toe te passen.
• Reproduceerbaarheid: Het biedt een solide basis voor reproduceerbare wetenschap door open data, open code en gestandaardiseerde benchmarks.
• Toekomstperspectief: Het project fungeert als een "hub" die de weg vrijmaakt voor toekomstige ontwikkelingen, zoals het integreren van mechanistische modellen, cross-species generalisatie en het gebruik van geavanceerdere evaluatiemetrics (zoals Information Gain).

Kortom, openretina transformeert retinale modellering van een verzameling van geïsoleerde projecten naar een collaboratief, kwantitatief veld, wat essentieel is voor het begrijpen van de computationele principes van het visuele systeem.