Single-Cell Foundation Models in Biotechnology: A Scoping Review and Bibliometric Analysis of Multimodal AI for Cell-State, Perturbation, and Biomarker Prediction

Technische Samenvatting: Single-Cell Foundation Models in de Biotechnologie

Probleemstelling
Het vakgebied van de single-cell biologie heeft snel "foundation models" geadopteerd—grote neurale netwerken die zijn voorgetraind op brede datasets en zijn verfijnd voor specifieke taken—wat de trends in natuurlijke taalverwerking (NLP) en proteïnemodellering weerspiegelt. Hoewel modellen zoals Geneformer, scGPT en scBERT beloven universele embeddings te bieden voor celtoestand-analyse, perturbatievoorspelling en biomarker-ontdekking, blijven de systematische voordelen van deze architecturen ten opzien van eenvoudigere alternatieven onvolledig geëvalueerd. Kritische zorgen blijven bestaan met betrekking tot de strengheid van benchmarks, datalekken, reproduceerbaarheid, en de vraag of de gerapporteerde prestatiewinsten echt zijn of artefacten van een slecht experimenteel ontwerp. Er is een gebrek aan empirische, door code gedreven analyse die het landschap van deze modellen, de kwaliteit van hun benchmarks en de staat van reproduceerbaarheid in de literatuur karakteriseert.

Methodologie
Deze studie maakt gebruik van een systematische scoping review gecombineerd met een originele computationele bibliometrische analyse. De auteurs hebben een volledig geautomatiseerde pijplijn geconstrueerd om de tussen 2020 en april 2026 gepubliceerde literatuur te analyseren.

• Data Retrieval: Vier databases (PubMed, bioRxiv, Semantic Scholar, Crossref) werden bevraagd met acht gestructureerde zoekstrings, wat 1.295 ruwe records opleverde.
• Screening & Deduplicatie: Een programmatische relevantiefilter behield 1.249 records, gevolgd door deduplicatie (exacte DOI en fuzzy titel-matching), wat resulteerde in een definitieve corpus van 1.042 unieke records.
• Geautomatiseerde Extractie: Scripts extraheerden 45 velden per record, waaronder modelfamilie, taaktype, inputmoduliteit en reproduceerbaarheidsmarkers (code, gewichten, beschikbaarheid van data).
• Bibliometrische Analyse: De studie maakte gebruik van TF-IDF vectorisatie en K-means clustering (k=8) voor topic modeling, keyword co-occurrence netwerkanalyse en publicatie-tijdlijntracking.
• Kwaliteitsscore: Een aangepaste benchmark-kwaliteitsscore (0–4) werd programmatisch toegewezen op basis van de aanwezigheid van: (1) benoemde benchmark-datasets, (2) expliciete baseline-vergelijkingen, (3) expliciete evaluatiemetrieken, en (4) onafhankelijke validatie.
• Reproduceerbaarheidsaudit: Beschikbaarheid van code, modelgewichten en trainingsdata werd geflagd via keyword matching in abstracts om een samengestelde reproduceerbaarheidsindex te berekenen.

Belangrijkste Bijdragen

1. Systematische Landschapsmapping: Het artikel biedt de eerste grootschalige, door code gedreven karakterisering van het single-cell foundation model veld, waarbij 1.042 records worden gecategoriseerd naar architectuur, taak en modaliteit.
2. Audit van Benchmark-strengheid: Het introduceert een kwantitatief scoresysteem om de methodologische kwaliteit van benchmarking in dit domein te beoordelen, wat een systematisch gebrek aan baseline-vergelijkingen en onafhankelijke validatie onthult.
3. Beoordeling van Reproduceerbaarheid: De studie kwantificeert de "reproduceerbaarheidskloof" door de lage percentages van gedeelde code, gewichten en data te documenteren, en correleert deze met de benchmark-kwaliteit.
4. Kritische Evaluatie van Claims: De analyse test empirisch het narratief van "foundation model superioriteit" tegen de realiteit van gerapporteerde baselines en taakprestaties.

Belangrijkste Resultaten

• Publicatiegroei: Het veld heeft een ongeveer 24-voudige groei in jaarlijks publicatievolume ervaren tussen 2020 en 2025, met een scherp kantelpunt na 2022 die samenvalt met de opkomst van grote taalmodellen.
• Model Landschap: Multimodale fusie-architecturen zijn de dominante categorie (29,4%), gevolgd door standaard attention/transformer modellen (22,0%) en VAE-gebaseerde generatieve modellen (17,6%). Echte "foundation-scale" pretraining modellen (die enorme pretraining-objectieven claimen) vormen slechts 13,9% van de literatuur.
• Taakverdeling: Celtype-annotatie (29,9%), ruimtelijke reconstructie (28,6%) en perturbatievoorspelling (27,9%) zijn de meest voorkomende downstream taken.
• Benchmark Kwaliteit: De mediane benchmark-kwaliteitsscore is 1/4. Slechts 12,4% van de papers behaalt een score van 3 of 4. Cruciaal is dat expliciete baseline-vergelijkingen slechts in 25,7% van de abstracts voorkomen, en onafhankelijke validatie aanwezig is in slechts 9,3%.
• Reproduceerbaarheid: Code-beschikbaarheid is detecteerbaar in 40,4% van de records, terwijl modelgewichten (15,0%) en trainingsdata (19,5%) zelden worden gedeeld. De samengestelde reproduceerbaarheidsindex bedraagt gemiddeld 0,25.
• Baseline Prestaties: De analyse ondersteunt de bevinding dat eenvoudige baselines (bijv. logistische regressie op PCA-embeddings, scVI) vaak competitief zijn met grote transformer modellen, maar zelden worden opgenomen in gepubliceerde vergelijkingen.

Betekenis en Claims
Het artikel betoogt dat hoewel het veld snel groeit en geavanceerde tools produceert, de cumulatieve wetenschappelijke waarde momenteel beperkt wordt door inconsistente reproduceerbaarheid en benchmark-strengheid.

• Bescheiden Claims over Superioriteit: De auteurs stellen dat het bewijs voor de superioriteit van foundation models ten opzien van eenvoudige baselines vaak zwak of contextafhankelijk is. Voor taken zoals celtype-annotatie tonen gepre-trainde representaties bescheiden maar consistente voordelen in few-shot scenario's, maar claims van enorme winsten in perturbatievoorspelling of medicijnrespons worden vaak niet ondersteund door rigoureuze out-of-distribution testen.
• De "Schaal"-vraag: Het artikel merkt op dat veel modellen die als "foundation models" worden bestempeld, getraind zijn op dataschalen (tienduizenden tot honderdduizenden cellen) die orden van grootte kleiner zijn dan die van NLP-tegenhangers, en dat de biologische noodzaak van dergelijke schaling niet rigoureus is aangetoond.
• Oproep tot Standaardisatie: De primaire betekenis van dit werk is de identificatie van specifieke hiaten: de noodzaak van gestandaardiseerde benchmark-suites (analoog aan GLUE in NLP), verplichte inclusie van eenvoudige baselines in evaluaties, en infrastructuur voor het delen van modelgewichten. De auteurs concluderen dat een bredere adoptie van open code, data en gestandaardiseerde protocollen vereist is om het veld te laten overgaan van een periode van snelle proliferatie naar een periode van cumulatieve, reproduceerbare wetenschappelijke vooruitgang.