Classification with Missing Data - A NIFty Pipeline for Single-Cell Proteomics

Dit artikel introduceert NIFty, een classificatiepijplijn voor single-cell proteomics die labels toewijst zonder dat imputatie of batch-correctie nodig is, waardoor het de beperkingen van bestaande methoden overwint en nauwkeurige resultaten levert.

De kern

NIFty: De slimme tolk voor cellen zonder "geheugen" te hoeven vullen

Stel je voor dat je een enorme bibliotheek hebt vol met boeken (cellen), maar de titels op de ruggen zijn afgebladderd. Je wilt weten welk boek welk verhaal vertelt (bijvoorbeeld: is dit een spiercel of een zenuwcel?). In de wereld van de single-cell proteomics (het meten van duizenden eiwitten in één enkele cel) is dit precies het probleem. Vaak weten we niet welke cel wat is voordat we gaan meten.

Om dit op te lossen, gebruiken wetenschappers computers om patronen te zoeken. Maar tot nu toe hadden deze computerprogramma's drie grote problemen. De nieuwe tool NIFty (wat staat voor Never Impute Features, thank you – "Vul nooit gegevens in, bedankt") lost deze problemen op.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het probleem van de "geheugenloze" data (Ontbrekende stukjes)

In de biologie is het meten van eiwitten in één cel als het proberen te horen wat er in een drukke zaal wordt gezegd, terwijl er veel stiltes zijn. Soms is een eiwit gewoon niet te meten (het is te weinig aanwezig).

• De oude manier: Computers konden niet werken met die stiltes. Ze moesten de ontbrekende stukjes "invullen" (imputatie) met een gok. Dit is alsof je een raadsel invult met willekeurige woorden omdat je niet weet wat er staat. Dit kan leiden tot fouten, alsof je een raadsel oplost met de antwoorden die je zelf hebt verzonnen.
• De NIFty-oplossing: NIFty is slim genoeg om met de stiltes te werken. Het kijkt niet naar het exacte aantal eiwitten, maar naar de relatie tussen twee eiwitten.
  • Vergelijking: In plaats van te vragen "Hoeveel gram suiker zit er in deze appel?", vraagt NIFty: "Is deze appel zoeter dan die peer?"
  • Zelfs als je niet weet hoeveel suiker er precies in zit (ontbrekende data), weet je vaak nog steeds dat de appel zoeter is dan de peer. NIFty maakt een lijstje van deze vergelijkingen ("Appel > Peer" = Ja/Nee) en gebruikt dat als basis. Zo heeft het geen "invulwerk" nodig.

2. Het probleem van het "cirkelredeneren" (Double Dipping)

Stel je voor dat je een groep mensen probeert te verdelen in "sporters" en "niet-sporters".

• De oude manier: Je kijkt naar hun snelheid om ze in groepen te verdelen. Daarna vraag je je af: "Zijn de sporters echt sneller?" Het probleem is dat je hetzelfde criterium (snelheid) hebt gebruikt om ze in te delen én om te bewijzen dat ze sneller zijn. Dat is als een rechter die de verdachte veroordeelt op basis van zijn eigen getuigenis. In de wetenschap noemen we dit "double dipping" en het leidt tot vals positieve resultaten.
• De NIFty-oplossing: Omdat NIFty kijkt naar vergelijkingen binnen één cel (Is eiwit A groter dan eiwit B?), en niet naar vergelijkingen tussen verschillende cellen, breekt deze cirkel. Je kunt de cellen indelen zonder dat je de gegevens "opgebruikt" voor je analyse. Het is alsof je mensen indelt op basis van hun favoriete kleur, en daarna pas kijkt of die kleur iets te maken heeft met hun snelheid.

3. Het probleem van de "vertaalproblemen" (Batch-effecten)

Stel je voor dat je foto's maakt van dezelfde bloem, maar elke foto is gemaakt met een andere camera, onder een ander licht en met een ander filter. Als je deze foto's naast elkaar legt, lijken ze totaal verschillend, terwijl het dezelfde bloem is. In de wetenschap noemen we dit "batch-effecten".

• De oude manier: Je moest eerst alle foto's "nabewerken" (normaliseren) zodat ze op elkaar leken, voordat je ze kon vergelijken. Dit is vaak lastig en kan de echte details verpesten.
• De NIFty-oplossing: NIFty kijkt niet naar hoe de bloem eruitziet op de foto (de absolute waarde), maar naar de verhouding tussen de bloemblaadjes op die specifieke foto.
  • Vergelijking: Het maakt niet uit of de foto donker of licht is; als het rode bloemblaadje altijd groter is dan het gele, is dat een vast patroon. NIFty is dus onkwetsbaar voor de "slechte camera's" of verschillende labs die de data hebben gemaakt. Het werkt zelfs als je data uit verschillende bronnen (met verschillende "filters") combineert.

Wat betekent dit voor de toekomst?

De auteurs van het artikel willen een grote "atlas" maken van alle soorten cellen in het menselijk lichaam, gebaseerd op data van veel verschillende laboratoria.

• Vroeger: Je kon alleen data gebruiken als het perfect was opgeschoond en als het van één lab kwam.
• Met NIFty: Je kunt data van over de hele wereld samenvoegen, zelfs als het data is met ontbrekende stukjes of met verschillende meetfouten. NIFty fungeert als een universele tolk die de verschillen negeert en alleen kijkt naar de echte, biologische signalen.

Kortom: NIFty is een slimme, nieuwe manier om cellen te herkennen die geen "geheugen" hoeft te vullen, geen cirkels redeneert en niet bang is voor slechte camera's. Het maakt het mogelijk om een completer en accurater beeld te krijgen van hoe ons lichaam werkt, zonder de data eerst kunstmatig te "repareren".

Technische samenvatting

Probleemstelling

Enkelcellen-proteomica (SCP) biedt unieke mogelijkheden voor het karakteriseren van celtypen, het afleiden van trajecten en het in kaart brengen van micro-omgevingen. Een cruciale stap in deze analyses is het labelen van cellen (celannotatie). Huidige machine learning-methoden voor deze annotatie kampen echter met drie fundamentele statistische en computationele nadelen:

1. Dubbel gebruik van data (Double Dipping): Traditionele methoden gebruiken dezelfde abundantie-metingen om cellen te clusteren of te classificeren en vervolgens opnieuw voor downstream-analyses (zoals differentiële expressie). Dit leidt tot kunstmatig geïnfleerde significantie en ongeldige resultaten.
2. Imputatie van ontbrekende waarden: SCP-data bevat een groot aantal ontbrekende waarden (null-waarden) door lage abundantie of stochasticiteit in LC-MS. Traditionele algoritmen vereisen complete data, waardoor imputatie noodzakelijk is. Dit proces is moeilijk om correct uit te voeren en kan de ware biologische variatie verstoren.
3. Batch-effecten: Metingen uit verschillende experimenten zijn vaak niet direct vergelijkbaar door batch-effecten (veroorzaakt door preparatie, instrumentatie of verwerking). Dit beperkt de nauwkeurigheid van classificeerders die zijn getraind op externe data.

Methodologie: De NIFty Pipeline

De auteurs introduceren NIFty (Never Impute Features, thank you), een classificatie-pipeline die gebaseerd is op het concept van Top-Scoring Pairs (TSP). In plaats van absolute abundantiewaarden van eiwitten te gebruiken als features, gebruikt NIFty paarsgewijze vergelijkingen binnen een enkel monster.

Kerninnovaties en Implementatie:

• Feature Generatie (Intra-sample vergelijking):

  • Features zijn regels van de vorm: "Eiwit A > Eiwit B".
  • Voor elk monster wordt deze regel geëvalueerd: als waar (1), anders onwaar (0).
  • Dit creëert een binaire feature-matrix. Omdat de vergelijking binnen hetzelfde monster plaatsvindt, zijn absolute abundantiewaarden tussen monsters niet nodig, wat batch-effecten inherent oplost.
  • Omgaan met ontbrekende data: De regels worden uitgebreid om ook aanwezigheid/afwezigheid te behandelen. Een regel kan bijvoorbeeld zijn: "Eiwit A > Eiwit B" OF "Eiwit A is aanwezig en Eiwit B is afwezig". Hierdoor kunnen incomplete data-matrices direct worden gebruikt zonder imputatie.

• Feature Selectie:

  • Filtering: Eiwitten met een te hoog percentage ontbrekende waarden (standaard >50%) worden verwijderd.
  • Scoren: Elke regel krijgt een score op basis van hoe kenmerkend deze is voor één klasse (verschil in proportie van 'waar' tussen klasse A en B).
  • Significantie: Permutatietests worden gebruikt om p-waarden te genereren. Vanwege de binaire aard van de data worden regels gebundeld op basis van hun verdeling van waar/onwaar-waarden om rekentijd te besparen.
  • Mutuele Informatie: Om redundantie te voorkomen, worden regels gefilterd op basis van mutuele informatie. Alleen regels die unieke informatie toevoegen aan de reeds geselecteerde set worden behouden.

• Model Training:

  • De geselecteerde regels worden gebruikt om een machine learning-model (SVM of Random Forest) te trainen via Scikit-learn.
  • Het systeem ondersteunt zowel binair als meerklassig classificatie (via een "one-vs-rest" strategie).

Belangrijkste Resultaten

De auteurs testten NIFty op diverse SCP-datasets (o.a. Leduc et al., Montalvo et al., HUPO Single Cell Initiative) en vergeleken de prestaties met traditionele methoden:

1. Ontbrekende Data (Imputatie vs. Niet-Imputatie):

   • NIFty presteerde vergelijkbaar of zelfs iets beter op niet-geïmputeerde data dan op geïmputeerde data.
   • In tests met datasets van verschillende laboratoria en instrumenten was het verschil in validatie-nauwkeurigheid tussen geïmputeerde en niet-geïmputeerde data verwaarloosbaar (middenverschil van 0,3% - 0,6%).
   • Dit bevestigt dat imputatie geen noodzakelijke stap is voor accurate classificatie.

2. Batch-effecten:

   • Bij het testen op data met grote, ongecorrigeerde batch-effecten (8 verschillende batches) presteerde NIFty op de niet-genormaliseerde data even goed of beter dan op genormaliseerde data.
   • Omdat de features binnen monsters worden vergeleken, zijn ze immuun voor cross-sample batch-effecten.

3. Meerklassige Classificatie:

   • NIFty slaagde erin om meerklassige datasets (bijv. ontwikkelingstijdstippen van iPSC's naar cardiomyocyten) nauwkeurig te classificeren.
   • De nauwkeurigheid was hoog voor de meeste stadia, met uitzondering van zeer vergelijkbare late stadia (dag 10 vs dag 21), wat biologisch logisch is.

Significantie en Conclusie

De NIFty-pipeline lost drie kritieke problemen op die de toepasbaarheid van machine learning in enkelcellen-proteomica beperken:

1. Eliminatie van Imputatie: Onderzoekers hoeven geen ontbrekende waarden meer te imputeren, wat de integriteit van de data behoudt en de workflow vereenvoudigt.
2. Voorkomen van Double Dipping: Doordat de features (regels) binnen monsters worden gegenereerd, kunnen dezelfde data-punten veilig worden gebruikt voor downstream-analyses zoals differentiële expressie zonder statistische bias.
3. Robuustheid tegen Batch-effecten: NIFty maakt het mogelijk om modellen te trainen op data van verschillende bronnen (bijv. celatlassen) zonder complexe batch-correctie, zolang er data van meerdere laboratoria in de referentie is opgenomen.

Conclusie: NIFty is een essentieel hulpmiddel voor de opkomst van enkelcellen-proteomische atlassen. Het stelt onderzoekers in staat om robuuste, generaliseerbare modellen te bouwen voor celannotatie, zelfs met ruwe, incomplete data van diverse experimentele opstellingen, zonder de valkuilen van traditionele statistische methoden. De auteurs waarschuwen echter wel dat TMT-data (isobare multiplexing) vanwege de normalisatiemethode niet geschikt is als referentie voor dit type "within-sample" algoritmen.