Unsupervised Machine Learning for Adaptive Immune Receptors with immuneML

Deze paper introduceert een nieuwe release van immuneML die een unifyd framework biedt voor onbewaakte machine learning in het veld van adaptieve immuunreceptoren, waardoor geavanceerde clustering, generatieve modellering en visualisatie mogelijk worden voor het ontdekken van biologische patronen en het evalueren van modelrobuustheid.

De kern

Stel je voor dat je lichaam een enorm groot, levend bibliotheek is. In deze bibliotheek staan miljarden unieke boeken: de afweercellen (B- en T-cellen). Elk boek beschrijft een specifieke sleutel die een bepaald slot (zoals een virus of kankercel) kan openen. Deze collectie van alle boeken noemen we het immunorepertoire.

Het probleem? We hebben deze bibliotheek nog niet goed in kaart gebracht. We weten vaak niet welke sleutel bij welk slot hoort, en veel van de boeken zijn niet goed gelabeld.

Hier komt immuneML in beeld. Dit is een nieuw, krachtig computerprogramma dat wetenschappers helpt om deze chaotische bibliotheek te ordenen, zonder dat ze van tevoren weten wat ze precies zoeken. Het is als een slimme bibliothecaris die patronen ziet waar mensen niets van merken.

Hier is een simpele uitleg van wat dit papier doet, met een paar creatieve vergelijkingen:

1. Het probleem: Een bibliotheek zonder index

Tot nu toe waren computerprogramma's voor deze data vooral gericht op het beantwoorden van specifieke vragen (bijvoorbeeld: "Heeft deze patiënt kanker?"). Maar vaak hebben we geen antwoorden op die vragen, of zijn de labels verkeerd. We moeten eerst ontdekken wat er in de bibliotheek zit.

Het oude systeem miste een manier om dit systematisch te doen. Het was alsof je duizenden boeken probeerde te ordenen zonder een systeem, zonder te weten of je ordening wel logisch was.

2. De oplossing: immuneML als de "Slimme Sorteerder"

De auteurs hebben immuneML uitgebreid met nieuwe functies om dit probleem op te lossen. Ze noemen dit "onzelftoezicht leren" (unsupervised learning). In plaats van de computer te vertellen wat het moet doen, laten ze de computer zelf patronen zoeken.

Het programma doet drie belangrijke dingen:

• Het groeperen (Clustering):
  Stel je voor dat je een grote doos met Lego-blokjes hebt van alle kleuren. Je wilt ze sorteren, maar je weet niet welke kleuren er precies zijn. immuneML kijkt naar de blokken en zegt: "Deze rode blokken lijken op elkaar, en die blauwe op elkaar." Het doet dit op een slimme manier: het checkt of de sortering stabiel blijft, zelfs als je de blokken een beetje door elkaar schudt. Als de groepen steeds weer hetzelfde zijn, weet je dat de sortering goed is.
• Het bedenken van nieuwe blokken (Generatieve modellen):
  Soms wil je weten hoe een nieuwe Lego-constructie eruit zou zien die nog nooit is gebouwd. immuneML kan leren hoe de bestaande blokken werken en vervolgens nieuwe, unieke blokken bedenken die er biologisch plausibel uitzien. Dit helpt wetenschappers om nieuwe medicijnen of therapieën te ontwerpen.
• Het vinden van verborgen invloeden (Confounders):
  Soms lijkt het alsof twee dingen met elkaar te maken hebben, maar is er een derde factor die alles verpest. Stel je voor dat je onderzoekt of mensen met rode schoenen vaker ziek worden. Maar wat als iedereen met rode schoenen uit dezelfde stad komt waar het kouder is? De stad is de "verwarrende factor". immuneML helpt om te zien of de resultaten echt door de ziekte komen, of door toevallige factoren zoals de locatie waar het bloed is afgenomen.

3. Drie proefballonnen (Gebruiksscenario's)

Om te laten zien dat hun nieuwe "Slimme Sorteerder" werkt, hebben ze drie proeven gedaan:

1. Het testen van de "Nieuwe Uitvinders":
   Ze lieten drie verschillende computermodellen nieuwe afweer-sleutels bedenken op basis van een gesimuleerde bibliotheek. Ze keken welk model de beste nieuwe sleutels bedacht die er echt op leken, en welke alleen oude kopieën maakten. Het bleek dat sommige modellen (zoals een 'LSTM') heel goed kopieerden, maar anderen (zoals een 'VAE') creatiever waren en echt nieuwe, unieke sleutels bedachten.
2. Het sorteren van de echte bibliotheek:
   Ze namen een grote verzameling echte T-cel-data en probeerden deze te groeperen op basis van wat ze aanvielen (bijvoorbeeld een specifiek virus). Ze zagen dat bepaalde methoden (zoals het vergelijken van de vorm van de sleutels) veel beter werkten dan andere. Het was alsof ze zagen dat het sorteren op "vorm" beter werkte dan sorteren op "kleur".
3. Het opsporen van de "Verkeerde Vrienden":
   Ze keken naar een dataset van patiënten met darmontstekingen. Ze wilden weten of de resultaten werden beïnvloed door de "batch" (de groep mensen die op dezelfde dag werden getest). Het programma liet zien dat sommige batches weliswaar apart stonden, maar dat de echte ziektepatronen toch duidelijk zichtbaar waren. Dit gaf wetenschappers vertrouwen dat ze de data veilig konden gebruiken voor verdere onderzoek.

Waarom is dit belangrijk?

Vroeger was het moeilijk om te weten of je een goede ordening had gemaakt als je geen antwoorden had. Met immuneML hebben wetenschappers nu een standaardgereedschapskist. Ze kunnen:

• Zien of hun resultaten betrouwbaar zijn (stabiel).
• Nieuwe, veilige medicijnen bedenken.
• Controleren of hun data niet door toeval is beïnvloed.

Kortom: immuneML helpt ons om de enorme, complexe bibliotheek van ons immuunsysteem niet alleen te lezen, maar er ook echt iets verstandigs mee te doen, zodat we betere behandelingen kunnen vinden voor ziektes.

Technische samenvatting

Probleemstelling

Adaptieve immuunreceptorrepertoria (AIRR) bevatten cruciale informatie voor diagnostiek, prognose en therapeutische ontwikkeling. Echter, de analyse van AIRR-data stuit op meerdere uitdagingen:

1. Gebrek aan labels: De meeste AIRR-datasets zijn gedeeltelijk of imperfect gelabeld (bijv. labels op repertorium-niveau in plaats van op sequentieniveau), wat supervised learning beperkt.
2. Complexiteit: De data wordt beïnvloed door biologische factoren (antigeenherkenning, HLA-restrictie, V(D)J-recombinatie) en technische factoren (batch-effecten, sequencing-artefacten).
3. Gebrek aan gestandaardiseerde frameworks: Er bestaat geen unified framework voor unsupervised machine learning (ML) in het AIRR-veld. Bestaande tools missen vaak robuuste methoden voor modelvalidatie, stabiliteitsanalyse en reproduceerbaarheid. Dit maakt het moeilijk om de generaliseerbaarheid van clustering- en generatieve modellen te beoordelen.

Methodologie: immuneML Platform

De auteurs presenteren een nieuwe release van immuneML, een open-source Python-platform dat oorspronkelijk gericht was op supervised learning, maar nu is uitgebreid met een volledig geïntegreerde workflow voor unsupervised learning.

Kerncomponenten van de nieuwe release:

• Unificatie van Workflows: Het platform biedt een gestandaardiseerde aanpak voor clustering, generatieve modellering en dimensiereductie.
• Clustering Workflow:
  • Modelselectie: Gebaseerd op stabiliteitsbeoordeling (volgens Lange et al.). De data wordt herhaaldelijk opgesplitst; clustering wordt op beide helften uitgevoerd en de overeenkomst tussen de labels wordt gemeten (Adjusted Rand Index).
  • Validatie: Implementatie van een framework (Ullmann et al.) met twee strategieën:
    • Method-based: Onafhankelijke clustering op discovery- en validatiedata, gevolgd door vergelijking.
    • Result-based: Een supervised classifier wordt getraind op de clusters van de discovery-data en toegepast op de validatiedata om de bruikbaarheid van de clustering te testen.
  • Validatie-indices: Gebruik van Adjusted Mutual Information (AMI) voor externe validatie (overeenkomst met biologische labels) en interne indices (Silhouette, Calinski-Harabasz).
• Generatieve Modellen: Integratie van modellen zoals LSTM, Variational Autoencoders (VAE), Position Weight Matrices (PWM) en SoNNia. Het platform biedt tools om gegenereerde sequenties te vergelijken met originele data op basis van specificiteit, noveliteit en memorisatie.
• Embeddings & Representaties: Integratie van Protein Language Models (PLMs) zoals ProtT5, TCR-BERT en ESM, naast traditionele methoden (k-mer frequenties, tcrdist).
• Simulatie: Integratie van LIgO voor het genereren van synthetische AIRR-data met bekende "ground truth" signalen voor benchmarking.
• Technische Architectuur: Het platform gebruikt BioNumPy voor efficiënte array-programmering, ondersteunt het community AIRR-formaat, en genereert reproduceerbare HTML-rapporten en YAML-specificatiebestanden.

Belangrijkste Resultaten (Use Cases)

Use Case 1: Benchmarking van Generatieve Modellen

• Doel: Evaluatie van LSTM, VAE en PWM-modellen op synthetische data met bekende epitope-specifieke signalen.
• Resultaat:
  • Het LSTM-model genereerde het hoogste percentage signaalspecifieke sequenties (98,88%), maar memoriseerde ongeveer de helft van deze sequenties uit de trainingsdata.
  • Het VAE-model genereerde minder signaalspecifieke sequenties (74,52%), maar de meerderheid hiervan was novel (niet gememoriseerd), wat wijst op beter generalisatievermogen.
  • Het PWM-model presteerde het slechtst (27% signaalspecifiek) en produceerde sequenties die sterk afweken van de originele verdeling.
• Conclusie: immuneML maakt het mogelijk om niet alleen de specificiteit, maar ook de noveliteit en memorisatie van generatieve modellen kwantitatief te beoordelen.

Use Case 2: Clustering van Epitope-specifieke TCRβ Sequenties

• Doel: Onderzoeken of clustering biologisch relevante informatie (epitope specificiteit, HLA) kan vastleggen in een experimentele IEDB-dataset.
• Methodologie: Vergelijking van diverse encoding-methoden (TCR-BERT, ProtT5, tcrdist, k-mer) gecombineerd met clustering-algoritmen (k-means, hierarchisch).
• Resultaat:
  • Op synthetische datasets met sterke clusters presteerde tcrdist met hierarchische clustering uitstekend (AMI ~0,8).
  • Op de experimentele IEDB-dataset was de correlatie met biologische labels lager (AMI ~0,14), wat de complexiteit van echte data weerspiegelt.
  • Stabiliteit: PLM-gebaseerde embeddings (zoals TCR-BERT) toonden hoge stabiliteit, zelfs zonder sterke biologische signalen, wat suggereert dat ze een consistente structuur in de embedding-ruimte creëren.
  • De geselecteerde aanpak (tcrdist + hierarchisch) bleef robuust bij validatie op een onafhankelijke dataset.

Use Case 3: Analyse van Confounders in Experimentele Data

• Doel: Detectie van batch-effecten in een dataset van IBD-patiënten (Crohn's, Colitis Ulcerosa) en gezonde controles.
• Resultaat:
  • Exploratieve analyse toonde aan dat bepaalde batches uitsluitend ziekte- of gezonde staaltjes bevatten.
  • Clustering analyse bevestigde dat batch-effecten aanwezig waren (hoge AMI met batch-labels).
  • Echter, stabiliteitsanalyse toonde aan dat de clustering-resultaten zeer instabiel waren over verschillende data-splits.
  • Conclusie: Hoewel batch-effecten zichtbaar zijn, domineren ze de sequentie-kenmerken niet zodanig dat ze unieke clusters vormen die volledig gescheiden zijn van biologische signalen. Dit suggereert dat analyse op de volledige dataset zinvol is, mits batch-effecten worden gecorrigeerd of stratificatie wordt toegepast.

Bijdragen en Significantie

1. Eerste Unified Framework: immuneML biedt het eerste uitgebreide, reproduceerbare framework voor unsupervised learning specifiek voor AIRR-data.
2. Robuuste Validatie: Door de integratie van stabiliteitsanalyse en dubbele validatiestrategieën (method-based en result-based) verhoogt het platform de betrouwbaarheid van clustering-resultaten aanzienlijk, wat een zwak punt was in eerdere studies.
3. Interpretatie van Generatieve Modellen: Het biedt gestandaardiseerde methoden om te onderscheiden tussen memorisatie en echte generatie van nieuwe biologische patronen.
4. Transparantie en Reproduceerbaarheid: Door het gebruik van YAML-specificaties, open-source code (AGPL-3.0) en volledige export van tussenresultaten, maakt het platform complexe analyses toegankelijk en controleerbaar voor de gemeenschap.
5. Toekomstperspectief: De tool faciliteert het ontdekken van nieuwe biologische inzichten (bijv. nieuwe epitopen) en helpt bij het identificeren van technische biases voordat er dure experimentele validatie plaatsvindt.

Samenvattend vult deze publicatie een kritieke leemte in de bio-informatica voor immunologie in door een gestructureerde, statistisch onderbouwde aanpak voor de analyse van ongelabelde immuunreceptordata te bieden.