Multi-view biclustering via non-negative matrix tri-factorisation

Dit paper introduceert ResNMTF, een nieuwe methode voor multi-view biclustering via niet-negatieve matrixtri-factorisatie die overlappende en niet-uitputtende biclusters kan identificeren zonder vooraf kennis van het aantal clusters, en introduceert bovendien de bisilhouet-score als een geschikte intrinsieke maatstaf voor validatie en hyperparameteroptimalisatie.

De kern

Stel je voor dat je een enorme, chaotische bibliotheek binnenstapt. Deze bibliotheek bevat niet één, maar meerdere versies van dezelfde boeken, geschreven in verschillende talen of met verschillende soorten inkt. Dit is wat datawetenschappers "multi-view data" noemen: dezelfde groep mensen (de rijen) beschreven door verschillende soorten informatie (de kolommen), zoals hun DNA, hun gedrag en hun gezondheid.

Het probleem? Niet alle informatie is even belangrijk voor iedereen. En soms horen bepaalde mensen en bepaalde feiten alleen bij elkaar in een specifieke context.

Deze paper introduceert twee nieuwe hulpmiddelen om deze bibliotheek te ordenen: een slimme sorteermethode genaamd ResNMTF en een kwaliteitsmeter genaamd de bisilhouette-score.

Hier is hoe het werkt, vertaald in alledaags taal:

1. De Probleemstelling: De "Zee van Data"

Stel je voor dat je een feestje hebt met 200 gasten. Je hebt drie verschillende lijsten:

• Lijst A: Wat ze hebben gegeten.
• Lijst B: Welke muziek ze leuk vinden.
• Lijst C: Hoeveel ze hebben gedronken.

Je wilt groepjes (clusters) vinden. Misschien is er een groepje dat van sushi en techno houdt, maar niet van bier. Een andere groep houdt van pizza en rock.
De uitdaging is dat niet iedereen in één groep past (sommigen zijn "niet-exhaustief" – ze horen nergens bij) en sommige mensen kunnen in meerdere groepjes passen (ze zijn "overlapend"). Bovendien wil je niet van tevoren weten hoeveel groepjes er zijn; je wilt dat de computer dat zelf ontdekt.

2. De Oplossing: ResNMTF (De Slimme Sorteerder)

De auteurs hebben een nieuwe methode bedacht genaamd ResNMTF. Je kunt dit zien als een super-intelligente robot die de lijsten tegelijkertijd bestudeert.

• Hoe werkt het? In plaats van de lijsten apart te bekijken, kijkt de robot naar de overeenkomsten. Als gasten op lijst A (eten) een patroon vertonen, kijkt de robot of datzelfde patroon terugkomt in lijst B (muziek).
• De "Restrictive" (Beperkende) Deel: Dit is het slimme stukje. De robot kan worden ingesteld om bepaalde regels te volgen.
  • Voorbeeld: Als je weet dat gasten op lijst A en B dezelfde mensen zijn, maar lijst C een ander experiment is, kun je de robot zeggen: "Houd de mensen op A en B samen, maar laat C los."
  • Dit voorkomt dat "ruis" (slecht nieuws of verkeerde data) de goede patronen verpest. Het is alsof je een luie gast (ruis) negeert zodat je de echte vrienden (signalen) kunt zien.
• Het Resultaat: De robot vindt groepjes van mensen én de specifieke eigenschappen die hen uniek maken, zonder dat jij hoeft te zeggen hoeveel groepjes er zijn.

3. De Kwaliteitsmeter: De Bisilhouette-score

Stel nu dat de robot klaar is met sorteren. Hoe weet je of hij het goed gedaan heeft?
Bij gewone clustering (alleen mensen groeperen) gebruiken we een "Silhouette-score". Dat is als een meetlat die zegt: "Zit deze persoon goed in zijn groep? Voelt hij zich er thuis bij, en is hij ver weg van de andere groepen?"

Maar bij biclustering (mensen én eigenschappen tegelijk) is dat lastiger. De auteurs hebben daarom de Bisilhouette-score bedacht.

• De Creatieve Analogie: Stel je voor dat je een groep mensen hebt die allemaal van "sneeuwschoenwandelen" houden.
  • De oude meetlat zou kijken of ze allemaal van elkaar houden.
  • De Bisilhouette-score kijkt ook naar de sneeuwschoenen. Zijn het echte sneeuwschoenen? Of hebben ze per ongeluk zomerglazen in de groep gezet?
  • De score berekent: "Hoe goed passen deze specifieke mensen bij deze specifieke eigenschappen, en hoe duidelijk onderscheiden ze zich van de rest?"
• Waarom is dit cool? Je kunt deze score gebruiken als een kompas. Als je twijfelt of de robot 3 of 5 groepjes moet maken, laat je de score zien welke optie het "netst" is. Het helpt ook om te zien of de robot per ongeluk een groepje heeft gemaakt dat eigenlijk niets is (ruis).

4. De Test: Synthetisch en Echt

De auteurs hebben hun robot getest op twee manieren:

1. Synthetische data: Ze hebben een nep-feestje bedacht waarbij ze precies wisten wie bij wie hoorde. De robot vond de groepjes bijna perfect, zelfs als er veel ruis was.
2. Echte data: Ze testten het op echte datasets, zoals:
   • Nieuwsartikelen van drie verschillende kranten (3Sources).
   • Sportnieuws (BBCSport).
   • Medische data van muizen en kankerpatiënten (A549 en TCGA).

De uitkomst: De nieuwe methode (ResNMTF) deed het vaak beter dan bestaande methoden. Hij kon complexe situaties aan, zoals wanneer groepjes elkaar overlappen of wanneer sommige mensen helemaal niet in een groep passen.

Samenvatting in één zin

Deze paper introduceert een slimme manier om complexe, meervoudige datasets te ordenen in logische groepjes (ResNMTF) en een nieuwe meetlat (bisilhouette-score) om te controleren of die groepjes echt zinvol zijn, zonder dat je van tevoren hoeft te raden hoeveel groepjes er zijn.

Het is alsof je een magische bril krijgt die niet alleen ziet wie bij elkaar hoort, maar ook ziet waarom ze bij elkaar horen, en je vertelt of je bril wel goed scherp staat.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Multi-view biclustering via non-negative matrix tri-factorisation" in het Nederlands.

Probleemstelling

De paper adresseert uitdagingen binnen het domein van multi-view biclustering. Multi-view data (data uit meerdere bronnen die dezelfde objecten beschrijven, zoals verschillende 'omics'-datasets) wordt steeds vaker gegenereerd. Bestaande methoden kampen met de volgende beperkingen:

1. Gebrek aan flexibiliteit: Veel bestaande methoden kunnen niet flexibel omgaan met verschillende combinaties van gedeelde rijen en kolommen tussen de verschillende views. Ze dwalen vaak te strenge gedeelde structuren af, wat leidt tot het negeren van signaal in individuele views.
2. Onbekend aantal clusters: In onbewaakte (unsupervised) settings is het aantal biclusters vaak onbekend. Bestaande methoden vereisen vaak vooraf kennis van dit aantal.
3. Gebrek aan intrinsieke maatstaven: Er is geen gestandaardiseerde, interne maatstaf (intrinsic measure) voor biclustering die rekening houdt met de complexiteit van biclusters (zoals niet-exhaustiviteit en overlapping) en zowel compactheid als scheiding evalueert. Bestaande maatstaven zijn vaak gebaseerd op externe labels of evalueren rijen en kolommen los van elkaar, wat misleidend kan zijn.
4. Stabiliteit: Het is moeilijk om te bepalen welke gevonden biclusters stabiel zijn en welke artefacten van ruis zijn.

Methodologie

De auteurs stellen twee hoofdbijdragen voor: een nieuwe maatstaf en een nieuw algoritme.

1. De Bisilhouette Score (Intrinsieke Maatstaf)

Om het gebrek aan een geschikte interne evaluatiemaatstaf op te lossen, wordt de populaire silhouette score uitgebreid naar de bisilhouette score.

• Principe: De score evalueert de kwaliteit van een bicluster door te kijken naar de compactheid van de rijen binnen de kolommen die bij dat specifieke bicluster horen, en de scheiding ten opzichte van andere rijen binnen diezelfde kolomsubsets.
• Berekening: Voor een bicluster $k$ met rijen $R_k$ en kolommen $C_k$, wordt de datamatrix gesubsetteerd tot alleen de kolommen $C_k$. Vervolgens wordt de silhouette score berekend voor de rijen in $R_k$ binnen deze gesubsetteerde matrix.
• Voordelen: Deze score werkt in onbewaakte settings, accepteert overlappende en niet-exhaustieve biclusters, en combineert structuur met relatie tot de rest van de data. Een hogere score (dicht bij 1) duidt op een betere bicluster.

2. ResNMTF (Restrictive Non-negative Matrix Tri-Factorisation)

Het voorgestelde algoritme is een multi-view biclustering methode gebaseerd op Non-negative Matrix Tri-Factorisation (NMTF).

• Doel: Het simultaan clusteren van rijen en kolommen over meerdere views, waarbij rijen/kolommen in geen enkele of meerdere clusters kunnen zitten (niet-exhaustiviteit/niet-exclusiviteit).
• Optimalisatieprobleem: Het algoritme minimaliseert een objectief functie die bestaat uit:
  1. De reconstructiefout voor elke view ($X^{(v)} \approx F^{(v)}S^{(v)}(G^{(v)})^T$).
  2. Regularisatietermen die de factoren ($F, S, G$) tussen verschillende views naar elkaar toe dwaren. Dit wordt gestuurd door tunable parameters ($\phi, \xi, \psi$) die bepalen welke views gedeelde rij- of kolomclusters hebben.
• Oplossing: Gebruikmakend van multiplicatieve update-regels (gebaseerd op Lee & Seung) om een lokaal optimum te vinden onder niet-negativiteits- en normalisatiebeperkingen.
• Initialisatie: Een nieuwe initialisatiestrategie gebaseerd op Singuliere Waarde Decompositie (SVD) wordt voorgesteld om lokale minima te minimaliseren.
• Verwijdering van valse biclusters: Een resampling-procedure (Jensen-Shannon divergentie) wordt gebruikt om biclusters die lijken op ruis te identificeren en te verwijderen.
• Stabiliteitsanalyse: Een sub-sampling techniek (sub-sampling van rijen en kolommen) wordt toegepast om de stabiliteit van de gevonden biclusters te testen. Instabiele biclusters worden verwijderd.
• Aantal biclusters bepalen: Het algoritme test een bereik van mogelijke aantallen biclusters ($K$) en selecteert het optimale $K$ door de bisilhouette score te maximaliseren.

Belangrijkste Bijdragen

1. ResNMTF Algoritme: Een nieuw multi-view biclustering framework dat zeer flexibel is in het modelleren van gedeelde structuren tussen views (rijen, kolommen, of beide) zonder vooraf kennis van het aantal clusters te vereisen.
2. Bisilhouette Score: De eerste specifieke intrinsieke maatstaf voor biclustering die rekening houdt met de unieke structuur van biclusters en geschikt is voor onbewaakte settings.
3. Integratie van Stabiliteit: Een robuust kader dat zowel valse detecties (ruis) als instabiele clusters verwijdert via resampling en stabiliteitsanalyse.
4. Open Source Implementatie: De auteurs hebben R-packages (resnmtf en bisilhouette) en de code voor reproduceerbaarheid beschikbaar gesteld.

Resultaten

De methoden zijn getest op synthetische data en vier real-world datasets (3Sources, BBCSport, A549, TCGA).

• Vergelijking met concurrenten: ResNMTF presteert over het algemeen beter dan bestaande methoden zoals GFA (Group Factor Analysis), iSSVD (integrative Sparse SVD) en standaard NMTF.
  • ResNMTF is superieur in het vinden van stabiele biclusters, zelfs bij hoge ruisniveaus en bij datasets met overlappende of niet-exhaustieve clusters.
  • iSSVD had moeite met het detecteren van biclusters zonder sterk signaal, en GFA was minder flexibel in de view-structuur.
• Effectiviteit van Bisilhouette Score:
  • De bisilhouette score correleert sterk (Pearson correlatie ~0.94) met de externe F-score (ground truth) bij het selecteren van het beste algoritme en het optimaliseren van hyperparameters.
  • Het is effectiever dan de traditionele silhouette score voor het tunen van restrictie-parameters in ResNMTF.
  • Het dient als een nuttig hulpmiddel voor visualisatie om de kwaliteit van individuele biclusters te beoordelen.
• Hyperparameter Tuning: De methode kan succesvol het optimale aantal biclusters en de juiste restricties tussen views bepalen zonder menselijke tussenkomst, puur op basis van de bisilhouette score.

Betekenis en Conclusie

De paper biedt een significante bijdrage aan het veld van multi-view data-analyse en biclustering.

• Praktische toepasbaarheid: ResNMTF biedt een oplossing voor complexe biologische en tekstuele datasets waar verschillende data-types (views) gedeelde en unieke patronen hebben.
• Onbewaakte leren: Door de introductie van de bisilhouette score en de automatische selectie van het aantal clusters, maakt de methode biclustering veel toegankelijker voor scenario's waar geen ground truth beschikbaar is.
• Robuustheid: De combinatie van regularisatie, ruis-filtering en stabiliteitsanalyse zorgt voor betrouwbare resultaten die minder gevoelig zijn voor ruis en instabiliteit dan bestaande technieken.

Kortom, ResNMTF en de bijbehorende bisilhouette score vormen een krachtig en flexibel kader voor het ontdekken van complexe, gedeelde patronen in multi-view data.