MM-algorithms for traditional and convex NMF with Tweedie and Negative Binomial cost functions and empirical evaluation

Deze paper introduceert een unifyend kader voor traditionele en convexe niet-negatieve matrixfactorisatie (NMF) met Tweedie- en Negatief Binomiale kostenfuncties, waarbij nieuwe Majorize-Minimiseer-update-regels worden afgeleid en empirisch gevalideerd om te tonen dat de keuze van het ruismodel cruciaal is voor modelfit en dat convexe NMF een robuust alternatief biedt bij grote aantallen klassen.

De kern

Stel je voor dat je een enorme, rommelige berg met duizenden verschillende objecten hebt: oude krantenknipsels, medische rapporten over kanker, of zelfs een lijst met alle woorden die mensen in een online forum gebruiken. Je wilt weten: "Wat zit er eigenlijk in deze berg?" en "Welke patronen herhalen zich?"

NMF (Non-negative Matrix Factorization) is een slimme manier om die berg op te ruimen. Het is alsof je de berg in twee delen splitst:

1. Een lijst met basisbouwstenen (bijvoorbeeld: "dit is een nieuwsartikel over sport", "dit is een mutatie die vaak voorkomt in leverkanker").
2. Een lijst met hoeveelheden (bijvoorbeeld: "dit artikel is voor 80% sport en 20% politiek", "dit patiënt heeft 90% van deze mutatie").

In het verleden deden wetenschappers dit alsof alle objecten in de berg precies hetzelfde gedrag vertoonden (alsof elke steen even zwaar is). Maar in het echte leven is dat niet zo. Soms heb je heel veel kleine steentjes (veel woorden die zelden voorkomen) en soms een paar enorme rotsblokken (woorden die heel vaak terugkomen).

De auteurs van dit paper, Elisabeth, Asger en Marta, zeggen: "Wacht even, onze oude methoden zijn te simpel voor deze rommelige data."

Hier is wat ze hebben gedaan, vertaald naar alledaagse taal:

1. De "Verkeerde Schaal" Probleem

Stel je voor dat je probeert de hoeveelheid regen te meten.

• De oude methode (Gaussian/Poisson): Dit werkt goed als het een beetje regent, of als het heel constant regent. Maar als er plotseling een overstroming komt (veel data, maar heel onregelmatig), dan breekt je meetlat.
• Het nieuwe idee: De auteurs hebben nieuwe "meetlatten" bedacht die zich aanpassen aan de chaos. Ze gebruiken wiskundige modellen die het gedrag van Tweedie en Negatieve Binomiale verdelingen volgen.
  • Analogie: In plaats van een starre liniaal te gebruiken, gebruiken ze een gummi-lijn. Als je veel data hebt, strekt de lijn zich uit. Als je weinig data hebt, krimpt hij. Hierdoor passen ze perfect bij data die "overdispersed" is (te veel variatie voor de gemiddelde).

2. Twee Manieren om te Sorteren: Traditioneel vs. Convex

De paper vergelijkt twee manieren om die bouwstenen te vinden:

• Traditionele NMF: Dit is alsof je een nieuwe set Lego-blokken uit de grond schraapt die helemaal niet in de originele doos zaten, maar die perfect passen bij de vorm van de berg. Het is flexibel, maar soms vind je blokjes die er niet echt bij horen.
• Convex NMF (De "Sterke" Methode): Dit is alsof je zegt: "Ik maak mijn nieuwe blokjes alleen maar door bestaande stukken uit de berg samen te plakken." Je mag geen nieuwe, vreemde materialen uit de lucht plukken; je moet werken met wat je al hebt.
  • Waarom is dit slim? Als je data heel dun en verspreid is (zoals een paar woorden in een heel groot document), is deze methode vaak sterker en betrouwbaarder. Het voorkomt dat je "hallucinaties" ziet in de data.

3. De "MM-Algoritme": De Kunst van het Afzakken

Hoe vinden ze de beste oplossing? Ze gebruiken een techniek die ze MM-algoritme noemen.

• Analogie: Stel je voor dat je in een donkere bergwandeling bent en je wilt naar de laagste punt (de beste oplossing) komen. Je kunt niet alles tegelijk zien.
  • De MM-methode doet alsof je een grote, zachte deken over de berg legt. Je weet dat de deken altijd boven de echte berg ligt.
  • Je zoekt het laagste punt van de deken, loopt daarheen, en legt de deken opnieuw neer, iets lager.
  • Je herhaalt dit steeds, en elke keer zak je een beetje dieper de berg in, totdat je op de bodem zit. Dit is veel sneller en veiliger dan blindelings omhoog en omlaag springen.

4. Wat hebben ze ontdekt? (De Proefjes)

Ze hebben hun nieuwe methoden getest op twee heel verschillende dingen:

• Proef 1: Leverkanker (Genetica)
  Ze keken naar mutaties in het DNA van 260 patiënten.

  • Resultaat: De oude methoden (die uitgaan van een simpele verdeling) faalden. Ze zagen de enorme variatie in de mutaties niet goed. De nieuwe methoden (Tweedie en Negatieve Binomiale) pakten de "ruis" perfect op en vonden de echte patronen (de "handtekeningen" van kanker) veel nauwkeuriger.
  • Les: Bij medische data met veel variatie moet je een flexibele meetlat gebruiken.

• Proef 2: Nieuwsberichten (Woorden)
  Ze keken naar duizenden berichten over sport, religie en politiek.

  • Resultaat: Hier was de data heel "dun" (veel woorden komen zelden voor). De Convex NMF-methode won hier ruimschoots. Omdat ze alleen bestaande woorden combineerden, vonden ze de onderwerpen (thema's) scherp en duidelijk, zonder dat ze "onzin" uit de lucht plukten.
  • Les: Bij grote, lege datasets werkt de "samenstellen uit bestaande stukken"-methode beter.

Conclusie voor de Leek

Deze paper zegt eigenlijk: "Stop met één maat voor iedereen te gebruiken."

Of je nu kankerbestrijding doet of nieuwsberichten analyseert, de data gedraagt zich anders. Soms is het een zachte regen, soms een overstroming. De auteurs hebben een gereedschapskist gemaakt (de software nmfgenr) waarin je de juiste meetlat kunt kiezen voor jouw specifieke berg data.

Ze hebben ook bewezen dat je soms beter kunt werken met wat je al hebt (Convex NMF) dan met het uitvinden van nieuwe dingen, vooral als de data erg verspreid is. Dit helpt artsen betere behandelingen te vinden en journalisten sneller de kern van het verhaal te begrijpen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "MM-algorithms for traditional and convex NMF with Tweedie and Negative Binomial cost functions and empirical evaluation" in het Nederlands.

Probleemstelling

Niet-negatieve matrixfactorisatie (NMF) is een krachtige techniek voor ongesuperviseerd leren en kenmerkextractie, met toepassingen variërend van genomica tot tekstanalyse. Traditionele NMF-methoden zijn echter vaak gebaseerd op aannames van Gaussische of Poisson-ruis. Deze aannames zijn vaak ontoereikend voor data die overdispersie (variatie groter dan het gemiddelde) vertonen of complexe gemiddelde-variatierelaties hebben, zoals vaak voorkomt in mutatie-gegevens van kanker of tekstdata (woordtellingen).

Het kiezen van het verkeerde ruismodel kan leiden tot een slechte modelaanpassing en onnauwkeurige factorisatie, omdat de schattingen van de matrices $W$ en $H$ direct afhankelijk zijn van de gekozen kostenfunctie. Bovendien ontbreekt er vaak een uniforme implementatie voor geavanceerde NMF-varianten, zoals Convex NMF (waarbij kenmerken lineaire combinaties zijn van de data), onder verschillende verdelingsaannames.

Methodologie

De auteurs ontwikkelen een unificerend kader voor zowel traditionele als Convex NMF, gebaseerd op een brede klasse van verdelingen, specifiek de Tweedie-verdeling en de Negatief Binomiale verdeling.

1. Verdelingsmodellen:

   • Tweedie-verdeling: Een flexibele familie die de Gaussische ($p=0$) en Poisson ($p=1$) verdelingen als speciale gevallen omvat. Voor $p > 1$ kan het overdispersie modelleren; voor $p > 2$ kan het zware staarten modelleren. De kostenfunctie is gerelateerd aan de $\beta$-divergentie.
   • Negatief Binomiale verdeling: Specifiek ontworpen voor tellingsdata met overdispersie, waar de variantie lineair toeneemt met het kwadraat van het gemiddelde.

2. Algoritme (MM-algoritme):

   • De auteurs gebruiken de Majorize-Minimisation (MM) strategie om vermenigvuldige update-regels af te leiden.
   • Dit zorgt voor gesloten-vorm updates die specifiek zijn toegesneden op de kostenfuncties van de verschillende verdelingen.
   • Er worden nieuwe afleidingen gepresenteerd voor Convex NMF onder de Poisson en Negatief Binomiale kostenfuncties, wat eerder niet beschikbaar was in de literatuur.

3. Notatie en Implementatie:

   • Het artikel introduceert een notatie op basis van Kendall's notatie om de modellen te classificeren (bijv. NMF/T/TWp/K voor traditionele NMF met Tweedie).
   • Alle methoden zijn geïmplementeerd in het R-pakket nmfgenr, inclusief efficiënte C++-code (via Rcpp) voor grote datasets.

Belangrijkste Bijdragen

• Unificerend Kader: Een enkele framework voor traditionele en Convex NMF onder Gaussische, Poisson, Tweedie en Negatief Binomiale verdelingen.
• Nieuwe Update-regels: Afleiding van nieuwe vermenigvuldige updates voor Convex NMF met Poisson en Negatief Binomiale kostenfuncties.
• Verband tussen Tweedie en $\beta$-divergentie: Duidelijke koppeling gelegd tussen de Tweedie-verdeling en de $\beta$-divergentie, wat modelselectie vergemakkelijkt.
• Open Source Software: De eerste volledige implementaties van diverse Convex NMF-modellen in een gebruiksvriendelijk R-pakket.
• Empirische Evaluatie: Uitgebreide tests op twee zeer verschillende datasets: mutatie-gegevens van leverkanker en tekstdata van newsgroups.

Resultaten

De auteurs hebben hun methoden getest op twee datasets:

1. Leverkanker Mutatie-gegevens (PCAWG):

   • Data: 260 patiënten, 96 mutatietypes.
   • Vindt: De Gaussische en Poisson-modellen passen slecht vanwege overdispersie. De Negatief Binomiale en Tweedie modellen leveren een aanzienlijk betere fit (lage BIC-waarden) en betere residu-analyses.
   • Kenmerkherstel: De Negatief Binomiale NMF (zowel traditioneel als convex) herstelde mutatiesignaturen die sterk overeenkwamen met de bekende COSMIC-signaturen (cosinussimilariteit > 0,8).
   • Modelkeuze: Traditionele NMF had over het algemeen lagere BIC-waarden dan Convex NMF op deze dataset, maar beide profiteerden van het juiste ruismodel.

2. Newsgroups Tekstdata:

   • Data: 500 documenten, 6354 woorden (hoge sparsiteit).
   • Vindt: Op deze zeer sparsere dataset presteerde Convex NMF beter dan traditionele NMF. Het Convex NMF-model met een Tweedie-kostenfunctie ($p \approx 1.02$, bijna Poisson) had de laagste BIC-waarde.
   • Regularisatie: De convexiteitsbeperking fungeerde als een effectieve vorm van regularisatie, wat overfitting voorkwam in de hoge-dimensionale, sparsere setting.
   • Kenmerken: De geëxtraheerde onderwerpen (topics) waren duidelijk interpreteerbaar en correleerden sterk met de bekende documentlabels.

Rekentijd:

• Traditionele NMF is lineair afhankelijk van het aantal observaties ($N$) en klassen ($M$).
• Convex NMF is iets trager ($O(MN^2K)$) vanwege de extra matrixvermenigvuldigingen, maar blijft schaalbaar.
• Het schatten van de parameter $p$ (Tweedie) of $\alpha$ (Negatief Binomiaal) voegt rekentijd toe, maar is noodzakelijk voor de modelfit.

Betekenis en Conclusie

Dit artikel benadrukt dat de keuze van het ruismodel in NMF cruciaal is en niet zomaar kan worden verwaarloosd. Het behandelen van NMF als een statistisch model (in plaats van puur een algoritmische procedure) leidt tot robuustere resultaten.

• Voor overdispereerde data (zoals mutatie-gegevens) zijn Negatief Binomiale of Tweedie-modellen essentieel; standaard Poisson of Gaussische modellen falen hier.
• Voor zeer sparsere data (zoals tekst) kan Convex NMF een superieur alternatief zijn voor traditionele NMF, omdat de convexiteitsbeperking fungeert als regularisatie en een betere fit biedt met minder parameters.
• De beschikbaarheid van het nmfgenr pakket maakt het voor onderzoekers mogelijk om eenvoudig het meest geschikte model te kiezen op basis van de empirische gemiddelde-variatierelatie van hun data, wat de betrouwbaarheid van factorisatie in diverse domeinen (biologie, NLP, signaalverwerking) significant verbetert.