FAMUS: A Few-Shot Learning Framework for Large-Scale Protein Annotation

FAMUS is een nieuw contrastief leerframework dat de functionaliteit van eiwitten op grote schaal nauwkeuriger voorspelt door query-sequenties te vergelijken met profiel-HMM-databases in plaats van alleen te vertrouwen op de meest vergelijkbare hit, waardoor het de bestaande annotatietools overtreft.

De kern

Stel je voor dat je een enorme bibliotheek binnenloopt, gevuld met miljarden boeken (deze boeken zijn genen en eiwitten). Je taak is om te begrijpen waar elk boek over gaat. De meeste boeken hebben een duidelijke titel op de rug, maar bij veel andere is de titel vervaagd, ontbreekt hij, of is het boek zo raar dat niemand weet wat het inhoudt.

Vroeger deden computers dit werk door één voor één te zoeken: "Welk boek lijkt het meest op dit nieuwe boek?" Als ze een match vonden, gaven ze die titel aan het nieuwe boek. Het probleem? Soms is de match niet perfect, en soms zijn er duizenden boeken die een beetje lijken, maar de computer kijkt alleen naar de allerbeste match en negeert de rest. Dit leidt tot fouten, vooral bij boeken die zeldzaam zijn of waarvan we nog weinig weten.

FAMUS is een nieuwe, slimme manier om dit probleem op te lossen. Het is een computerprogramma dat ontwikkeld is door Guy Shur en David Burstein van de Universiteit van Tel Aviv. Hier is hoe het werkt, vertaald naar alledaagse termen:

1. Van "Eén Beste Match" naar "Het Grote Plaatje"

Stel je voor dat je een nieuw gezicht ziet en je moet raden wie het is.

• De oude methode: Je kijkt naar één foto in je album die het meest lijkt op het gezicht. Als die foto een beetje lijkt, zeg je: "Het is Jan!" Zelfs als Jan er eigenlijk heel anders uitziet dan de foto.
• De FAMUS-methode: FAMUS kijkt niet naar één foto. Het kijkt naar alle foto's in het album tegelijk. Het maakt een soort "smaakprofiel" van het nieuwe gezicht door te kijken hoe het zich verhoudt tot iedereen in het album. Zelfs als het geen perfecte match is met één persoon, kan het zien dat het gezicht wel een beetje op de familie van Jan lijkt, maar meer op de familie van Piet.

2. De "Smaakprofielen" (De HMM's)

In de wetenschap noemen ze deze profielen pHMM's.
Stel je voor dat elke familie (bijvoorbeeld de "Hond-familie" of de "Koffie-familie") een eigen geur heeft. De oude methode rookte alleen naar de sterkste geur. FAMUS maakt echter een geurkaart van de hele ruimte. Het meet hoe sterk de geur van je nieuwe eiwit is in de buurt van de "Hond-geur", de "Koffie-geur", de "Auto-geur", enzovoort.

3. De Slimme Leraar (Contrastive Learning)

Dit is het hart van FAMUS. Het gebruikt een techniek die we Contrastive Learning noemen.
Stel je voor dat je een leraar hebt die een klas vol leerlingen (de eiwitten) moet indelen in groepen.

• De leraar ziet dat twee leerlingen heel veel op elkaar lijken (zelfde familie). Hij zet ze dicht bij elkaar in de klas.
• Hij ziet dat twee andere leerlingen totaal verschillend zijn. Hij zet ze ver uit elkaar.
• Het magische trucje: De leraar leert niet alleen door te kijken naar de leerlingen die hij kent. Hij krijgt ook een stapel "onbekende" mensen. Hij leert om die onbekenden ver weg te houden van de bekende groepen, zodat hij niet per ongeluk iemand in de verkeerde groep zet.

Dit is heel belangrijk voor Few-Shot Learning (weinig voorbeelden). Soms heb je maar drie boeken over een heel specifiek onderwerp. De oude methoden haken dan af. FAMUS kan echter, zelfs met maar drie voorbeelden, een heel goed "gevoel" ontwikkelen voor die groep en nieuwe boeken daar correct aan koppelen.

4. Twee Versies: De "Gedetailleerde" en de "Snelle"

FAMUS komt in twee vormen, net als een auto:

• De "Comprehensive" (Gedetailleerde) versie: Dit is als een sportwagen met een enorme motor. Het splitst elke familie op in heel kleine sub-groepen (zoals "Honden" splitsen in "Labradors", "Bouvier's", etc.). Dit is super nauwkeurig, maar duurt iets langer.
• De "Light" (Snelle) versie: Dit is als een snelle stadswagen. Het houdt de families groter (alleen "Honden" als één groep). Het is minder gedetailleerd, maar razendsnel. Ideaal als je miljoenen boeken in één keer moet sorteren.

Waarom is dit belangrijk?

In de wereld van microbiologie en genetica hebben we te maken met metagenomica. Dat betekent dat we monster nemen uit de modder van een rivier of uit de darmen van een mens, en daar duizenden onbekende organismen in zitten.

• De oude methoden gaven vaak foutieve antwoorden of zeiden "Ik weet het niet" bij te veel dingen.
• FAMUS is nauwkeuriger. Het maakt minder fouten bij het toekennen van functies aan zeldzame organismen.
• Het is snel. Je kunt enorme datasets verwerken.
• Het is flexibel. Je kunt het gebruiken voor verschillende databases (zoals KEGG, InterPro, etc.) en zelfs je eigen databases toevoegen.

Conclusie

FAMUS is als een super-intelligente bibliothecaris die niet alleen kijkt naar de titel van een boek, maar de hele inhoud, de stijl, en de context begrijpt. Door slimme wiskunde en kunstmatige intelligentie te combineren, kan het de "onbekende" boeken in onze biologische bibliotheek eindelijk een juiste plaats geven, zelfs als we er maar heel weinig voorbeelden van hebben.

De makers hebben dit programma gratis beschikbaar gesteld via een website en een software-pakket, zodat elke onderzoeker het kan gebruiken om de geheimen van het leven sneller en beter te ontrafelen.

Technische samenvatting

Probleemstelling

De functionele annotatie van genen is een cruciale maar uitdagende stap in de analyse van genomische en metagenomische data. Bestaande automatische annotatietools vertrouwen vaak op het "winner-takes-all"-principe: ze baseren de functie-toewijzing uitsluitend op de hoogste vergelijkingscore (de beste treffer) tussen een query-sequentie en een database van profiel-gebaseerde Hidden Markov-modellen (pHMMs). Dit leidt tot twee belangrijke beperkingen:

1. Verlies van informatie: Door alleen naar de beste hit te kijken, wordt de rijke informatie van de volledige reeks vergelijkingscores met alle families in de database genegeerd. Dit maakt het moeilijk om verre homologen of ambiguïteiten correct te classificeren.
2. Data-schaarste (Few-shot probleem): Veel eiwitfamilies in grote databases (zoals KEGG Orthology) bevatten slechts een zeer klein aantal sequenties. Traditionele deep-learning modellen hebben vaak grote hoeveelheden gelabelde trainingsdata nodig per klasse om effectief te zijn. Bij families met weinig voorbeelden (few-shot learning) presteren deze modellen slecht of leiden ze tot veel false positives.

Daarnaast zijn bestaande tools zoals KofamScan en InterProScan beperkt in hun vermogen om sequenties die niet tot een bekende familie behoren (out-of-distribution) correct als "onbekend" te labelen.

Methodologie: FAMUS Framework

FAMUS (Functional Annotation Method Using Supervised contrastive learning) is een nieuw raamwerk dat contrastief leren (Supervised Contrastive Learning of SupCon) toepast om deze uitdagingen aan te pakken. De aanpak bestaat uit de volgende stappen:

1. Data-voorbereiding en Sub-familie Clustering:

   • Om de diversiteit binnen grote eiwitfamilies beter te vangen, worden families opgesplitst in sub-families. Hiervoor wordt mmseqs2 gebruikt om redundante sequenties te verwijderen en vervolgens clusters te vormen.
   • Voor elke sub-familie wordt een pHMM gegenereerd. Voor zeer kleine sub-families (<6 sequenties) worden sequenties kunstmatig gegenereerd via hmmemit om voldoende trainingsdata te creëren.
   • Er worden twee versies van de database gemaakt: een "comprehensive" versie (met sub-families) en een "light" versie (alleen voor zeer grote families), om de rekentijd te optimaliseren.

2. Feature Extractie (Bit Scores):

   • In plaats van alleen de beste hit te gebruiken, worden query-sequenties gescoord tegen alle pHMMs in de database.
   • Dit resulteert in een vector van bit-scores (een $N \times M$ matrix, waarbij $N$ het aantal sequenties is en $M$ het aantal sub-families). Deze vector vormt de input voor het neurale netwerk.
   • Om data-lekkage te voorkomen, wordt een strategie gebruikt waarbij sub-families in drie groepen worden verdeeld: twee groepen worden gebruikt om een pHMM te bouwen, en de derde groep wordt gescoord tegen die pHMM.

3. Neuraal Netwerk en SupCon Loss:

   • Het model is een compact neuraal netwerk (PyTorch) met een inputlaag (grootte = aantal sub-families), drie verborgen lagen (320 eenheden) en een outputlaag (320 eenheden).
   • Het netwerk wordt getraind met de Supervised Contrastive (SupCon) loss-functie. Het doel is om de embedding-ruimte zo te optimaliseren dat sequenties met hetzelfde label dicht bij elkaar liggen en sequenties met verschillende labels ver uit elkaar.
   • Few-Shot en Out-of-Distribution (OOD) Detectie: Uniek aan FAMUS is het gebruik van ongelabelde sequenties als "negatieve voorbeelden" tijdens het trainen. Dit helpt het model om sequenties die niet tot een bekende familie behoren, correct als "onbekend" te classificeren, wat essentieel is voor de annotatie van onbekende microbiële omgevingen.

4. Inferentie:

   • Tijdens het voorspellen worden de bit-score vectors van nieuwe sequenties omgezet naar een 320-dimensionale embedding.
   • De classificatie gebeurt via nearest neighbor in deze embedding-ruimte. Als de dichtstbijzijnde trainingssequentie een bekende familie is en binnen een bepaalde drempelwaarde ligt, wordt de label toegewezen. Anders wordt de sequentie als "unknown" gemarkeerd.

Belangrijkste Bijdragen

• Eerste contrastieve leerframework voor eiwitannotatie: FAMUS is het eerste uitgebreide, modulaire framework dat SupCon toepast op de functionele annotatie van eiwitten op grote schaal.
• Modulariteit en Schaalbaarheid: Het framework ondersteunt diverse databases (KEGG Orthology, InterPro, OrthoDB, EggNOG) en kan eenvoudig worden aangepast voor gebruikersspecifieke databases.
• Verbeterde Few-Shot Learning: Door het gebruik van contrastief leren en de integratie van ongelabelde data, presteert het model uitstekend zelfs bij families met zeer weinig voorbeelden.
• Beschikbaarheid: De auteurs hebben vier modellen (voor KEGG, InterPro, OrthoDB, EggNOG) beschikbaar gesteld via een gebruiksvriendelijke webserver, een bioconda-pakket en open-source code op GitHub.

Resultaten

FAMUS is geëvalueerd op twee grote datasets (KEGG en PANTHER) en vergeleken met de state-of-the-art tools KofamScan (voor KEGG) en InterProScan (voor PANTHER).

• Prestatie (F1-score): FAMUS presteerde consistent beter dan of gelijk aan KofamScan en InterProScan, vooral in scenario's met een hoge fractie ongelabelde/onbekende sequenties (50% tot 95%), wat realistischer is voor metagenomische data.
  • Bij een lage fractie onbekende sequenties (5-25%) presteerde InterProScan soms iets beter, maar FAMUS overtrof deze bij hogere percentages.
  • De "comprehensive" versie (met sub-families) presteerde over het algemeen beter dan de "light" versie, maar de "light" versie bood een uitstekende balans tussen snelheid en nauwkeurigheid.
• Nauwkeurigheid vs. Recall: FAMUS toonde een hoge precisie (weinig false positives) ten koste van een iets hogere false-negative rate. Dit is wenselijk voor annotatiepipelines waarbij het beter is om een functie niet toe te wijzen dan een verkeerde functie te geven.
• Snelheid: De rekentijd wordt voornamelijk bepaald door de pHMM-zoekfase. De "light" versie van FAMUS is vergelijkbaar met of sneller dan bestaande tools, en kan worden versneld met GPU-acceleratie (hoewel de verbetering beperkt was door de bottleneck in de pHMM-zoekopdracht).

Betekenis en Toekomstperspectief

FAMUS markeert een paradigmaverschuiving in de bio-informatica door het probleem van eiwitannotatie te herformuleren als een relationele inferentietak (vergelijken in een embedding-ruimte) in plaats van een puur classificatieprobleem gebaseerd op de beste treffer.

• Toepassing: Het is bijzonder waardevol voor het analyseren van metagenomen van onderzochte omgevingen, waar veel eiwitten geen duidelijke homologie hebben met bekende families.
• Flexibiliteit: De modulaire aard maakt het mogelijk om specifieke domeinen te annoteren of aangepaste databases te bouwen zonder de noodzaak van enorme datasets per klasse.
• Toekomst: De auteurs zien ruimte voor verbetering, zoals het toevoegen van rangschikkingssystemen en betrouwbaarheidsniveaus voor voorspellingen, en het uitbreiden van de scope naar domeinen en ongekarakteriseerde eiwitten.

Kortom, FAMUS biedt een robuust, nauwkeurig en schaalbaar alternatief voor traditionele pHMM-tools, met name in situaties waar data-schaarste en de aanwezigheid van onbekende eiwitten de grootste uitdagingen vormen.