Application of large language models to the annotation of cell lines and mouse strains in genomics data

Dit onderzoek toont aan dat GPT-4o, met name via retrieval-augmented generation, menselijke curatoren effectief kan ondersteunen bij het automatisch annoteren van muizenstammen en cellijnen in genomische data, hoewel volledige vervanging van handmatige curatie nog niet haalbaar is.

De kern

Stel je voor dat de wereld van de biologie een gigantische, chaotische bibliotheek is. In deze bibliotheek liggen miljoenen boeken (wetenschappelijke experimenten) over muizen en celletjes. Het probleem? De titels en samenvattingen van deze boeken zijn vaak willekeurig geschreven. Soms staat er "C57BL/6", soms "C57/Bl6", en soms staat er zelfs een typefout in.

Om deze boeken echt bruikbaar te maken voor onderzoekers, moeten bibliothecarissen (de curatoren) elke titel controleren en een officiële, gestandaardiseerde labeltje plakken. Dit is een enorm, saai en foutgevoelig klusje.

Het verhaal van deze paper gaat over een nieuw hulpmiddel: een superslimme robotbibliothecaris, genaamd GPT-4o (een Large Language Model of LLM). De auteurs wilden weten: Kan deze robot de menselijke bibliothecarissen helpen om die chaotische labels om te zetten in de juiste, officiële termen?

Hier is hoe het werkt, verteld in alledaagse taal:

1. De Taak: Muizen en Celletjes ordenen

De onderzoekers gaven de robot twee specifieke taken:

• Muizenstammen: Er zijn honderden soorten laboratoriummuizen. De robot moet uit een rommelige zin in een wetenschappelijk artikel halen: "Ah, dit is een FVB/N-muis" en dat omzetten naar de officiële code.
• Cel lijnen: Dit is veel lastiger. Er zijn 46.000 verschillende soorten cel lijnen (zoals de beroemde 'HeLa'-cellen). De robot moet hier ook de juiste naam uit de chaos halen.

2. De Methode: De robot met een naslagwerk

De robot kon niet zomaar alles raden. De onderzoekers gaven hem een "naslagwerk" (een lijst met alle officiële namen).

• Voor de muizen: De lijst was klein (156 namen). De robot kreeg deze lijst direct in zijn hoofd.
• Voor de cellen: De lijst was te groot (46.000 namen) om in één keer te geven. Dus gebruikten ze een slimme truc: RAG (Retrieval-Augmented Generation).
  • De analogie: Stel je voor dat je een vraag stelt aan een expert. De expert pakt eerst een zoekmachine, zoekt de 50 meest waarschijnlijke antwoorden uit een enorme bibliotheek, en kijkt dan pas welke van die 50 het beste past bij jouw vraag. Zo deed de robot het ook.

3. De Resultaten: Hoe goed was de robot?

De robot werd getest tegenover de menselijke bibliothecarissen (die al jarenlang deze klus doen).

• Bij de muizen: De robot deed het uitstekend. Hij kreeg 77% van de taken helemaal goed. Hij was zelfs slimmer dan de menselijke curatoren in sommige gevallen! Hij zag bijvoorbeeld dat in het ene stuk van een artikel "FVB" stond en in het andere "FVB/N", en begreep dat het om dezelfde muis ging. De menselijke curatoren hadden dat soms gemist.
• Bij de cellen: Dit was lastiger. De robot kreeg 59% goed. Waarom minder? Omdat de lijst met namen zo enorm groot was en de namen vaak leken op elkaar (zoals "BJ" en "BJ-1"). De zoekmachine die de robot gebruikte, greep soms de verkeerde 50 namen uit de bibliotheek, waardoor de robot geen goede keuze kon maken.
• Vergelijking met oude methoden: Vroeger gebruikten mensen simpele zoekfuncties (zoals "zoek de tekst 'C57'"). Dat werkte slecht: dat kreeg maar 6% goed omdat het te veel fouten maakte (het dacht dat elk woord 'C57' een muis was, zelfs als het een typefout was). De robot was dus veel slimmer.

4. De Grootste Opdracht: De robot als 'Kwaliteitscontroleur'

Het meest interessante deel is dat de robot niet perfect was, maar wel heel nuttig.

• De robot vond meer dan 200 fouten in de bestaande menselijke curatie.
• Waarom? Omdat de robot de hele tekst (het artikel én de database-invoer) in één keer kon lezen en vergelijken. Mensen lezen vaak stukje bij beetje en maken daardoor fouten door inconsistenties.

Maar let op: De robot maakt ook fouten. Soms "hallucineert" hij een naam die er niet staat.

• De oplossing: De onderzoekers lieten de robot niet alleen het antwoord geven, maar ook bewijs tonen. De robot moest zeggen: "Ik denk dat dit een FVB/N-muis is, en hier is de zin uit het artikel waar dat staat."
• Dit is cruciaal. Een menselijke bibliothecaris kan in één seconde kijken naar die zin en zeggen: "Ah, de robot heeft gelijk" of "Ah, de robot heeft een foutje gemaakt."

Conclusie: De robot vervangt de mens niet, maar helpt hem

De boodschap van dit papier is niet dat we de menselijke bibliothecarissen kunnen ontslaan. De robot is nog niet slim genoeg om alles zelf te doen zonder toezicht.

Maar, stel je een teamwerk-situatie voor:
De robot doet het zware, saaie werk: hij leest duizenden artikelen, haalt de namen eruit en plakt er een voorlopig labeltje op met bewijsstukjes. De menselijke bibliothecaris kijkt er dan alleen nog maar even naar, controleert de bewijsstukjes en zegt "Goed" of "Nee".

Kort samengevat:
Dit onderzoek laat zien dat AI (zoals GPT-4o) een krachtige assistent is. Het maakt het werk sneller, goedkoper en zelfs nauwkeuriger, zolang er maar een menselijke "hoofd" is die de eindcontrole doet. Het is de perfecte combinatie van de snelheid van een computer en het inzicht van een mens.

Technische samenvatting

Probleemstelling

De hergebruikbaarheid van functionele genomische data in repositories zoals de Gene Expression Omnibus (GEO) is sterk afhankelijk van accurate, consistente en uitgebreide metadata. Huidige inzendingen aan GEO zijn vaak vrij tekstueel, inconsistent, onvolledig of bevatten typefouten. Om deze data vindbaar en vergelijkbaar te maken, worden ze handmatig gekureerd door resources zoals de Gemma-database, waarbij vrije tekst wordt gemapt naar gestandaardiseerde ontologie-termen (zoals voor muizenstammen en cellijnen).
Dit handmatige proces is echter:

• Tijdrovend en kostbaar.
• Kwetsbaar voor menselijke fouten (bijv. door inconsistenties tussen de GEO-metadaten en de bijbehorende publicatie).
• Moeilijk schaalbaar gezien de enorme hoeveelheid gegenereerde data.

Er is behoefte aan geautomatiseerde methoden die deze kureerlast kunnen verlichten zonder de kwaliteit te verlagen.

Methodologie

De auteurs evalueerden de prestaties van het Large Language Model (LLM) OpenAI's GPT-4o als assistent-tool voor de entiteit-naar-ontologie annotatie van twee specifieke domeinen: muizenstammen en cellijnen.

Data en Set-up:

• Referentiedata: Meer dan 9.000 handmatig gekureerde experimenten uit de Gemma-database en meer dan 5.000 bijbehorende wetenschappelijke artikelen.
• Input: De prompt voor GPT-4o bevatte de GEO-metadaten (titel, samenvatting, ontwerp, kenmerken van monsters) en, indien beschikbaar, de titel, abstract en methodesectie van de bijbehorende publicatie.
• Kennisbasis:
  • Voor muizenstammen: Een lijst van 156 veelvoorkomende stammen afgeleid van de Experimental Factor Ontology (EFO) en Gemma Ontology (TGEMO).
  • Voor cellijnen: Een lijst van 46.032 unieke cellijnen uit de Cell Line Ontology (CLO) en EFO.

Technische Aanpak:

1. Zero-shot Prompting: Het model kreeg geen voorbeelden van correcte annotaties, maar moest de taak uitvoeren op basis van instructies.
2. Retrieval-Augmented Generation (RAG):
   • Muizenstammen: De volledige lijst van ontologietermen werd direct in de prompt opgenomen als JSON.
   • Cellijnen: Vanwege de beperkte contextgrootte van GPT-4o (128k tokens) kon de lijst van 46.000+ termen niet direct worden opgenomen. Er werd een tweestapsbenadering gebruikt:
     1. GPT-4o identificeerde eerst vrije tekst-vermeldingen van cellijnen uit de input.
     2. Deze vermeldingen werden ge-embed (met text-embedding-3-large) en vergeleken met een vectordatabase van ontologietermen. De top 50 meest vergelijkbare termen werden teruggegeven aan GPT-4o om de definitieve ontologiemapping te maken.
3. Output: Het model werd gevraagd om niet alleen de ontologielabels en URI's te retourneren, maar ook letterlijke citaten uit de bron die de beslissing ondersteunen.
4. Vergelijking: Voor muizenstammen werd een baseline-methode op basis van regular expressions (string matching) gebruikt om de prestaties van GPT-4o te vergelijken.

Evaluatiemetrics:
De prestaties werden gemeten aan de hand van True Positives (TP), False Positives (FP) en False Negatives (FN) in vergelijking met de Gemma-annotaties (waarbij handmatige correcties werden toegepast op fouten in de referentie). De metrics waren Recall, Precision en F1-score.

Belangrijkste Resultaten

1. Prestaties Muizenstammen:

• GPT-4o: Bereikte een correcte annotatie in 77% van de experimenten.
  • Gemiddelde Recall: 0,82
  • Gemiddelde Precision: 0,82
  • Gemiddelde F1-score: 0,82
• String Matching: Bereikte slechts 6% correcte annotaties. Hoewel de recall redelijk was (74%), was de precision extreem laag (32%) door veel valse positieven.
• Conclusie: GPT-4o overtreft de traditionele string-matching methoden aanzienlijk door contextuele redenering in plaats van alleen lexische overeenkomsten.

2. Prestaties Cellijnen:

• GPT-4o: Bereikte een correcte annotatie in 59% van de experimenten.
  • Gemiddelde Recall, Precision en F1-score lagen rond de 0,72.
• Reden voor lagere prestaties: De enorme omvang van de cel-lijnonologie (46k termen) vereiste de RAG-benadering, wat introduceerde fouten in de retrieval-fase (de juiste term werd soms niet in de top 50 teruggevonden) en de mapping-fase.

3. Detectie van Menselijke Fouten:

• GPT-4o slaagde erin om ongeveer 200 fouten in de bestaande Gemma-kuratie te identificeren en te corrigeren.
• Deze fouten bestonden vaak uit inconsistenties tussen de GEO-metadaten en de publicatie (bijv. "FVB" vs. "FVB/N") of typefouten in de brondata.
• De fouten van GPT-4o leken sterk op die van menselijke kureerders (vaak veroorzaakt door typefouten in de bron), maar het model was effectiever in het analyseren van de volledige context om tegenstrijdigheden op te lossen.

4. Betrouwbaarheid van Output:

• Een cruciale bevinding was dat de ondersteunende citaten die door het model werden gegenereerd, bijna altijd accuraat waren, zelfs als de uiteindelijke ontologiemapping foutief was. Dit stelt menselijke kureerders in staat om fouten snel te identificeren en te verifiëren.

Bijdragen en Betekenis

Technische Bijdragen:

• Systematische evaluatie van GPT-4o voor de normalisatie van biomedische metadata op grote schaal.
• Demonstratie van een effectieve RAG-workflow voor het omgaan met zeer grote ontologieën (cellijnen) binnen de contextlimieten van LLM's.
• Validatie dat het combineren van LLM-annotaties met menselijke verificatie (Human-in-the-loop) een haalbare strategie is.

Significantie voor het Domein:

• Efficiëntie: LLM's kunnen de kureerlast aanzienlijk verminderen door de eerste ronde van annotatie en normalisatie te verzorgen.
• Kwaliteit: Het model kan inconsistenties detecteren die menselijke kureerders vaak over het hoofd zien vanwege de tijdsdruk en de complexiteit van de data.
• Toekomstperspectief: De studie concludeert dat LLM's nog niet klaar zijn om menselijke kureerders volledig te vervangen, maar wel een krachtige assistent zijn. Een workflow waarbij het model voorstelt en de mens valideert (voorzien van broncitaten), kan de schaalbaarheid van biomedische databases verbeteren zonder in te leveren op nauwkeurigheid.

Beperkingen:
De studie erkent dat de evaluatie beperkt was tot één model (GPT-4o), dat de "ground truth" (Gemma) zelf niet perfect was, en dat de prestaties voor cellijnen deels afhankelijk waren van de kwaliteit van de embedding-retrieval en niet alleen van het taalmodel zelf.