LLM-Guided Retrieval for Prediction of Molecular Perturbation Responses

Stel je voor dat je een detective bent die probeert uit te vogelen hoe een specifieke verdachte zal reageren op een nieuw type handboeien. In de wereld van de geneeskunde zijn deze "verdachten" piepkleine levende cellen, en de "handboeien" zijn kleine moleculen (drugs). Wetenschappers hebben jarenlang enorme bibliotheken aan data opgebouwd, waarin is vastgelegd hoe duizenden verschillende cellen reageren wanneer ze worden blootgesteld aan duizenden verschillende medicijnen. Dit is als het hebben van een gigantisch fotoalbum van elke mogelijke combinatie van verdachte en handboei. Maar dit is het probleem: er zijn zoveel mogelijke combinaties dat het fysiek onmogelijk is om ze allemaal te testen. Je kunt niet elk enkel medicijn op elke mogelijke cellijn in het universum testen.

Dus, hoe voorspellen wetenschappers wat er zal gebeuren met een cel die ze nog niet hebben getest? Ze gebruiken een slim trucje genaamd "retrieval" (opvraging). In plaats van een supercomplexe machine te bouwen om het antwoord vanaf nul te raden, zoeken ze naar een vergelijkbaar medicijn dat al wel is getest. Als Medicijn A en Medicijn B erg op elkaar lijken, en we weten hoe Medicijn A een cel heeft veranderd, dan kunnen we raden dat Medicijn B iets soortgelijks zal doen. Het is als het voorspellen van hoe een nieuwe film zal presteren door te kijken naar hoe vergelijkbare films in het verleden presteerden. De grote vraag waar dit artikel over gaat is: Hoe vinden we het beste vergelijkbare medicijn om als referentie te gebruiken? Is het beter om naar de chemische structuur te kijken (zoals het vergelijken van de kleur en vorm van de handboeien), of is er een slimmere manier om een match te vinden?

De onderzoekers in dit artikel, onder leiding van Betty Xiong en haar team, besloten een nieuwe aanpak te proberen: ze vroegen een Large Language Model (LLM) — een type AI dat miljoenen wetenschappelijke boeken en artikelen leest en begrijpt — om als gids voor de detective op te treden. Ze noemen hun methode LLM-Guided Retrieval (LGR).

Zo werkt hun experiment, met een speelse metafoor. Stel je voor dat je probeert te voorspellen hoe een specifieke, niet-geteste cel zal reageren op een nieuw medicijn. Je hebt een "kandidaatengroep" van andere medicijnen die al op diezelfde celsoort zijn getest.

1. De Oude Manier: Meestal kijken wetenschappers naar de chemische structuur van de medicijnen. Ze zouden kunnen zeggen: "Deze twee medicijnen lijken chemisch gezien op elkaar, dus ze werken waarschijnlijk ook hetzelfde." Dit is als een boek beoordelen uitsluitend op de voorkant.
2. De Nieuwe Manier (LGR): De onderzoekers voerden de naam van het nieuwe medicijn en de lijst met kandidaatmedicijnen in bij een AI. Ze vroegen de AI om zijn interne kennis van de biologie te raadplegen en te zeggen: "Op basis van hoe deze medicijnen binnen het lichaam werken (hun mechanismen en paden), welke zijn de beste matches?" De AI fungeert als een deskundige bibliothecaris die niet alleen weet hoe de boeken eruitzien, maar ook waar ze over gaan.
3. De Voorspelling: Zodra de AI de top 10 meest vergelijkbare medicijnen kiest, nemen de onderzoekers simpelweg het gemiddelde van wat die 10 medicijnen met de cel hebben gedaan. Ze gebruiken geen complexe wiskundige formule om het resultaat te raden; ze nemen gewoon het gemiddelde van de echte resultaten van de buren die de AI heeft gevonden.

Het onderzoeksteam testte dit idee op een enorme dataset genaamd Tahoe-100M, die data bevat over hoe cellen op veel medicijnen reageren. Ze keken naar drie verschillende scenario's:

• Niet-geziene Medicijnen: Het testen van een medicijn dat het model nog nooit eerder heeft gezien.
• Niet-geziene Celtypen: Het testen van een type cel dat het model nog nooit heeft gezien (dit is de moeilijkste uitdaging).
• Open Wereld: De AI de vrijheid geven om uit elk medicijn in de database te kiezen, niet alleen uit een beperkte lijst.

Wat hebben ze gevonden?
De resultaten suggereren dat het gebruik van de AI om de buren te kiezen een gamechanger is, vooral wanneer men te maken krijgt met nieuwe soorten cellen.

• Betere Richting: De meest opwindende bevinding gaat over "sign accuracy" (richtingsnauwkeurigheid). Dit betekent het voorspellen of een gen wordt verhoogd of verlaagd. De AI-gestuurde methode was veel beter in het juist krijgen van de richting vergeleken met het simpelweg middelen van alle medicijnen of het gebruiken van chemische gelijkenis. Het is alsof de AI correct raadde dat een medicijn de activiteit van een specif kind gen zou verhogen, terwijl andere methoden vaak fout zaten over de richting.
• De Overwinning bij "Niet-geziene Cellen": Toen het team probeerde te voorspellen hoe een compleet nieuw type cel zou reageren, verpletterde de AI-methode de concurrentie. Het behaalde een correlatiescore van 0,56 (een maatstaf voor hoe dicht de voorspelling bij de werkelijkheid ligt), terwijl de op één na beste methode slechts 0,42 haalde. Wat betreft de fout, had de AI-methode een Mean Absolute Error (MAE) van 0,011, wat lager (beter) was dan de 0,0137 van de drug-mean baseline.
• Eenvoud wint: Het artikel betoogt dat je geen supercomplex, zwaar uitgediept voorspellingsmodel nodig hebt. De "geheime saus" was niet een fancy algoritme om het antwoord te berekenen; het was simpelweg het vinden van de juiste buren om het gemiddelde van te nemen. De AI deed het harde werk om de juiste vrienden te vinden, en een simpel gemiddelde deed de rest.

Wat betekent dit?
De auteurs suggereren dat voor het voorspellen van de effecten van medicijnen op cellen, de kwaliteit van de "retrieval" (het vinden van de juiste vergelijkbare medicijnen) belangrijker is dan de complexiteit van het voorspellingsmodel. Ze ontdekten dat de AI, optredend als een beperkende gids, kon putten uit biologische kennis die eenvoudige chemische vergelijkingen misten.

De paper merkt echter voorzichtig op dat dit geen wondermiddel is dat alles oplost. De AI had soms moeite als de medicijnen zeer obscuur waren of als de AI niet genoeg geldige matches in de lijst kon vinden. Ook, hoewel de AI erg goed was in het krijgen van de richting van het effect (omhoog of omlaag) juist, was het niet altijd perfect in het voorspellen van de exacte grootte van het effect. De auteurs suggereren dat we in de toekomst deze AI-gids kunnen combineren met andere methoden om het beste van beide werelden te krijgen.

Kortom, dit artikel laat zien dat de beste manier om de toekomst te voorspellen soms niet is om een grotere, slimmere kristallen bol te bouwen, maar om een zeer goed gelezen bibliothecaris te vragen om je te helpen de juiste geschiedenisboeken te vinden om van te leren. Door een AI de zoektocht naar vergelijkbare medicijnen te laten leiden, kunnen wetenschappers veel betere schattingen maken over hoe nieuwe behandelingen zullen werken, vooral in situaties waarin ze heel weinig data hebben om mee te beginnen.