Technische Samenvatting: Synergetische Voordelen van Gecombineerde Molecuulgeneratie en Eigendomsvoorspelling

Probleemformulering

Het artikel behandelt een langdurige uitdaging in machine learning: het ontwikkelen van modellen die tegelijkertijd uitstekend presteren in generatieve en voorspellende taken. In het domein van geneesmiddelenontwerp hangt succes af van het vinden van een balans tussen het genereren van nieuwe moleculen uit onverkende chemische ruimten en robuuste eigendomsvoorspelling die kan extrapoleren naar deze nieuwe moleculen. Momenteel worden molecuulgeneratie en eigendomsvoorspelling overwegend gescheiden benaderd. Hoewel transformer-gebaseerde modellen state-of-the-art zijn voor beide taken afzonderlijk, vormt gezamenlijke training aanzienlijke architecturale en optimalisatie-uitdagingen. Het combineren van generatieve en voorspellende onderdelen in één enkel model leidt vaak tot over-regularisatie of gradiëntinterferentie tussen de generatieve en voorspellende doelen, waardoor modellen de potentiële synergetische voordelen van gezamenlijk leren laten liggen.

Methodologie: Hyformer

Om deze uitdagingen aan te pakken, stellen de auteurs Hyformer voor, een transformer-gebaseerd gezamenlijk model dat generatieve en voorspellende functionaliteiten verenigt binnen één enkele set gedeelde parameters.

Architectuur

Hyformer combineert een autoregressieve transformer-decoder met een bidirectionele transformer-encoder. De kerninnovatie ligt in een alternerend attentiemechanisme gecontroleerd door een taaktoken $[TASK] \in \{[LM], [PRED], [MLM]\}$:

• Generatieve Modus ($[LM]$): Het model fungeert als decoder met behulp van een causale zelfattentie-masker ($M_\rightarrow$), waarbij elk token beperkt wordt tot alleen naar zijn linkercontext te kijken.
• Voorspellende/Pre-training Modus ($[PRED], [MLM]$): Het model fungeert als encoder met behulp van een bidirectioneel zelfattentie-masker ($M_\leftrightarrow$), waardoor volledige toegang tot de context mogelijk is.

Deze alternerende regeling verlicht gradiëntinterferentie die typisch is voor gezamenlijke modellen. De Jacobiaan van de softmax-functie onder een causaal masker verandert de gradiënten van het attentiemodule anders dan onder een bidirectioneel masker, waardoor de doelen niet met elkaar in conflict komen tijdens updates.

Trainingsstrategie

Hyformer maakt gebruik van een tweestaps trainingsproces:

1. Gezamenlijke Pre-training: Het model wordt voorgeïmplementeerd op ongelabelde data met behulp van een gecombineerde verliesfunctie:
   $$\ell_{Hyformer} = \ell_{LM} + \mu\ell_{MLM} + \eta\ell_{PRED}$$
   Hierbij is $\ell_{LM}$ het taalmodelverlies, $\ell_{MLM}$ het gemaskeerde taalmodelverlies, en $\ell_{PRED}$ een voorspellend verlies gebaseerd op analytisch berekenbare moleculaire beschrijvers (bijvoorbeeld molecuulgewicht, hydrofobiciteit). De balans tussen taken wordt geregeld door een vector van taakwahrscheinlijkheden $p_{[TASK]}$.
2. Fine-tuning: Het model wordt gefine-tuned op gelabelde downstream-taken met behulp van een gezamenlijk verlies:
   $$\ell_{Hyformer} = \ell_{LM} + \lambda\ell_{pred}$$
   Het model alterneert tijdens de fine-tuning tussen generatieve en voorspellende taken op basis van taakwahrscheinlijkheden, waarbij het gemaskeerde taalmodelverlies wordt weggelaten om zich te richten op de downstream-taak terwijl de generatieve capaciteiten behouden blijven.

Sampling

Hyformer ondersteunt zowel onvoorwaardelijke als voorwaardelijke sampling:

• Onvoorwaardelijk: Het model samplet moleculen $x \sim p_\theta(x)$ met behulp van het autoregressieve deel.
• Voorwaardelijk: Om moleculen te genereren die voldoen aan een eigenschapsvoorwaarde $Y$, samplet het model $K$ kandidaten uit $p_\theta(x)$ en accepteert die waarbij de gezamenlijk getrainde predictor $p_\theta(y|x)$ classificeert dat ze eigenschap $Y$ hebben. Dit wordt gepresenteerd als een variant van best-of-$K$ sampling, waarbij gebruik wordt gemaakt van de verenigde representatieruimte voor een strakkere afstemming tussen generatie en controle.

Belangrijkste Bijdragen

1. Nieuw Gezamenlijk Model: Introductie van Hyformer, dat generatieve en voorspellende taken verenigt in één enkele parameterset met behulp van een alternerend attentiemechanisme.
2. Aantonen van Synergetische Voordelen: Empirisch bewijs dat Hyformer beter presteert dan basismodellen in:
   • Voorwaardelijke molecuulgeneratie.
   • Eigendomsvoorspelling buiten de verdeling (OOD).
   • Leren van moleculaire representaties (via probing).
3. Prestatiepariteit: Aantonen dat Hyformer de prestaties van state-of-the-art puur generatieve en puur voorspellende modellen evenaart, wat bewijst dat gezamenlijke training geen offer vereist in de prestaties van individuele taken.
4. Toepassing in de Wereld: Een use-case bij het ontdekken van nieuwe antimicrobiële peptiden (AMP's), die het nut van gezamenlijke modellering in geneesmiddelenontwerp demonstreert.

Experimentele Resultaten

Voorwaardelijke Molecuulgeneratie

Geëvalueerd op het GuacaMol-dataset, behaalde het gezamenlijk gefine-tuned Hyformer de laagste gemiddelde absolute afwijking (MAD) en standaardafwijking (SD) over doeleigenschappen (QED, SA, logP) terwijl het een hoge validiteit behield. Het presteerde aanzienlijk beter dan niet-gezamenlijke varianten en basismodellen zoals MolGPT en GraphGPT, wat bevestigt dat gezamenlijke fine-tuning de controleerbaarheid verbetert.

Eigendomsvoorspelling Buiten de Verdeling (OOD)

Op de Hit-identificatietaken uit het Lo-Hi-benchmark behaalde Hyformer de hoogste gemiddelde AUPRC over alle datasets (DRD2, HIV, KDR, Sol), en presteerde beter dan op vingerafdrukken gebaseerde basismodellen (k-NN, GB, SVM, MLP) en deep learning-modellen (Chemformer, Graphformer). Dit demonstreert het vermogen van het model om te generaliseren naar moleculaire scaffolds die niet tijdens de training zijn gezien.

Representatieleren

Met behulp van een nieuw probingprotocol op het MoleculeNet-benchmark waren representaties die zijn ontleend aan gezamenlijk voorgeïmplementeerde Hyformer het meest voorspellend voor zowel lineaire als KNN-probing. Hyformer behaalde de beste prestaties op 4 van de 10 datasets voor lineaire probing en 5 van de 10 voor KNN-probing, en presteerde beter dan state-of-the-art voorspellende modellen zoals Uni-Mol en andere gezamenlijke modellen.

Onvoorwaardelijke Generatie en AMP-ontwerp

• Onvoorwaardelijke Generatie: Op de GuacaMol- en MOSES-benchmarks lag Hyformer consequent op de Pareto-front, waarbij het distributiegetrouwheid (FCD, KL-divergentie), validiteit en uniciteit in balans bracht, en concurreerde met state-of-the-art SMILES-gebaseerde en graf-gebaseerde modellen.
• Antimicrobieel Peptide-ontwerp: In een real-world geneesmiddelenontwerptaken genereerde Hyformer peptiden met hoge fitness en AMP-waarschijnlijkheid, en presteerde aanzienlijk beter dan basismodellen (PepCVAE, AMPGAN, HydrAMP, AMP-Diffusion) terwijl het concurrerende perplexiteit en diversiteit behield. Attentie-analyse onthulde dat het model prioriteit gaf aan biologisch relevante aminozuren (Arginine, Lysine, Tryptofaan, Proline) die geassocieerd zijn met antimicrobiële activiteit.

Betekenis en Claims

Het artikel beweert dat Hyformer succesvol molecuulgeneratie en eigendomsvoorspelling verenigt voor SMILES-gebaseerde representaties, waardoor paden worden geopend voor integratie in real-world geneesmiddelopsporingspijplijnen. De auteurs benadrukken dat de synergetische voordelen van gezamenlijk leren – specifiek verbeterde controle over het generatieve proces, robuustheid ten opzichte van OOD-data, en het leren van hoogwaardige voorspellende representaties – haalbaar zijn zonder de prestaties van individuele taken te offeren.

De auteurs erkennen inherente afwegingen, waarbij ze opmerken dat gedeelde parameters de taakspecifieke specialisatie kunnen beperken. Zij suggereren dat toekomstig werk dynamische of modulaire attentie-architecturen kan verkennen om capaciteit flexibeler toe te wijzen. Bovendien merken ze op dat de mate waarin deze synergetische voordelen van toepassing zijn op andere modaliteiten, zoals 3D-structuren of transcriptomics, een open vraag blijft. Het werk wordt gepresenteerd als een stap naar hulpmiddelen die het ontwerp van nieuwe potentiële medicijnen faciliteren, in plaats van een oplossing voor kwaadaardige toepassingen.