🧬 biology

Preference-based Antibody Expression Ranking: Scaling with Large-scale Weak Supervision

Dit artikel stelt een verenigd voorkeursgebaseerd leersframework voor dat Direct Preference Optimization aanpast om schaarse kwantitatieve expressiedata te integreren met grootschalige zwakke immunisatie-supervisie, waardoor proteïnelinguïstische modellen effectief de expressibiliteit van antilichamen kunnen rangschikken in door gegevens beperkte omgevingen.

Oorspronkelijke auteurs: Josh Qixuan Sun, Morteza Babaie, Wenyang Hou, Mark Crowley, David Young

Gepubliceerd 2026-07-21

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Josh Qixuan Sun, Morteza Babaie, Wenyang Hou, Mark Crowley, David Young

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Stel je voor dat je een meesterkok bent die probeert het perfecte nieuwe recept te creëren voor een gerecht waar iedereen van houdt. In de wereld van de geneeskunde is dit "gerecht" een antilichaam—een minuscuul, Y-vormig eiwit dat fungeert als een superheld voor ons immuunsysteem, op zoek naar virussen en bacteriën. Wetenschappers proberen voortdurend op maat gemaakte antilichamen te ontwerpen om ziekten te bestrijden, maar er is een enorme adder onder het gras: alleen omdat een recept er op papier goed uitziet, betekent het nog niet dat het ook daadwerkelijk in de keuken tot stand komt. Sommige ontwerpen resulteren in een heerlijk, hoogrendement gerecht, terwijl andere een totale mislukking zijn en helemaal niets produceren.

Het probleem is dat uitzoeken welke recepten werken ongelooflijk duur en traag is. Het is alsof je een cake moet bakken om te zien of de ingrediënten wel goed mengen, maar je kunt maar een paar taarten per jaar betalen om te bakken. Wetenschappers hebben een berg "misschien"-recepten (miljoenen van hen) maar slechts een handvol "zeker werkt"-recepten (slechts een handjevol). Dit artikel pakt precies die flessenhals aan. Het introduceert een slimme manier om een computer te leren hoe hij deze recepten kan rangschikken, niet door elk recept te bakken, maar door te leren van een mix van een paar bekende winnaars en een enorme stapel "waarschijnlijk oké" gokjes. Het doel? Om de goede recepten van de slechte te scheiden, zodat wetenschappers zich alleen kunnen concentragen op de meest veelbelovende, wat tijd en geld bespaart in de race naar het genezen van ziekten.

Het Recept voor Betere Antilichamen

Denk aan het ontwerpen van een antilichaam als het proberen te schrijven van een zin in een taal die je nooit volledig onder de knie hebt gekregen. Je hebt een woordenboek van 20 aminozuren (de letters), en je moet ze aan elkaar rijgen om een zin (het eiwit) te maken die daadwerkelijk iets nuttigs doet. Het probleem is dat de meeste zinnen die je schrijft misschien onzin zijn of, erger nog, ze kunnen wel op een zin lijken, maar geen enkele betekenis hebben wanneer je ze probeert uit te spreken. In het lab wordt dit "betekenis geven" de expressie genoemd. Als een antilichaam niet goed tot expressie komt, is dat als een recept dat vraagt om "een snufje magische stof"—het zal in de echte wereld gewoon niet werken.

Een lange tijd zaten wetenschappers vast met een piepklein kookboek. Ze hebben een paar honderd recepten waarbij ze precies weten hoeveel "voedsel" (opbrengst) het antilichaam heeft geproduceerd. Maar ze moeten duizenden nieuwe ideeën testen. Het artikel stelt een briljante workaround voor: waarom gebruiken we niet een enorme bibliotheek van "misschien"-recepten om de computer te helpen leren?

De Twee-Stappen Magische Truk

De auteurs, Josh Qixuan Sun en zijn team, kwamen met een twee-stappenstrategie om een computer te leren een betere receptenbeoordelaar te zijn.

Stap 1: De "Onderdompelingsfase"
Eerst namen ze een slim computermodel (een "eiwittaalmodel") dat al veel weet over hoe eiwitten over het algemeen werken. Vervolgens voedden ze het met een enorme bibliotheek van 4,2 miljoen antilichaamsequenties die in de natuur werden gevonden (specifiek bij kamelen en lama's). Deze sequenties zijn als een enorme stapel "waarschijnlijk oké" recepten. We weten niet precies hoe goed ze koken, maar we weten dat ze in de natuur bestaan, dus ze zijn waarschijnlijk veilig en stabiel. De computer leest al deze 4,2 miljoen door en leert de "vibe" van een goed antilichaam begrijpen zonder dat hij de exacte opbrengst hoeft te kennen. Het is alsof een student een miljoen mysteries romans leest om een gevoel te krijgen bij het genre voordat hij zelf probeert te schrijven.

Stap 2: De "Proeverij-fase"
Vervolgens introduceerde het team een klein, hoogwaardig kookboek genaamd Exp-1K. Dit boek bevat slechts 1.254 recepten, maar voor elk recept weten ze de exacte score: hoeveel eiwit het heeft geproduceerd. Sommige produceerden veel (hoge opbrengst), sommige een beetje, en ongeveer 27% produceerde helemaal niets (nul opbrengst).

Hier gebeurt de magie. In plaats van de computer alleen maar te vragen: "Hoe goed is dit recept?" (wat moeilijk goed te krijgen is met zo weinig data), vroegen ze een andere vraag: "Als je moest kiezen tussen Recept A en Recept B, welke is dan beter?"

Ze gebruikten een techniek genaamd Direct Preference Optimization (DPO). Stel je voor dat je een hond traint. Je zegt niet alleen "Goede hond" of "Slechte hond". Je houdt twee snoepjes omhoog en zegt: "Ik vind deze liever dan die." De computer leert om de antilichamen te rangschikken.

Sterke supervisie: Als Recept A 100 mg eiwit maakte en Recept B 10 mg, leert de computer: "A is beter dan B."
Zwakke supervisie: Als Recept C uit de grote stapel van 4,2 miljoen komt (we weten de score niet, maar het bestaat in de natuur) en Recept D nul eiwit produceerde, leert de computer: "C is waarschijnlijk beter dan D."

Door deze twee soorten lessen te mengen, leert de computer duizenden nieuwe ontwerpen te rangschikken, waarbij de meest veelbelovende bovenaan de lijst komen te staan.

Wat Ze Vonden

Het team testte hun methode op een diverse set gegevens. Ze vergeleken hun nieuwe "voorkeursmethode" met oudere manieren om computers te trainen, zoals eenvoudige regressie (het raden van een getal) of simpelweg naar de data kijken zonder speciale training.

De resultaten waren duidelijk:

Het Twee-Stappen Team wint: De methode die zowel de enorme "misschien"-bibliotheek (Stap 1) als de "proeverij"-rangschikking (Stap 2) gebruikte, presteerde consequent beter dan alles wat ze eerder hadden geprobeerd. Het was beter in het voorspellen welke antilichamen daadwerkelijk zouden werken en beter in het rangschikken van de beste naar de slechtste.
Zero-Shot is zwak: Als ze de computer simpelweg gebruikten zonder deze speciale training (zero-shot), presteerde deze vreselijk. De computer kon het verschil niet zien tussen een goed recept en een slecht recept. Dit suggereert dat alleen het kennen van het "alfabet" van eiwitten niet genoeg is; je moet het specifieke "dialect" van antilichaam-expressie leren.
Meer data is beter: Ze testten wat er gebeurde als ze de computer steeds meer van de 4,2 miljoen "misschien"-recepten voerden. Hoe meer data ze toevoegden, hoe slimmer de computer werd. Hij raakte niet in de war; hij werd slimmer. Dit suggereert dat de "zwakke" data uit de grote bibliotheek fungeert als een vangnet dat de computer behoedt voor wilde gokken op basis van de kleine hoeveelheid perfecte data.

Wat Ze Uitsloten

Het artikel testte ook enkele ideeën die achteraf doodlopende wegen bleken te zijn:

Alleen de grote bibliotheek lezen is niet genoeg: Als ze alleen Stap 1 deden (het lezen van de 4,2 miljoen sequenties) en daarna een standaard "getal raden"-methode gebruikten op het kleine kookboek, werkte het niet goed. De computer leerde de taal, maar leerde niet hoe hij de recepten moest rangschikken.
Te veel "zwakke" data kan de "sterke" data overstemmen: Ze ontdekten dat als ze de training niet zorgvuldig balanceerden, de enorme stapel "misschien"-recepten de kleine stapel "definitive" recepten volledig kon overstemmen. Ze moesten een knop (de $\alpha$ -parameter) bijstellen om ervoor te zorgen dat de computer genoeg aandacht besteedde aan de hoogwaardige data, terwijl hij nog steeds leerde van de enorme bibliotheek.

De Kern van het Verhaal

Dit artikel suggereert dat we niet hoeven te wachten op miljoenen perfecte laboratoriumexperimenten om betere antilichamen te ontwerpen. In plaats daarvan kunnen we een slimme mix gebruiken van een paar hoogwaardige experimenten en een berg "waarschijnlijk oké" natuurlijke data om computers te leren hoe ze ontwerpen moeten rangschikken.

De auteurs laten zien dat deze aanpak een praktische en robuuste manier is om het probleem van schaarse data op te lossen. Het is geen toverstaf die alles direct oplost, maar het suggereert dat door de manier waarop we de computer leren te veranderen (de focus te leggen op voorkeuren in plaats van alleen op getallen), we het ontwerp van antilichamen sneller, goedkoper en betrouwbaarder kunnen maken. Voor een nieuwsgierige tiener: denk aan een upgrade van een chef die elk gerecht moet proeven naar een chef die een super-intelligente sous-chef heeft die duizenden gerechten tegelijk kan proeven en je precies kan vertellen welke je moet serveren.

Technische Samenvatting: Preferentiegebaseerde Ranking van Antilichaamexpressie

Probleemstelling
De ranking van antilichaamexpressie is een kritieke flessenhals in de therapeutische ontwikkeling, maar computationele modellering wordt ernstig gehinderd door het tekort aan gelabelde experimentele data. Bestaande publieke benchmarks bevatten doorgaans slechts honderden sequenties met een beperkte diversiteit in lengte en opbrengstverdeling, wat niet voldoet aan de complexiteit van de werkelijke wereld. Bovendien hebben standaard supervised learning-benaderingen moeite met generalisatie wanneer gelabelde data schaars is. Daarentegen genereren industriële ontdekkingsworkflows miljoenen antilichaamsequenties via immunisatie (bijv. uit kameelachtigen) die geen kwantitatieve expressiemetingen missen, maar dienen als een bron van "zwakke positieve supervisie", aangezien empirisch bewijs wijst op hoge expressibiliteit van deze sequenties in vergelijking met door AI gegenereerde of transgene muis-afgeleide kandidaten. De kernuitdaging is het ontwerpen van een framework dat effectief schaarse, hoogwaardige kwantitatieve data kan integreren met grootschalige, ongelabelde zwakke supervisie om de antilichaamexpressibiliteit te optimaliseren.

Methodologie
De auteurs stellen een verenigd preferentiegebaseerd leerkader voor dat Direct Preference Optimization (DPO) aanpast aan proteïne taalmodellen (pLMs). De aanpak bestaat uit twee primaire stadia:

Domein-alignment (Continual Pretraining): Het model ondergaat continual pretraining middels masked language modeling (MLM) op een grootschalige dataset van immunisatie-afgeleide kameelachtige sequenties (Camel-4M, 4,2 miljoen sequenties). Deze fase, aangeduid als "evo-tuning", past algemene pLMs aan de specifieke sequentieverdeling van antilichamen aan, waardoor een robuuste representatieruimte wordt gevestigd voordat er enige expressie-specifieke supervisie wordt toegepast.
Preferentie Optimalisatie (DPO): Het framework maakt gebruik van DPO om gezamenlijk te leren van twee heterogene supervisiebronnen:
- Sterke Supervisie: Kwantitatieve opbrengstdata uit een propriëtaire dataset (Exp-1K, 1.254 sequenties) wordt omgezet in paarwijze preferenties. Een paar $(y_w, y_l)$ wordt gevormd als het verschil in opbrengst groter is dan een marge $\delta$ (gesteld op 30 mg/L).
- Zwakke Supervisie: Immunisatie-afgeleide sequenties (behandeld als expressibel) worden gepaard met sequenties met een gemeten opbrengst van nul (niet-expressibel) uit de sterke supervisie-set.
- Union-Masked Log-Likelihood Approximatie: Omdat pLMs vertrouwen op pseudo-log-likelihood (PLL) in plaats van autoregressieve likelihood, is het berekenen van exacte log-waarschijnlijkheden voor elke positie computationeel duur. De auteurs introduceren een union-masked approximatie waarbij verschillende posities tussen twee sequenties gezamenlijk gemaskeerd en in een enkele forward pass geëvalueerd worden. Dit vermindert de computationele kosten tijdens de preferentie-optimalisatie aanzienlijk.
- IMGT Alignment: Om variabele lengtes van antilichaamsequenties te behanden, worden sequenties uitgelijnd met behulp van IMGT-nummering via de ANARCI-software, wat een consistente constructie van preferentieparen over de sequentieruimte garandeert.

Het trainingsdoel maximaliseert de waarschijnlijkheid van geprefereerde sequenties ten opzichte van minder geprefereerde sequenties, terwijl er geregulariseerd wordt tegen afwijkingen van het referentiemodel (de domein-aligned pLM) met behulp van een KL-divergentie straf.

Belangrijkste Bijdragen

Verenigd Framework: Het artikel ontwikkelt een enkel trainingsdoel dat schaarse kwantitatieve opbrengsten en grootschalige zwakke positieve supervisie integreert, waardoor de noodzaak voor aparte taakspecifieke heads of reward modellen wordt vermeden.
Efficiënte DPO voor pLMs: De auteurs passen DPO aan voor masked language models door een union-masked log-likelihood approximatie en IMGT-gebaseerde alignment te introduceren, wat efficiënte training op variabel lengte sequenties mogelijk maakt.
Empirische Validatie: De methode wordt gevalideerd op een diverse interne dataset (Exp-1K) en een massieve zwakke supervisie-corpus (Camel-4M), waarbij wordt aangetoond dat het consistent beter presteert dan standaard regressie- en classificatie-baselines over meerdere proteïne taal-backbones (AntiBERTa2, IgBERT, ProtBERT).
Scaling Analyse: De studie toont aan dat het framework effectief schaalt met toenemende volumes van zwakke supervisie, wat het vermogen bewijst om ongelabelde industriële data te benutten om de schaarste aan gelabelde data te mitigeren.

Resultaten
Geëvalueerd op de Exp-1K testset, presteerde de voorgestelde twee-fasen methode (Continual Pretraining + Preference Optimization) consistent beter dan de baselines, inclus�s zero-shot modellen, supervised regressie en supervised classificatie:

Prestatie-metrieken: De methode behaalde superieure resultaten in zowel binaire expressibiliteitsvoorspelling (gemeten door MCC en Recall) als opbrengst-ranking (gemeten door Kendall's $\tau$ en de Spearman's correlatiecoëfficiënt). Zo behaalde het volledige framework op de AntiBERTa2 backbone een MCC van 43,7 en een Kendall's $\tau$ van 46,3, wat de supervised baselines (MCC ~29,1, $\tau$ ~37,6) aanzienlijk overtrof.
Scaling Gedrag: De prestaties verbeterden gestaag naarmate de omvang van de zwakke supervisie-dataset toenam van 1K naar 4,2M sequenties, mits Fase I continual pretraining werd gebruikt. Zonder Fase I waren de prestatiewinsten minder stabiel.
Generalisatie en Stabiliteit: Het volledige framework vertoonde een kleinere generalisatiekloof tussen validatie- en testsets vergeleken met modellen die zonder zwakke data of met standaard regressie zijn getraind. De optimalisatietrajecten waren vloeiender en minder gevoelig voor oscillaties, wat suggereert dat grootschalige zwakke supervisie fungeert als een regularisator die het model verankert in een biologisch levensvatbare sequentieruimte.
Ablatie-bevindingen: De studie wees uit dat preferentie-leren alleen op kleine gelabelde datasets iets slechter presteerde dan directe regressie, wat de noodzaak van grootschalige zwakke supervisie onderstreept om voldoende gradiëntsignalen te leveren. Daarnaast verminderde het filteren van preferentieparen op basis van sequentie-gelijkenis de prestaties, wat aangeeft dat het model profiteert van leren over de volledige distributie van de sequentieruimte.

Betekenis
Het artikel stelt dat preferentiegebaseerde optimalisatie een praktische en robuuste oplossing biedt voor antilichaamontwerp in scenario's met beperkte data. Door effectief te leren van zwakke supervisie, adresseert het framework de beperkingen van traditionele supervised learning wanneer gelabelde data schaars is. De resultaten suggereren dat preferentie-leren fungeert als een "robuuste biofysische regularisator", waardoor het mogelijk is om nuttige signalen te extraheren uit enorme, ongelabelde industriële datasets. Deze aanpak biedt een schaalbaar pad voor fijnmazige predictie van de ontwikkelbaarheid van antilichamen, waarbij de kloof tussen evolutionaire waarschijnlijkheidsverdelingen en specifieke biofysische engineeringdoelen wordt overbrugd zonder dat expliciete reward modellen vereist zijn.