Technische Samenvatting: TadA-Bench

Probleemstelling

Het veld van AI voor wetenschappelijke ontdekking beweegt zich naar "agentic" workflows, waarbij modellen actief deelnemen aan iteratieve besluitvorming in plaats van passief statische datasets te fitten. In de eiwitengineering impliceert dit systemen die wet-lab geschiedenissen kunnen lezen, data kunnen analyseren en kandidaten voor toekomstige experimenten kunnen prioriteren. Bestaande benchmarks falen echter vaak in het evalueren van het vermogen van een model om te generaliseren van eerdere experimentele rondes naar toekomstige rondes. Standaard benchmarks vertrouwen doorgaans op willekeurige dataspits, wat interpolatie test (voorspellen binnen bekende distributies) in plaats van de cruciale taak van toekomstige-ronde ontdekking (het rangschikken van varianten die pas in latere experimentele rondes verschijnen). Er is een gebrek aan reproduceerbare, grootschalige benchmarks die de chronologische structuur van echte directed-evolution campagnes behouden om te testen of modellen toekomstige wet-lab uitkomsten kunnen prioriteren op basis van vastgelegde eerdere bewijslast.

Methodologie

1. Benchmark Constructie: TadA-Bench

De auteurs introduceren TadA-Bench, een benchmark met een vaste dataset gebaseerd op het herafspelen van wet-lab experimenten, afgeleid van 31 rondes van TadA (adenosine deaminase) directed evolution.

• Schaal: De dataset beslaat ongeveer één miljoen varianten die zijn waargenomen via Next-Generation Sequencing (NGS).
• Views: Het biedt uitgelijnde DNA-, RNA- en eiwitsequentie-views, waardoor de evaluatie van genomische, transcript en eiwit taalmodellen op dezelfde onderliggende campagne mogelijk is.
• Protocol: De benchmark definieert een "future-round replay" taak. Modellen worden getraind op varianten en metingen uit eerdere rondes ($D_{\le k}$) en worden geëvalueerd op hun vermogen om varianten te rangschikken die alleen in latere rondes verschijnen ($D_{> k}$). In het primaire geval trainen modellen op rondes 1–27, valideren op ronde 28, en testen op rondes 29–31. De splitsingen zijn sequentie-disjunct om memorisatie te voorkomen.

2. Dataintegratie: Seq2Graph

Een kernbijdrage aan de methodologie is Seq2Graph, een graafgebaseerde pipeline ontworpen om ruisgevoelige, multi-ronde verrijkingsmetingen te verenigen tot consistente activiteitslabels.

• Uitdaging: Ruwe selectiedata bevat batch-effecten, ruisgevoelige verrijkingsschattingen en lokale paar-inconsistenties over 31 rondes.
• Mechanisme:
  • Graafconstructie: Binnen elke ronde worden varianten gerangschikt op basis van read-count verrijking. Er wordt een gerichte graaf gebouwd waarbij randen (edges) aangrenzende varianten in de gesorteerde lijst verbinden, gewogen door lokale verrijkingsratio's.
  • Verankering (Anchoring): Varianten die in meerdere rondes voorkomen (sequentie-overlappen) fungeren als "ankers" om lokale rangschikkingsgrafen over de campagne heen te verbinden.
  • Eliminatie van inconsistenties: De pipeline formuleert het verwijderen van tegenstrijdige cycli (bijv. $A > B > C > A$) als een Weighted Feedback Arc Set probleem. Een gulzig (greedy) heuristiek wordt gebruikt om randen met een lage betrouwbaarheid te verwijderen, waardoor de graaf wordt getransformeerd in een Directed Acyclic Graph (DAG).
  • Activiteitstoewijzing: Een activiteitsschaal wordt verankerd bij een referentievariant (TadA8e = 1.0). Scores worden gepropageerd in het log-domein (multiplicatieve ratio's) van de referentie naar alle andere knopen via het pad met de minste randen.
• Output: Dit produceert sequentie-gedefinieerde relatieve activiteitslabels voor DNA-, RNA- en eiwitviews zonder biologische afstamming of lineage-bomen af te leiden.

3. Evaluatiekader

De evaluatie behandelt biologische taalmodellen als een "ranking module" voor een agentic loop.

• Modellen: De studie evalueert DNA-modellen (Evo 2, Nucleotide Transformer), RNA-modellen (OmniGenome), en eiwitmodellen (ESM2, ProtTrans, ESMC).
• Protocollen:
  • Frozen Encoder: De primaire evaluatie bevriest de pre-trained encoder en traint een downstream regressie-kop.
  • Adaptatie-checks: Inclusief volledige fine-tuning en prompt tuning om protocol-artefacten uit te sluiten.
  • Metrieken: Spearman's rangcorrelatie ($\rho$), Recall@10%, en nDCG@10%.
  • Ontdekkingsmodus (Discovery Mode): Evalueert de prioritering van kandidaten onder eindige budgetten (96 en 384 varianten, simulatie van standaard plate-formaten).

Belangrijkste Resultaten

1. De Future-Round Gap

Representatieve biologische taalmodellen vertonen een scherpe prestatiekloof tussen interpolatie en future-round discovery:

• Interpolatie (Random Split): Onder een 8:1:1 random split bereiken eiwitmodellen sterke Spearman-correlaties ($\rho \approx 0.8$), wat aangeeft dat de labelruimte leerbaar is.
• Future-Round Discovery: Onder de vaste chronologische split daalt de prestatie drastisch. Spearman-correlaties dalen naar $\rho \approx 0.03$–$0.05$ over DNA-, RNA- en eiwitviews.
• Adaptatie: Volledige fine-tuning en prompt tuning slagen er niet in om deze kloof te dichten (beste geobserveerde $\rho \approx 0.06$), wat suggereert dat de moeilijkheid ligt in het vermogen van de representaties om toekomstige bewijslast te prioriteren, en niet enkel in de regressie-kop.

2. Prioritering in Ontdekkingsmodus

In een "discovery mode" setting waar slechts een beperkt aantal kandidaten (bijv. 96) getest kan worden:

• Falen modellen in het verrijken van echte hoog-activiteit toekomstige varianten.
• De hit-rates voor top-5% kandidaten liggen dicht bij toeval (ongeveer 3–5% versus de verwachte 5%), wat aangeeft dat huidige modellen niet effectief veelbelovende varianten voor de volgende experimentele ronde kunnen identificeren.

3. Evolutionaire Dekking vs. Lokale Dichtheid

De auteurs onderzochten of de samenstelling van de trainingsdata de prestaties in toekomstige rondes beïnvloedt:

• Dichtheid: Het simpelweg vergroten van het aantal monsters uit dezelfde evolutionaire rondes (random subsampling) levert verminderde meeropbrengsten op.
• Dekking: Subsets die evolutionaire dekking prioriteren (het selecteren van varianten uit diverse rondes of het maximaliseren van de gelijkenis met de doelmatige validatieset) presteren beter dan grotere, dichtere subsets uit beperkte rondes.
• Conclusie: Op TadA-Bench is het dekken van brede evolutionaire of functionele regio's informatiever voor future-round discovery dan het vergroten van de lokale datadichtheid.

4. Robuustheid

• Biologische Validatie: Orthogonale low-throughput GFP-reporter assays op sleutelvarianten vertoonden een sterke overeenkomst ($\rho > 0.99$) met de high-throughput NGS-afgeleide labels.
• Computationele Robuustheid: Bootstrapping-analyses (gesubsampleerde rondes of sequenties) bevestigden dat de Seq2Graph-pipeline stabiele scores produceert ($\rho > 0.90$), wat de consistentie van de labels valideert.

Betekenis en Claims

Het artikel positioneert TadA-Bench als een reproduceerbare substraat voor het testen van het "ranking" component van toekomstige agentic eiwitengineering systemen voordat ze worden ingezet in kostbare closed-loop wet-lab campagnes.

• Blootleggen van een Bottleneck: De benchmark onthult dat huidige biologische foundation modellen, hoewel succesvol bij interpolatie, aanzienlijk moeite hebben met de specifieke taak van het rangschikken van varianten die in toekomstige experimentele rondes verschijnen. Dit wordt geïdentificeerd als een concrete bottleneck voor iteratieve eiwitengineering workflows.
• Benchmark Design: Het beargumenteert dat benchmarks voor eiwitontdekking de campagne-structuur (chronologie en cross-round consistentie) moeten bewaren in plaats van alle varianten als onafhankelijke datapunten te behandelen. Het onderscheid tussen "lokale dichtheid" en "evolutionaire dekking" wordt benadrukt als een cruciaal ontwerpprincipe.
• Scope: De auteurs geven expliciet aan dat TadA-Bench het ranking-probleem isoleert. Het evalueert geen planning-policies, toolgebruik of autonome uitvoering, maar biedt een stabiele, vaste-data test voor of representaties in staat zijn om geregistreerde experimentele historie te gebruiken om toekomstige kandidaten te prioriteren.

De auteurs stellen de data, code en baseline protocollen beschikbaar op Hugage Face en GitHub om reproduceerbare vergelijkingen van modellen op deze specifieke, vastgelegde experimentele trajecten mogelijk te maken.