Technische Samenvatting: TUSOAI: Agentische Optimalisatie voor Wetenschappelijke Methoden

Probleemstelling

Wetenschappelijke ontdekking wordt vaak geblokkeerd door de trage, handmatige ontwikkeling van computationele hulpmiddelen die nodig zijn om complexe experimentele data te analyseren. Hoewel Large Language Models (LLM's) capaciteiten hebben aangetoond in het synthetiseren van literatuur en het genereren van code, vallen bestaande op LLM's gebaseerde systemen over het algemeen in twee categorieën: (1) die welke wetenschappelijke analyses uitvoeren met behulp van bestaande tools en pijplijnen, of (2) die welke machine learning-methoden ontwikkelen voor algemene toepassingen zonder effectief gestructureerde, domeinspecifieke wetenschappelijke kennis te integreren. Bijgevolg ontbreekt het aan systemen die autonoom in staat zijn om nieuwe computationele methoden voor specifieke wetenschappelijke taken te ontwikkelen en te optimaliseren door iteratief literatuur te reviewen, aannames te toetsen tegen empirische data, en inzichten te implementeren in efficiënte software.

Methodologie: TUSOAI

TUSOAI is een agentisch AI-systeem dat is ontworpen om autonoom computationele methoden te ontwikkelen en te optimaliseren op basis van een beschrijving van een wetenschappelijke taak en een evaluatiefunctie. Het nabootst de cyclus van methodenontwikkeling van een wetenschapper via drie kernstappen, opererend op een enkele functie binnen een grotere codebase om flexibele integratie met bestaand wetenschappelijk raamwerk mogelijk te maken.

1. Kennisverzameling en -structurering

TUSOAI begint met het ophalen en samenvatten van maximaal 10 belangrijke wetenschappelijke papers die relevant zijn voor de taak. Vervolgens construeert het een Kennistree, een tweeledige gestructureerde representatie van domeinkennis:

• Categorieën: Hoogwaardige optimalisatiestrategieën (bijv. "ruismodelleren", "modelarchitecturen") worden opgesteld en verfijnd aan de hand van de papersamenvattingen. Elke categorie krijgt een waarschijnlijkheidsgewicht ($\pi_c$) toegewezen dat de geschatte bruikbaarheid vertegenwoordigt.
• Instructies: Binnen elke categorie worden specifieke, uitvoerbare instructies gegenereerd (bijv. "dropout-rates modelleren met Poisson-ruis").
• Diagnostische Categorie: Een vooraf gedefinieerde categorie ($I_{diag}$) leidt de agent om diagnostische informatie te loggen (bijv. distributiecontroles, validering van aannames) om de modeldiagnose te ondersteunen.

2. Initialisatie

Het systeem initialiseert een pool van kandidaatoplossingen ($S$) door oplossingsbeschrijvingen op te stellen en te verfijnen op basis van de taak en de literatuur. Deze beschrijvingen worden vervolgens geïmplementeerd en opgepoetst om de initiële oplossingspool te vormen.

3. Iteratieve Optimalisatie

TUSOAI treedt een optimalisatielus binnen (standaard tijdsbudget: 8 uur) waarin het diverse top-presterende oplossingen selecteert en deze verbetert via twee modi:

• Instructiegebaseerde Optimalisatie (80% waarschijnlijkheid): De agent steekt een instructiecategorie op basis van de Bayesiaans-geüpdatte waarschijnlijkheden ($\pi_c$). Het selecteert een specifieke instructie en optimaliseert de oplossing met behulp van de instructie en recente feedback. Als de nieuwe oplossing beter presteert dan de vorige, wordt de waarschijnlijkheid van de categorie verhoogd (Bayesiaanse update), waardoor de bruikbaarheid van die strategie wordt versterkt.
• Diagnostiekgebaseerde Optimalisatie (20% waarschijnlijkheid): De agent selecteert een diagnostische instructie, voert het model uit om logs te verzamelen (bijv. trainingscurves, schendingen van aannames), en gebruikt deze informatie om het model te diagnosticeren en te verbeteren.

Dit proces integreert hiërarchische planning met Bayesiaanse updates om de kwaliteit en diversiteit van oplossingen in evenwicht te brengen, en gedetailleerde generatie die optimalisatie koppelt aan diagnostische feedback.

Belangrijkste Bijdragen

1. TUSOAI-raamwerk: De ontwikkeling van een AI-agent die specifiek is toegesneden op wetenschappelijke methodedetectie, met integratie van gestructureerde domeinkennis via een kennistree.
2. Nieuwe Optimalisatiemechanismen: Een raamwerk met (i) kennistrees voor gestructureerde domeinrepresentatie, (ii) hiërarchische planning met Bayesiaanse updates om de afweging tussen oplossingskwaliteit en -diversiteit te beheren, en (iii) gedetailleerde generatie die modeloptimalisatie integreert met diagnostische feedback.
3. Uitgebreide Benchmarking: Evaluatie op 11 wetenschappelijke taken (6 single-cell analyse-taken en 5 wetenschappelijke deep learning-taken), waarbij consistent betere prestaties werden aangetoond dan state-of-the-art MLE-agents (bijv. AIDE), wetenschappelijke AI-agents (bijv. Biomni) en door experts ontworpen methoden.
4. Wetenschappelijke Impact: Toepassing op twee belangrijke open problemen in de genetica, waarbij TUSOAI bestaande computationele methoden verbeterde en nieuwe biologische inzichten blootlegde die door eerdere benaderingen waren gemist.

Experimentele Resultaten

De auteurs evalueerden TUSOAI tegenover baselines, waaronder AIDE, Biomni, ChatGPT-Agent, en top-presterende door experts ontworpen methoden in diverse domeinen.

• Single-Cell Analyse: TUSOAI behaalde een gemiddelde rang van 1,2 over 6 taken (bijv. ruisreductie, batch-integratie, identificatie van ruimtelijk variabele genen), aanzienlijk beter dan de tweede beste methode (AIDE, rang 3,0). Opmerkelijk is dat TUSOAI bij de taak voor ruisreductie een nieuwe Non-Negative Matrix Factorization (NMF)-benadering ontwierp die dropout-rates en Poisson-ruis modelleerde, en hiermee bestaande op NMF gebaseerde methoden zoals ALRA overtrof.
• Wetenschappelijke Deep Learning: Op 5 taken (bijv. Sferische visie, ECG-diagnostiek, genetische voorspelling) behaalde TUSOAI een gemiddelde rang van 2,8, en overtrof hiermee door experts ontworpen modellen en NAS-methoden.
• Code-Diversiteit: TUSOAI genereerde code met aanzienlijk hogere diversiteit dan AIDE, door lokale optima te vermijden door een bredere reeks technieken te verkennen (bijv. diverse methoden voor dimensionaliteitsreductie en schaling) in plaats van incrementele variaties van een enkele aanpak.
• Efficiëntie: Alle door TUSOAI geconstrueerde methoden waren computationeel efficiënt, met single-cell taken die in <3 minuten draaiden en deep learning-taken in <8 minuten.

Casestudies in Genetica

Het artikel belicht twee specifieke toepassingen waarbij TUSOAI nieuwe biologie onthulde:

1. Detectie van Ziekte-Kritieke Celpopulaties: Optimalisatie van de scorefunctie van scDRS (een methode die GWAS koppelt aan scRNA-seq). De door TUSOAI geoptimaliseerde versie bereikte >40% hogere power in causale simulaties en identificeerde 21% meer ware celtype-ziekteassociaties in echte data. Het ontdekte 26 ziekte-geassocieerde T-celsubpopulaties, waaronder regulatoire T-cellen die zijn gekoppeld aan primaire biliaire cirrose, die door de oorspronkelijke methode waren gemist.
2. Koppeling van Genetische Variant aan Genen: Optimalisatie van pgBoost voor het koppelen van varianten aan doelgenen met behulp van single-cell multiome-data. Het geoptimaliseerde model verbeterde de verrijking van gouden-standaard koppelingen met 13,8% (eQTL's) en 7,2% (ABC-koppelingen), met name voor langere variant-gen-afstanden. Het legde 7 nieuwe variant-gen-koppelingen bloot, waaronder een koppeling tussen een glucose-gerelateerde variant en het GCK-gen, consistent met bekende biologische rollen.

Betekenis en Claims

Het artikel beweert dat TUSOAI een veelbelovende stap voorwaarts is naar geautomatiseerde ontwikkeling van wetenschappelijke methoden. Door de iteratieve cyclus van een wetenschapper na te bootsen – het integreren van gestructureerde domeinkennis, het uitvoeren van domeinspecifieke optimalisatie, en het benutten van diagnostische feedback – versnelt TUSOAI de creatie van robuuste computationele methoden. De auteurs stellen dat deze capaciteit niet alleen de prestaties op standaard benchmarks verbetert, maar ook actief bijdraagt aan wetenschappelijke ontdekking door biologische mechanismen en associaties bloot te leggen die eerder waren gemist door bestaande door experts ontworpen methoden. Het systeem toont aan dat LLM's, wanneer gekoppeld aan gestructureerde kennis en iteratieve optimalisatie, verder kunnen gaan dan eenvoudige data-analyse naar het daadwerkelijke ontwerp van wetenschappelijke algoritmen.