LLM-Guided ODE Discovery and Parameter Inference from Small-Cohort Aggregate Data

Technische Samenvatting: AgentODE voor ODE-ontdekking vanuit Geaggregeerde Data

Probleemstelling
Mechanistische modellering via gewone differentiaalvergelijkingen (ODE's) biedt interpreteerbare inzichten in complexe dynamiek, wat cruciaal is in klinische settings. Het ontdekken van ODE-structuren en het afleiden van parameters in zeldzame ziekten staat echter voor aanzienlijke hindernissen: gegevens op individueel niveau zijn vaak schaars, ruisgevoelig, heterogeen en beperkt door privacybeperkingen. Hoewel populatiebrede samenvattende statistieken een privacy-bewerkend alternatief bieden, falen bestaande methoden in het gezamenlijk ontdekken van ODE-structuren en het verfijnen van parameterverdelingen met behulp van alleen deze geaggregeerde statistieken. Traditionele symbolische regressie en sparse identificatie vereisen dichte gegevens op individueel niveau, terwijl populatiebrede benaderingen zoals niet-lineaire mixed-effects modellen een vooraf gespecificeerde structuur vereisen. Bovendien vertrouwen recente door Large Language Models (LLM's) gebaseerde ontdekkingsmethoden nog steeds op gegevens op individueel niveau voor evaluatie, wat een gat laat in het omgaan met scenario's met schaarse data en privacybeperkingen, waarbij parameters als verdelingen gemodelleerd moeten worden om heterogeniteit te vangen.

Methodologie: AgentODE
De auteurs stellen AgentODE voor, een end-to-end framework dat gezamenlijk ODE-structuren ontdekt en parameterverdelingen verfijnt uitsluitend op basis van populatiebrede samenvattende statistieken. Het framework werkt via twee nauw gekoppelde feedbackloops die worden bemiddeld door een LLM:

1. Buitenste Loop (Structuurontdekking):

   • Op basis van het LLM-SR paradigma stelt een LLM kandidaat ODE-structuren voor, geconditioneerd op de probleemspecificatie.
   • Structuren worden niet geëvalueerd door directe passing op individuele trajecten, maar door hoe goed ze presteren wanneer ze worden gekoppeld aan geïnferrederde parameterverdelingen.
   • Een Experience Buffer slaat hoogpresterende structuren en parameterverdelingen op om toekomstige voorstellen te sturen, waarbij gebruik wordt gemaakt van een eiland-gebaseerd model om diversiteit te behouden en lokale optima te vermijden.

2. Binnenste Loop (Parameterinferentie-agent):

   • Voor een gegeven kandidaat-structuur verfijnt een tool-augmented agent iteratief de parameterverdelingen (ervan uitgaande dat dit onafhankelijke LogNormal-verdelingen zijn om inter-individuele heterogeniteit te vangen).
   • Visuele Samenvattingen: De agent maakt gebruik van gestructureerde visuele samenvattingen van populatiebrede data (bijv. gemiddelde trajecten met 95% betrouwbaarheidsintervallen, gestratificeerd naar begincondities, en Spearman-correlatie heatmaps van eerste verschillen) als empirische inputs.
   • Diagnose–Update Loop:
     • Diagnose: De agent simuleert synthetische data vanuit de huidige parameterverdeling, berekent samenvattende statistieken en vergelijkt deze met empirische statistieken. De agent gebruikt statistische tools om discrepanties te kwantificeren (bijv. in gemiddelden, varianties, autocorrelaties en cross-variabele afhankelijkheden) en genereert een diagnostisch rapport dat foutmodi identificeert.
     • Update: De agent redeneert over het diagnostisch rapport en eerdere succesvolle iteraties om de parameterverdelingen bij te werken. De agent identificeert welke parameters specifieke dynamische fouten aansturen en past de verdelingen van deze parameters dienovereenkomstig aan.
   • Scoring:
     • Log Synthetic Likelihood (logSL): Wordt gebruikt om de parameterpassing binnen een specifieke structuur te evalueren door synthetische en empirische samenvattende statistieken te vergelijken.
     • Mean Normalized Summary Discrepancy (MNSD): Wordt gebruikt om verschillende ODE-structuren te vergelijken, waarbij discrepanties worden genormaliseerd door de empirische interkwartielafstand om vergelijkbaarheid tussen structuren met verschillende parametrisaties te garanderen.

Belangrijkste Bijdragen

1. Eerste Gezamenlijk Framework: AgentODE is de eerste methode die gezamenlijk ODE-structuren ontdekt en parameterverdelingen verfijnt met behulp van alleen populatiebrede samenvattende statistieken, waarmee het gat tussen gegevensschaarste/privacy en mechanistische modellering wordt gedicht.
2. Robuustheid in Schaarse Settings: De auteurs tonen aan dat redeneren vanuit samenvattende statistieken dient als een robuust signaal voor structuurontdekking in schaarse en ruisgevoelige klinische omgevingen. Door populatiepatronen te condenseren en ruis op individueel niveau te mitigeren, leiden samenvattende statistieken de LLM naar het ware onderliggende mechanisme, terwijl methoden met toegang tot gegevens op individueel niveau vaak overfitten op ruis en onwaarschijnlijke of degeneratieve structuren herstellen, ondanks een lagere voorspellingsfout.
3. Synthetische Populatiegeneratie: De gezamenlijk geïnferrederde structuur en parameterverdelingen kunnen synthetische patiëntenpopulaties genereren die de waargenomen heterogeniteit vangen, wat verdere analyse faciliteert zonder de privacy te schenden.

Experimentele Resultaten
Het framework werd geëvalueerd op drie synthetische benchmarks (Apoptosis, Polymer DA Cross-linking, PKPD-Immune) en twee klinische datasets: Acute Kidney Injury (AKI) uit MIMIC-IV en Recessive Dystrophic Epidermolysis Bullosa (RDEB).

• Prestaties: AgentODE behaalde prestaties die vergelijkbaar zijn met baselines met volledige toegang tot trajecten (bijv. LLM-SR†, Neural ODE) op benchmarks en klinische datasets, waarbij het vaak compactere en mechanistisch meer betekenisvolle structuren herstelde.
• RDEB Casestudy: In de RDEB-dataset (46 patiënten, 231 observaties) herstelde AgentODE een structuur die consistent is met een onafhankelijk ontwikkeld expertmodel. In tegen tegenstelling hiertoe behaalden baselines met gegevens op individueel niveau (LLM-SR†) een lagere Root Mean Square Error (RMSE), maar ontdekten zij mechanistisch onwaarschijnlijke structuren (bijv. het behandelen van een cruciale dynamische variabele als statisch of het introduceren van dichte, enkel negatieve causale lussen).
• Ablatiestudies: Het verwijderen van de iteratieve diagnose–update loop of het uitsluitend vertrouwen op LLM-gebaseerde parameterinitialisatie resulteerde in aanzienlijk slechtere prestaties en de frequente generatie van ongeldige (instabiele) trajecten, wat het belang van de iteratieve verfijning en visuele samenvattende redenering onderstreept.

Betekenis en Claims
Het artikel claimt dat AgentODE nieuwe mogelijkheden opent voor de mechanistische modellering van zeldzame ziekten waar gegevensschaarste en privacybeperkingen traditioneel de analyse beperken. Het stelt dat in schaarse en ruisgevoelige klinische settings, voorspellende prestaties (bijv. RMSE) een onvoldoende criterium zijn voor het evalueren van de kwaliteit van een mechanistisch model; een model met een lagere fout kan simpelweg overfitten op ruis. Door te opereren op populatiebrede samenvattende statistieken, biedt AgentODE een principieel, privacy-bewerkend proces dat prioriteit geeft aan mechanistische consistentie boven ruwe voorspellende nauwkeurigheid, waardoor de onderliggende dynamische gedragingen kunnen worden hersteld die robuust zijn over de gehele cohort. De auteurs benadrukken dat de herstelde structuren geïnterpreteerd moeten worden als functioneel consistent met waargenomen populatiegedrag in plaats van de absolute grondwaarheid, wat validatie door domeinexperts vereist voordat ze klinisch toegepast kunnen worden.