Technische Samenvatting: ATLAS (Active Theory Learning for Automated Science)

Probleemstelling

Het bevorderen van wetenschappelijk begrip in de cognitieve wetenschap en aanverwante velden vereist het identificeren van de mechanistische algoritmen die gedrag aansturen. Dit proces steunt traditioneel op een iteratieve, gesloten lus van hypothesegeneratie (computationele modellering) en hypothesegestuurde dataverzameling (experimentatie). Dit proces is echter vaak traag en resource-intensief omdat experimenten kostbaar zijn.

Bestaande datagedreven methoden voor modelontdekking kunnen interpreteerbare modellen identificeren, maar vereisen doorgaans grote datasets, wat ze onpraktisch maakt in scenario's waar dataverzameling duur is. Omgekeerd bestaan er methoden voor Active Learning (AL) en Optimal Experiment Design (OED) om de informatiewinst te maximaliseren, maar deze optimaliseren vaak voor black-box voorspellende modellen (die gebrek aan interpreteerbaarheid vertonen) of discrimineren tussen vooraf gespecificeerde mechanistische modellen (met het risico op mis-specificatie en het beperken van ontdekking).

De kernuitdaging die dit artikel aanpakt, is het creëren van een framework dat de ontdekking van interpreteerbare mechanistische modellen automatiseert terwijl de steekproefefficiëntie wordt gemaximaliseerd. Het doel is om experimenten te ontwerpen die optimaal onderscheid maken tussen concurrerende hypothesen over de interne computationele structuur van een agent met minimale hoeveelheden data.

Methodologie: De ATLAS-pipeline

De auteurs introduceren ATLAS (Active Theory Learning for Automated Science), een active learning-framework dat iteratief schakelt tussen het genereren van diverse mechanistische hypothesen en het ontwerpen van experimenten om deze te onderscheiden. De pipeline bestaat uit drie hoofdcomponenten die in cycli opereren:

1. Hypothesegenerator (Ensemble van Disentangled RNN's)

In plaats van een vaste set modellen, onderhoudt ATLAS een ensemble van concurrerende hypothesen, geïnstantieerd als Disentangled Recurrent Neural Networks (DisRNN's).

• Structuur: DisRNN's maken gebruik van informatie-bottlenecks om oplossingen te stimuleren met een klein aantal spaars interagerende latente ("cognitieve") variabelen.
• Interpreteerbaarheid: De interacties tussen deze latente variabelen kunnen worden geïnterpreteerd als een computationele graaf die het onderliggende mechanisme representeert.
• Diversiteit: De generator traint een grote set netwerken met variërende hyperparameters (specifiek de sparsity penalty) en willekeurige seeds. Het selecteert een subset voor het ensemble via een probabilistische samplingsstrategie (offset softmax) over cross-validatie likelihoods. Dit zorgt ervoor dat het ensemble diverse structurele hypothesen bevat, variërend van onderfitting tot overfitting, in plaats van enkel parametervariaties van een enkel model.

2. Experiment Optimizer

De optimizer zoekt naar een experimentontwerp $D$ dat de Expected Information Gain (EIG) maximaliseert met betrekking tot de identiteit van het ware generatieve model.

• Disagreement Metric: De EIG wordt benaderd door de onenigheid (disagreement) tussen de leden van het ensemble. Specifiek berekent het het verschil tussen de zelf-overeenkomst (log-likelihood van de eigen gesimuleerde trajecten) en de cross-overeenkomst (log-likelihood van trajecten gegenereerd door andere modellen).
• Optimalisatiestrategie: Het experimentontwerp wordt beperkt tot een binaire $T \times A$ matrix (die beloningen definieert voor $A$ acties over $T$ tijdstappen). De optimizer gebruikt een iteratieve hill-climbing strategie om bits in deze matrix om te draaien om de ensemble-disagreement score te maximaliseren. Om lokale optima te vermijden, wordt dit proces herhaald met 128 willekeurige initialisaties.
• Output: Het resultaat is een temporeel gestructureerde sequentie van beloningen die ontworpen is om de leden van het ensemble in hun gedragsvoorspellingen te laten divergeren.

3. Experiment Runner

Het geoptimaliseerde experiment wordt uitgevoerd op de grondwaarheid-agent (de "omgeving"). De resulterende gedrags-traject wordt toegevoegd aan de groeiende dataset, die vervolgens wordt gebruikt om de hypothese-ensemble te hertrainen en bij te werken in de volgende cyclus.

Belangrijkste Bijdragen

1. Framework Integratie: Het artikel toont aan dat het combineren van disagreement-gebaseerde active learning met de automatische ontdekking van interpreteerbare mechanistische modellen een praktisch framework creëert voor closed-loop wetenschappelijke ontdekking (ATLAS).
2. DisRNN Effectiviteit: Het toont aan dat Disentangled RNN's effectieve hypothesegeneratoren zijn binnen ATLAS, die voldoende diverse structurele hypothesen naar boven brengen om sterke experimentele vormgeving mogelijk te maken.
3. Binaire Matrix Optimizer: De auteurs ontwikkelen een optimizer voor binaire experimentontwerpen die succesvol onenigheid tussen handmatige modellen aanstuurt en goed presteert binnen de ATLAS-lus.
4. Toepassing op RL Ontdekking: Het framework wordt toegepast op het ontdekken van reinforcement learning algoritmen (specifiek Q-learning en Leaky Actor-Critic) vanuit expliciet gedrag, waarbij aangetoond wordt dat het de grondwaarheid-structuren kan herstellen met een orde van grootte minder experimenten dan random baselines.

Resultaten

De auteurs evalueerden ATLAS op de taak van het herstellen van de computationele structuur van twee grondwaarheid-agents: een Q-learning agent en een Leaky Actor-Critic agent. Prestaties werden gemeten tegenover twee baselines:

1. Random Experimentatie: Onafhankelijke en identiek verdeelde (i.i.d.) beloningen of Gaussische random walks.
2. Expert-Ontworpen Experimenten: Vaste taken afgeleid uit de literatuur (bijv. specifieke Gaussian random walks gebruikt in eerdere cognitieve wetenschap studies).

Belangrijkste Bevindingen

• Steekproefefficiëntie: ATLAS behaalde een 5–10× verbetering in steekproefefficiëntie over alle metrieken vergeleken met random experimentatie.
  • Gedragsgelijkenis: Modellen getraind op ATLAS-data matchten het gedrag van de grondwaarheid-agent op held-out tests aanzienlijk sneller (bijv. na 20 experimenten voor Q-learning versus 1.000 voor random).
  • Structurele Herstel: ATLAS slaagde erin de correcte computationele graaf (isomorfisme met de grondwaarheid) te herstellen voor alle 8 onafhankelijke runs na 100 experimenten. In contrast vereisten random baselines 1.000 experimenten om vergelijkbare prestaties te bereiken voor Q-learning en faalden ze in het herstellen van de structuur voor de Actor-Critic agent zelfs na 1.000 experimenten.
  • Dynamische Gelijkenis: Gebruikmakend van "benaderende bisimulatie" (het meten van het vermogen van modellen om elkaars interne toestanden te simuleren), vertoonden ATLAS-getrainde modellen aanzienlijk lagere foutpercentages dan random baselines na 100 experimenten.
• Vergelijking met Experts: ATLAS mat of overtrof de prestaties van expert-ontworpen experimenten. Voor de Leaky Actor-Critic agent presteerde ATLAS significant beter dan de expert-baseline wat betreft structureel herstel en dynamische gelijkenis.
• Experimentstructuur: De door ATLAS ontworpen experimenten vertoonden complexe, niet-intuïtieve temporele structuren (bijv. specifieke patronen van beloningsomissie en blok-switching) die specifiek waren afgestemd op de leercurves en dynamiek van de agents, wat sterk verschilt van standaard door onderzoekers ontworste taken.

Betekenis en Claims

Het artikel claimt dat ATLAS een significante stap vormt naar het versnellen van menselijk interpreteerbare inzichten in de cognitieve wetenschap. Door de lus tussen datagedreven hypothesegeneratie en hypothesegestuurde experimentselectie te automatiseren, adresseert ATLAS de "rate-limiting step" van dataverzameling in wetenschappelijk onderzoek.

De auteurs benadrukken dat hun aanpak specifief gericht is op interpreteerbare mechanistische modellen in plaats van black-box voorspellers. Dit onderscheid is cruciaal voor de cognitieve wetenschap, waar het doel is om het onderliggende algoritme van gedrag te begrijpen, en niet enkel om het te voorspellen. De resultaten suggereren dat ATLAS de ware computationele structuur van agents kan ontdekken met veel minder experimenten dan traditionele methoden, wat potentieel de tijd en kosten van wetenschappelijke ontdekking in domeinen waar mechanistische modellen essentieel zijn, kan verminderen.

De auteurs blijven bescheiden over de huidige reikwijdte en merken op dat de methode momenteel getest wordt in in silico analogen met bekende grondwaarheden. Zij erkennen dat het trainen van ensembles vanaf de basis in elke stap een computationele bottleneck is en suggereren dat toekomstig werk zich zou kunnen richten op fine-tuning benaderingen, het optimaliseren van batches van experimenten, of het toepassen van het framework op real-world dataverzameling en domeinen buiten reinforcement learning.