Organizational Learning in Materials Discovery Campaigns: Which Databases, Calculations, and Agent Teams Pay Off

In de moderne zoektocht naar nieuwe materialen worden wetenschappers vaak geconfronteerd met een paradox van overvloed. Ze hebben toegang tot enorme digitale bibliotheken die miljoenen berekende eigenschappen bevatten voor verschillende stoffen, van de manier waarop een kristal elektriciteit geleidt tot de kracht waarmee de atomen aan elkaar hechten. De hoop was lang dat het simpelweg verzamelen van meer van deze digitale records zou leiden tot betere ontdekkingen. Als een team een halfgeleider nodig heeft met een specifieke energiekloof, of een legering die bestand is tegen corrosie, kunnen ze deze databases raadplegen voordat ze ooit chemicaliën mengen in een laboratorium. Echter, het behandelen van deze databases als één enkele, massieve bron van waarheid kan misleidend zijn. Net zoals een groep mensen die probeert een puzzel op te lossen in de war kan raken als iedereen tegelijkertijd verschillende, tegenstrijdige antwoorden roept, kan een computeralgoritme op het verkeerde pad worden gebracht als het probeert te middelen tussen te veel verschillende bronnen van informatie. De uitdaging is niet alleen het vinden van de juiste gegevens, maar het uitzoeken welke bronnen daadwerkelijk overeenstemmen met de werkelijkheid en welke slechts zichzelf herhalen of ruis bieden.

Dit is het centrale vraagstuk waar onderzoekers aan de University of Utah mee bezig zijn, die het proces van materiaalkundige ontdekking bekeken door de lens van hoe organisaties leren. Ze behandelden een wetenschappelijke campagne niet alleen als een reeks berekeningen, maar als een team van leden, waarbij elk lid een andere database is, een specifiek type computersimulatie, of zelfs een softwareagent. Door duizenden gesimuleerde campagnes uit te voeren, testten ze elke mogelijke combinatie van deze leden om te zien welke groepen het beste werkten en welke de groep naar beneden haalden. Hun doel was om te begrijpen hoe kennis zich door een groep beweegt: wanneer helpt het toevoegen van een nieuwe bron, en wanneer schaadt het? Ze ontdekten dat het antwoord sterk afhangt van hoe het team is gestructureerd en hoeveel het kost om nieuwe informatie te genereren.

In één grote test probeerde het team verschillende families chemische verbindingen te rangschikken op basis van hun bandgap, wat een maat is voor de hoeveelheid energie die nodig is om een elektron te laten springen en elektriciteit te geleiden. Ze hadden toegang tot zeven verschillende databases, die elk miljoenen berekende waarden bevatten. Intuïtief zou men kunnen denken dat het gebruik van alle zeven het meest nauwkeurige beeld zou geven. In plaats daarvan ontdekten de onderzoekers dat de volledige groep van zeven slechter presteerde dan een kleinere, zorgvuldig geselecteerde groep van slechts drie. Toen ze alle zeven opnamen, daalde het vermogen van het team om de volgorde van materialen correct te voorspellen aanzienlijk. Het probleem was dat sommige databases in essentie hetzelfde zeiden, terwijl andere voorspellingen deden die botsten met de real-world metingen die het team probeerde te matchen. Door te veel bronnen samen te voegen, verwaterde het team het signaal van de beste bronnen met de ruis van de slechtste. De studie toonde aan dat een kleiner, goed afgestemd team van drie databases een veel hoger niveau van nauwkeurigheid kon bereiken dan de gehele collectie van zeven.

De onderzoekers ontdekten ook dat redundantie een valstrik kan zijn. Twee van de databases die zij testten, kwamen uit dezelfde pijplijn en bevatten identieke rangschikkingen van de chemische families. Wanneer deze twee als aparte leden van het team werden behandeld, vergrootten ze effectief het gewicht van die enkele mening in de uiteindelijke stemming, waardoor de resultaten werden vervormd. Als het team hen als duplicaten had herkend en als één had geteld, zou de uitkomst anders zijn geweest. Dit onderstreept een subtiel maar cruciaal punt: meer data hebben betekent niet altijd meer informatie hebben. Als twee bronnen slechts kopieën van elkaar zijn, voegt de tweede bron geen nieuwe kennis toe; het voegt alleen gewicht toe aan een bestaande mening, wat schadelijk kan zijn als die mening niet de beste is.

Een andere belangrijke bevinding betrof de kosten van het creëren van nieuwe kennis. In de materiaalkunde is er al data die gratis te gebruiken is in archieven. Andere data moet worden gegenereerd door dure computersimulaties uit te voeren, die tijd en rekenkracht kosten. De onderzoekers ontdekten dat het genereren van nieuwe data alleen de moeite waard is als die data veelvuldig wordt hergebruikt. In hun simulaties hielp een nieuwe set berekeningen het team om de beste materialen vroegtijdig te vinden, maar alleen omdat deze chemische verbindingen besloeg die geen enkele bestaande database bevatte. Echter, zodeweg de kosten voor het uitvoeren van die berekeningen werden meegerekend, hield de nieuwe data het team eigenlijk tegen. Het voordeel van het hebben van die nieuwe informatie werd pas zichtbaar wanneer dezelfde berekeningen over meerdere verschillende wetenschappelijke campagnes werden gedeeld. Als een team middelen uitgeeft om een nieuwe kaart van een gebied te maken, verdient die kaart zich alleen terug als andere teams hem ook gebruiken.

De studie keek ook naar hoe teams van kunstmatige intelligentie-agenten samenwerken. Ze testten groepen taalmodel-agenten, softwareprogramma's die zijn ontworpen om te redeneren en beslissingen te nemen, om te zien of ze konden coördineren om de beste materialen sneller te vinden dan een willekeurige zoektocht. Verrassend genoeg presteerden deze teams van agenten niet beter dan een eenvoudige willekeurige zoektocht. Wanneer de agenten zonder duidelijke leider werkten, herhaalden ze vaak dezelfde taken en misten ze kansen. Wanneer er een coördinator werd toegevoegd om taken toe te wijzen, verbeterde het team licht, maar ze slaagden er nog steeds niet in om de baseline van willekeurig zoeken te verslaan. Dit suggereert dat het simpelweg toevoegen van meer intelligente agenten niet automatisch een slimmer team creëert; de structuur van hoe zij communiceren en informatie delen is net zo belangrijk als de intelligentie van de individuen.

Misschien wel het meest dynamische deel van het onderzoek betrof een adaptief team dat zijn eigen structuur kon veranderen terwijl het werkte. In plaats van een vaste hiërarchie te hebben waarbij één lid altijd de baas is, evalueerde dit team zijn leden opnieuw na elke batch resultaten. Als de voorspellingen van een lid begonnen af te wijken van de werkelijkheid die zij observeerden, verlaagde het team het vertrouwen in dat lid. Als twee leden met elkaar overeenstemden, voegde het team hen samen tot een enkele eenheid om verspilling van inspanning te voorkomen. Deze flexibele aanpak stelde het team in staat om de beste materialen sneller te vinden dan welke vaste structuur dan ook, hoewel het nog steeds niet even goed presteerde als het beste lid dat alleen werkte. De sleutel was dat het team leerde van zijn eigen verslag, door vertrouwen te schenken aan de leden die bewezen betrouwbaar te zijn en degenen die dat niet waren, te negeren.

Uiteindelijk suggereert het onderzoek dat de toekomst van materiaalkundige ontdekking niet ligt in het verzamelen van meer data, maar in het selectiever omgaan met hoe die data wordt gebruikt. Een succesvolle campagne moet een paar goed afgestemde bronnen integreren die passen bij het specifieke probleem, in plaats van te proberen alles te gebruiken wat beschikbaar is. Het moet duplicerende bronnen als één stem behandelen en alleen betalen voor nieuwe berekeningen als deze ook hergebruikt zullen worden. Belangrijker nog: het team moet in staat zijn om te leren van zijn eigen ervaring, door het vertrouwen te verschuiven naar de leden die goed presteren en degenen die dat niet doen, te laten vallen. Door deze principes van organisatorisch leren toe te passen, kunnen wetenschappers efficiëntere teams bouwen die het complexe landschap van materiaalkundige ontdekking met grotere snelheid en nauwkeurigheid navigeren.