The Why, What, How and When of Big Science evaluation. Perspectives on socio-economic assessment of research infrastructures

Grootschalige wetenschappelijke faciliteiten, vaak aangeduid als "big science", zijn de enorme motoren van moderne ontdekkingen. Denk aan de gigantische telescopen die in het verre universum turen, de deeltjesversnellers die atomen verbrijzelen om de bouwstenen van materie te onthullen, of de fusiereactoren die proberen de kracht van sterren na te bootsen. Dit zijn niet zomaar laboratoria; het zijn onderzoeksinfrastructuren, kolossale machines die miljarden kosten om te bouwen en te exploiteren, en die decennia aan planning en internationale samenwerking vereisen. Omdat ze zo duur zijn en afhankelijk zijn van publiek geld, is er een cruciale vraag ontstaan: leveren ze daadwerkelijk iets op voor de samenleving? Het is niet genoeg om te weten dat ze nieuwe wetenschappelijke artikelen produceren. Overheden en burgers willen weten of deze investeringen nieuwe industrieën aanwakkeren, banen creëren, de gezondheid verbeteren of wereldwijde problemen oplossen. Dit is het domein van sociaaleconomische evaluatie, een vakgebied dat zich bezighoudt met het meten van de reële waarde van deze wetenschappelijke reuzen. Jarenlang was de verwachting dat elke grote faciliteit rigoureus zijn waarde zou bewijzen, maar de realiteit op de grond is veel complexer gebleken.

Een nieuwe analyse brengt experts uit het hele Europese wetenschappelijke landschap samen om te onderzoeken waarom deze kloof bestaat en hoe we dit kunnen oplossen. De auteurs, die putten uit een gestructureerde discussie tussen praktijkbeoefenaars en beleidsmakers, betogen dat de huidige manier waarop we deze faciliteiten beoordelen, gebrekkig is. In plaats van evaluatie te behandelen als een eenmalige controle waarbij slechts een vinkje wordt gezet wanneer een financier daarom vraagt, stellen zij voor dat het een continu, geïntegreerd onderdeel van het leven van de faciliteit moet worden. Het artikel suggereert dat we moeten stoppen met proberen te bewijzen dat een specifieke machine een specifieke uitvinding heeft veroorzaakt – een taak die vaak onmogelijk is – en in plaats daarvan moeten focussen op hoe de faciliteit heeft bijgedragen aan een breder ecosysteem van innovatie. De centrale bevinding is dat voor deze evaluaties nuttig kunnen zijn, ze vanaf de allereerste dag dat een project wordt bedacht, gepland moeten worden, ondersteund door toegewijde datasystemen, en gecommuniceerd moeten worden met eerlijkheid over wat we wel en niet weten.

De redenen om deze projecten te evalueren zijn drieledig, en elk vereist een andere aanpak. Ten eerste is er het economische argument. Wetenschap is vaak een publiek goed, wat betekent dat de voordelen van ontdekking doorwerken naar iedereen, niet alleen naar degene die ervoor betaald heeft. Private bedrijven investeren zelden genoeg in fundamenteel onderzoek omdat zij niet alle winsten kunnen toeëigenen. Publieke financiering vult dit gat, maar moet gerechtvaardigd worden door aan te tonen dat de voordelen opwegen tegen de kosten. Ten tweede is er de kwestie van legitimiteit. Naarmate de publieke controle toeneemt, moeten wetenschappers kunnen uitleggen aan gewone burgers waarom het uitgeven van miljarden aan een deeltjesversneller een goed idee is. Dit gaat niet alleen over public relations; het gaat over het behouden van het sociaal contract dat deze projecten mogelijk maakt. Ten derde is er een praktische noodzaak. Bij het ontwerpen van een enorme faciliteit zijn er vaak verschillende opties voor de bouw of de timing ervan. Evaluatie kan besluitvormers helpen de weg te kiezen die de meeste waarde biedt, maar dit werkt alleen als de analyse plaatsvindt voordat de blauwdrukken definitief zijn en het geld is uitgegeven.

Het meten van deze waarde is echter ongelooflijk moeilijk. Een belangrijke hindernis is het probleem van attributie. In het complexe web van moderne innovatie is het bijna onmogelijk om een rechte lijn te trekken van een specifieke investering in een onderzoekscentrum naar een specifiek product in een winkel. Neem de geschiedenis van het Global Positioning System, of GPS. Het begon met een eenvoudige observatie van een satelliet signaal in de jaren 50, wat leidde tot een navigatiesysteem voor onderzeeërs, en uiteindelijk tot de technologie die miljarden smartphones vandaag de dag stuurt. De commerciële toepassingen waren in het begin niet zichtbaar; ze ontstonden decennia later via een lang, kronkelend proces van ontdekking. Proberen te beweren dat het oorspronkelijke onderzoek de smartphone-industrie heeft "veroorzaakt", is misleidend. In plaats daarvan stelt het artikel voor om te kijken naar hoe de faciliteit heeft bijgedragen aan het ecosysteem dat dergelijke ontdekkingen mogelijk maakte. Een andere uitdaging is het waarderen van zaken die niet gekocht of verkocht kunnen worden. Hoe bepaal je de prijs van de diplomatieke kanalen die werden geopend toen wetenschappers uit tegengestelde politieke blokken samenwerkten tijdens de Koude Oorlog? Of de waarde van het inspireren van een generatie studenten om wetenschapper te worden? Deze effecten zijn echt en essentieel, maar huidige methoden hebben moeite om ze in dollars uit te drukken.

De manier waarop deze resultaten worden gecommuniceerd, is net zo belangrijk als de cijfers zelf. Er is een aanhoudende druk om een complexe evaluatie terug te brengen tot één enkel, pakkend getal, zoals een multiplier die beweert dat elke uitgegeven dollar tien dollar aan de economie terugbetaalt. De auteurs waarschuwen dat dit gevaarlijk is. Het creëert een vals gevoel van precisie en moedigt onderzoekers aan om hun modellen aan te passen totdat ze een gunstig getal krijgen. Het verbergt ook de onzekerheid die inherent is aan het voorspellen van de toekomst. Een eerlijkere aanpak is om een reeks mogelijke uitkomsten te presenteren, waarbij wordt erkend dat de toekomst geen enkel punt is, maar een waarschijnlijkheid. Deze transparantie stelt beleidsmakers in staat om de risico's en beloningen te begrijpen zonder misleid te worden door een vals gevoel van zekerheid.

Misschien wel de belangrijkste aanbeveling in het artikel is dat evaluatie moet worden behandeld als een levenscyclus-activiteit, en niet als een eenmalige gebeurtenis. Momenteel denken veel faciliteiten pas aan evaluatie nadat ze zijn gebouwd, wat een datalek creëert. Tegen de tijd dat ze hun impact willen meten, is de basisdata verdwenen en zijn de verbindingen tussen de faciliteit en de wereld moeilijk te traceren geworden. De auteurs suggereren dat gegevensverzameling voor evaluatie vanaf het begin in het ontwerp van de faciliteit moet worden ingebouwd, net als de machines zelf. Dit betekent het bijhouden van gedetailleerde gegevens over wie er werkt, wat er wordt gekocht en wat er wordt gepubliceerd, op een manier die economen daadwerkelijk kunnen gebruiken. Sommige faciliteiten, zoals de experimenten bij de Large Hadron Collider, beheren hun wetenschappelijke data al met dit niveau van zorg; het artikel betoogt dat zij hetzelfde moeten doen voor hun sociaaleconomische data. Dit zou een continu verhaal van impact mogelijk maken, dat wordt bijgewerkt naarmate de faciliteit volwassen wordt, in plaats van een gefragmenteerde reeks rapporten.

Het artikel raakt ook aan het politieke karakter van evaluatie. Beslissen wat als een succes telt en wat niet, is niet alleen een wiskundige berekening; het vereist waardeoordelen. Er is een risico dat faciliteitsmanagers in de verleiding komen om hun evaluaties zo vorm te geven dat hun projecten er beter uitzien, door de focus te leggen op kortetermijnwinsten die gemakkelijk te meten zijn, terwijl ze langetermijnontdekkingen die decennia nodig hebben om te rijpen, negeren. Om dit tegen te gaan, wijzen de auteurs op een model dat in Frankrijk wordt gebruikt, waarbij een onafhankelijk kantoor de kwaliteit van economische evaluaties voor grote overheidsprojecten beoordeelt. Deze onafhankelijke controle helpt ervoor te zorgen dat de analyse eerlijk is en niet slechts een instrument voor politieke rechtvaardiging.

Uiteindelijk concluderen de auteurs dat we een gevoel van nederigheid moeten omarmen in hoe we de waarde van big science meten. De instrumenten die we hebben verbeteren, maar ze zijn niet perfect. Ze worstelen met de lange tijdshorizon van wetenschappelijke ontdekkingen en de immateriële voordelen die een gezonde samenleving definiëren. Het erkennen van deze beperkingen is geen teken van zwakte; het is een professionele noodzaak. Door evaluatie te behand je als een voortdurend, transparant en geïntegreerd onderdeel van het wetenschappelijke proces, kunnen we de werkelijke opbrengst van onze investering in big science beter begrijpen. Deze verschuiving zou ons bewegen van een cultuur van naleving, waarbij rapporten worden ingediend om aan een vereiste te voldoen, naar een cultuur van leren, waarbij de verkregen inzichten helpen bij het vormgeven van betere wetenschap en beter beleid voor de toekomst. Het doel is niet om te bewijzen dat elke uitgegeven dollar een gegarandeerde winst is, maar om een systeem op te bouwen waarin we eerlijk kunnen zien hoe deze enorme motoren van ontdekking de vooruitgang voor ons allemaal stimuleren.