The Why, What, How and When of Big Science evaluation. Perspectives on socio-economic assessment of research infrastructures

Groß angelegte wissenschaftliche Einrichtungen, oft als „Big Science“ bezeichnet, sind die gewaltigen Motoren moderner Entdeckungen. Man kann sie sich als riesige Teleskope vorstellen, die in das ferne Universum blicken, als Teilchenbeschleuniger, die Atome zertrümmern, um die Bausteine der Materie zu enthüllen, oder als Fusionsreaktoren, die versuchen, die Kraft der Sterne zu replizieren. Dies sind nicht bloß Laboratorien; es sind Forschungsinfrastrukturen, kolossale Maschinen, deren Bau und Betrieb Milliarden kosten und die Jahrzehnte der Planung und internationalen Zusammenarbeit erfordern. Da sie so teuer sind und auf öffentlichen Geldern basieren, ist eine entscheidende Frage aufgetaucht: Zahlen sie sich der Gesellschaft tatsächlich aus? Es reicht nicht aus zu wissen, dass sie neue wissenschaftliche Publikationen hervorbringen. Regierungen und Bürger wollen wissen, ob diese Investitionen neue Industrien ankurbeln, Arbeitsplätze schaffen, die Gesundheit verbessern oder globale Probleme lösen. Dies ist das Feld der sozioökonomischen Evaluierung, ein Bereich, der sich der Messung des realen Wertes dieser wissenschaftlichen Giganten widmet. Jahrelang war die Erwartung, dass jede bedeutende Einrichtung ihren Wert streng nachweisen müsste, doch die Realität vor Ort ist weitaus komplizierter gewesen.

Eine neue Analyse führt Experten aus der gesamten europäischen Wissenschaftslandschaft zusammen, um zu untersuchen, warum diese Lücke existiert und wie man sie schließt. Die Autoren argumentieren unter Bezugnahme auf eine strukturierte Diskussion zwischen Praktikern und politischen Entscheidungsträgern, dass die derzeitige Art und Weise, wie wir diese Einrichtungen bewerten, fehlerhaft ist. Anstatt die Evaluierung als eine einmalige „Abhaken“-Übung zu betrachten, die nur durchgeführt wird, wenn ein Geldgeber es verlangt, schlagen sie vor, dass sie zu einem kontinuierlichen, integrierten Bestandteil des Lebenszyklus der Einrichtung werden muss. Das Papier legt nahe, dass wir aufhören sollten zu versuchen zu beweisen, dass eine spezifische Maschine eine spezifische Erfindung verursacht hat – eine Aufgabe, die oft unmöglich ist – und stattdessen darauf fokussieren sollten, wie die Einrichtung zu einem breiteren Innovationsökosystem beigetragen hat. Die zentrale Erkenntnis ist, dass diese Evaluierungen nützlich sind, wenn sie vom ersten Tag an geplant werden, an dem ein Projekt konzipiert wird, durch dedizierte Datensysteme unterstützt werden und mit Ehrlichkeit über das kommuniziert werden, was wir wissen und was ungewiss bleibt.

Die Gründe für die Evaluierung dieser Projekte sind dreifach, und jeder erfordert einen anderen Ansatz. Erstens gibt es das wirtschaftliche Argument. Wissenschaft ist oft ein öffentliches Gut, was bedeutet, dass die Vorteile der Entdeckung allen zugutekommen, nicht nur demjenigen, der sie bezahlt hat. Private Unternehmen investieren selten genug in die Grundlagenforschung, weil sie nicht alle Gewinne abschöpfen können. Die öffentliche Hand füllt diese Lücke, aber dies muss gerechtfertigt werden, indem aufgezeigt wird, dass der Nutzen die Kosten übersteigt. Zweitens geht es um die Legitimität. Da die öffentliche Kontrolle zunimmt, müssen Wissenschaftler erklären können, warum es eine gute Idee ist, Milliarden für einen Teilchenbeschleuniger auszuge-geben. Dies ist nicht nur eine Frage der Öffentlichkeitsarbeit; es geht darum, den Gesellschaftsvertrag aufrechtzuerhalten, der diese Projekte erst ermöglicht. Drittens gibt es ein praktisches Bedürfnis. Bei der Planung einer massiven Einrichtung gibt es oft verschiedene Optionen für deren Bau oder den Zeitpunkt des Baus. Eine Evaluierung kann Entscheidungsträgern helfen, den Weg zu wählen, der den größten Wert bietet, aber dies funktioniert nur, wenn die Analyse stattfindet, bevor die Blaupausen finalisiert und das Geld ausgegeben wurde.

Das Messen dieses Wertes ist jedoch unglaublich schwierig. Ein großes Hindernis ist das Problem der Attribution. Im komplexen Geflecht moderner Innovation ist es fast unmöglich, eine direkte Linie von einer spezifischen Investition in eine Forschungseinrichtung zu einem spezifischen Produkt im Ladenregal zu ziehen. Betrachten wir die Geschichte des Global Positioning System (GPS). Es begann mit einer einfachen Beobachtung eines Satellitensignals in den 1950er Jahren, was zu einem Navigationssystem für U-Boote führte und schließlich zu der Technologie wurde, die heute Milliarden von Smartphones leitet. Die kommerziellen Anwendungen waren zu Beginn nicht sichtbar; sie entstanden Jahrzehnte später durch einen langen, gewundenen Prozess der Entdeckung. Zu behaupten, die ursprüngliche Forschung habe die Smartphone-Industrie „verursacht“, wäre irreführend. Stattdessen argumentiert das Papier, dass wir untersuchen sollten, wie die Einrichtung zu dem Ökosystem beigetragen hat, das solche Entdeckungen erst möglich gemacht hat. Eine weitere Herausforderung besteht darin, Dinge zu bewerten, die weder gekauft noch verkauft werden können. Wie bemisst man den Wert der diplomatischen Kanäle, die eröffnet wurden, als Wissenschaftler aus gegnerischen politischen Blöcken während des Kalten Krieges zusammenarbeiteten? Oder den Wert der Inspiration einer Generation von Studenten, dem Beruf der Wissenschaft zu folgen? Diese Auswirkungen sind real und lebenswichtig, aber aktuelle Methoden haben Schwierigkeiten, sie in Dollar auszudrücken.

Die Art und Weise, wie diese Ergebnisse kommuniziert werden, ist ebenso wichtig wie die Zahlen selbst. Es gibt einen anhaltenden Druck, eine komplexe Evaluierung auf eine einzige, griffige Zahl zu reduzieren, etwa einen Multiplikator, der behauptet, dass jeder ausgegebene Dollar zehn Dollar in die Wirtschaft zurückbringt. Die Autoren warnen davor, dass dies gefährlich ist. Es erzeugt eine falsche Präzision und verleitet Forscher dazu, ihre Modelle so lange anzupassen, bis sie eine günstige Zahl erhalten. Es verschleiert zudem die Ungewissheit, die der Zukunft innewohnt. Ein ehrlicherer Ansatz besteht darin, eine Spanne möglicher Ergebnisse zu präsentieren und anzuerkennen, dass die Zukunft kein einzelner Punkt, sondern eine Wahrscheinlichkeit ist. Diese Transparenz ermöglicht es politischen Entscheidungsträgern, Risiken und Chancen zu verstehen, ohne durch ein falsches Gefühl der Gewissheit in die Irre geführt zu werden.

Die vielleicht bedeutendste Empfehlung des Papiers ist, dass die Evaluierung als Lebenszyklus-Aktivität und nicht als einmaliges Ereignis behandelt werden muss. Derzeit denken viele Einrichtungen erst nach dem Bau über die Evaluierung nach, was eine Datenlücke schafft. Bis sie ihren Einfluss messen wollen, sind die Basisdaten verschwunden und die Verbindungen zwischen der Einrichtung und der Außenwelt sind schwer nachzuvollziehen geworden. Die Autoren schlagen vor, dass die Datenerhebung für die Evaluierung von Anfang an in das Design der Einrichtung eingebaut werden sollte, genau wie die Maschinerie selbst. Das bedeutet, detaillierte Aufzeichnungen darüber zu führen, wer dort arbeitet, was eingekauft wird und was publiziert wird, organisiert in einer Form, die Ökonomen tatsächlich nutzen können. Einige Einrichtungen, wie etwa die Experimente am Large Hadron Collider, kuratieren ihre wissenschaftlichen Daten bereits mit dieser Sorgfalt; das Papier argumentiert, dass sie dies auch für ihre sozioökonomischen Daten tun sollten. Dies würde eine kontinuierliche Geschichte der Wirkung ermöglichen, die sich mit der Reife der Einrichtung aktualisiert, anstatt aus einem fragmentierten Satz von Berichten zu bestehen.

Das Papier berührt auch die politische Natur der Evaluierung. Zu entscheiden, was als Erfolg gilt und was nicht, ist nicht nur eine mathematische Berechnung; es beinhaltet Werturteile. Es besteht das Risiko, dass Facility-Manager versucht sein könnten, ihre Evaluierungen so zu gestalten, dass ihre Projekte besser dastehen, indem sie sich auf kurzfristige, leicht messbare Erfolge konzentrieren und langfristige, transformative Entdeckungen ignorieren, die Jahrzehnte zur Reife benötigen. Um dem entgegenzuwirken, verweisen die Autoren auf ein Modell, das in Frankreich verwendet wird, bei dem ein unabhängiges Büro die Qualität der ökonomischen Evaluierungen für große Regierungsprojekte überprüft. Diese unabhängige Prüfung hilft sicherzustellen, dass die Analyse ehrlich ist und nicht nur als Werkzeug zur politischen Rechtfertigung dient.

Letztendlich kommen die Autoren zu dem Schluss, dass wir eine gewisse Bescheidenheit in der Art und Weise an den Tag legen müssen, wie wir den Wert der „Big Science“ messen. Die Werkzeuge, die wir haben, verbessern sich, aber sie sind nicht perfekt. Sie haben Schwierigkeiten mit den langen Zeithorizonten wissenschaftlicher Entdeckungen und den immateriellen Vorteilen, die eine gesunde Gesellschaft definieren. Diese Grenzen anzuerkennen, ist kein Zeichen von Schwäche, sondern eine professionelle Notwendigkeit. Indem wir die Evaluierung als einen fortlaufenden, transparenten und integrierten Teil des wissenschaftlichen Prozesses behandeln, können wir den wahren Ertrag unserer Investitionen in die „Big Science“ besser verstehen. Dieser Wandel würde uns weg von einer Kultur der Compliance führen, in der Berichte eingereicht werden, um eine Anforderung zu erfüllen, hin zu einer Kultur des Lernens, in der die gewonnenen Erkenntnisse helfen, eine bessere Wissenschaft und eine bessere Politik für die Zukunft zu gestalten. Das Ziel ist nicht zu beweisen, dass jeder ausgegebene Dollar ein garantierter Gewinn ist, sondern ein System aufzubauen, in dem wir ehrlich sehen können, wie diese gewaltigen Motoren der Entdeckung den Fortschritt für uns alle vorantreiben.