The Why, What, How and When of Big Science evaluation. Perspectives on socio-economic assessment of research infrastructures

「ビッグサイエンス」とも呼ばれる大規模な科学施設は、現代の発見における巨大なエンジンである。これらは、遠い宇宙を覗き込む巨大な望遠鏡、物質の構成要素を明らかにするために原子を衝突させる粒子加速器、あるいは恒星の力を再現しようとする核融合炉のようなものだと考えてほしい。これらは単なる研究所ではない。建設と運営に数十億ドルを要し、数十年の計画と国際的な協力が必要となる研究インフラ、すなわち巨大な機械である。これらは非常に高価であり、公的資金に依存しているため、ある重要な問いが生じている。果たしてそれらは社会に対して実際に報いているのだろうか？単に新しい科学論文を生み出しているというだけでは不十分である。政府も市民も、これらの投資が新しい産業を刺激し、雇用を創出し、健康を改善し、あるいは地球規模の課題を解決するのかを知りたいと考えている。これこそが、これら科学の巨人の真の価値を測定することに捧げられた分野である、社会経済的評価の領域である。長年、あらゆる主要施設は自らの価値を厳密に証明すべきであるという期待があったが、現場の現実ははるかに複雑であった。

新たな分析は、欧州の科学界全域から専門家を集め、なぜこの乖なる溝が存在するのか、そしてどのようにしてそれを修正すべきかを検証している。著者らは、実務家や政策立案者の間で行われた構造化された議論に基づき、これらの施設を評価する現在の方法は壊れていると主張している。評価を、資金提供者が要求した時にのみ行われる一度限りの形式的な作業として扱うのではなく、施設の生涯における継続的かつ統合的な一部としなければならないと彼らは提案している。論文は、特定の機械が特定の発明を引き起こしたことを証明しようとする（それはしばしば不可能な作業である）のではなく、その施設がいかに広範なイノベーションのエコシステムに貢献したかに焦点を当てるべきだと示唆している。中心的な知見は、これらの評価が有用であるためには、プロジェクトが構想された最初の日から計画され、専用のデータシステムによって支えられ、何を知っていて何が不確実なままなのかという誠実なコミュニケーションが行われなければならないということである。

これらのプロジェクトを評価する理由は3つあり、それぞれ異なるアプローチを必要とする。第一に、経済的な議論である。科学はしばしば「公共財」であり、つまり発見の恩恵は、支払った本人だけでなくすべての人々に波及するものである。民間企業は、すべての利益を独占できないため、基礎研究への投資を十分にすることが稀である。公的資金はこのギャップを埋めるものであるが、その恩恵がコストを上回ることを示すことで正当化されなければならない。第二に、正当性の問題である。公的な監視が強まる中で、科学者はなぜ粒子加速器に数十億ドルを投じることが良いアイデアなのかを、一般市民に説明できなければならない。これは単なる広報活動ではなく、これらのプロジェクトが存在することを可能にしている社会契約を維持するためのものである。第三に、実用的なニーズがある。大規模な施設を設計する際、どのように、あるいはいつ建設するかについて、しばしば異なる選択肢が存在する。評価は、意思決定者が最も価値のある道を選択する助けとなるが、これは分析が設計図が確定し、資金が投入される前に行われる場合にのみ機能する。

しかし、この価値を測定することは極めて困難である。一つの大きな障壁は、属性特定（アトリビューション）の問題である。現代のイノベーションという複雑な網の目の中で、特定の研究施設への特定の投資から、店頭にある特定の製品へと直線的な関係を描くことは、ほぼ不可能である。全地球測位システム（GPS）の歴史を例に考えてみよう。それは1950年代の衛星信号の単純な観測から始まり、潜水艦のための航法システムへとつながり、最終的には今日の数十億台のスマートフォンを導く技術となった。商業的な応用は、最初は目に見えるものではなかった。それは、発見という長く曲がりくねったプロセスを経て、数十年後に現れたのである。当初の研究がスマートフォンの産業を「引き起こした」と主張することは誤解を招く。むしろ、論文は、施設がいかにそのような発見を可能にしたエコシステムに貢献したかを見るべきだと論じている。もう一つの課題は、売買できないものの価値をどう評価するかである。冷戦時代に、対立する政治勢力の科学者たちが協力した際に開かれた外交ルートに、どのような価格をつければよいのだろうか？あるいは、次世代の学生たちを科学者へと駆り立てた価値をどう測ればよいのだろうか？これらの影響は現実であり不可欠なものであるが、現在の手法ではそれらをドルで測定することに苦慮している。

これらの結果がどのように伝えられるかは、数字そのものと同じくらい重要である。複雑な評価を、支出した1ドルに対して経済に10ドルを還元すると主張するような、キャッチーな単一の数値（マルチプライヤー）に凝縮しようとする圧力が根強く存在する。著者らは、これは危険であると警告している。それは偽りの精密さを生み出し、研究者が好ましい数字が得られるまでモデルを微調整することを助長する。また、予測に内在する不確実性を隠してしまう。より誠実なアプローチは、未来は単一の点ではなく確率であることを認め、起こりうる結果の範囲を提示することである。この透明性によって、政策立案者は誤った確信に惑わされることなく、リスクと報酬を理解することができる。

おそらく、この論文における最も重要な提言は、評価を一度限りのイベントではなく、ライフサイクル活動として扱うべきだということである。現在、多くの施設は建設後にしか評価について考えないため、データ不足が生じている。施設がその影響を測定しようとする頃には、ベースラインとなるデータは消失しており、施設と世界の間のつながりを辿ることは困難になっている。著者らは、評価のためのデータ収集を、機械そのものと同様に、施設の設計段階から組み込むべきだと提案している。これは、誰がそこで働き、何を買い、何を出版しているかについての詳細な記録を、経済学者が実際に利用できる形で整理しておくことを意味する。大型ハドロン衝突型加速器における実験のように、科学的データをこのレベルの注意深さで管理している施設もあるが、論文は、社会経済的なデータについても同様に行うべきだと主張している。これにより、断片的な報告書の集まりではなく、施設が成熟するにつれて更新されていく、継続的なインパクトの物語が可能になるのである。

論文はまた、評価の政治的な側面についても触れている。何を成功と見なし、何をそうでないと見なすかを決定することは、単なる数学的な計算ではない。そこには価値判断が伴う。施設管理者が、長期的な変革をもたらす発見（それらが成熟するには数十年かかることもある）を無視して、短期的で測定しやすい成果に焦点を当てることで、プロジェクトをより良く見せようと評価を操作する誘惑に駆られるリスクがある。これに対抗するため、著者らはフランスのモデルを挙げている。そこでは、独立した機関が主要な政府プロジェクトの経済的評価の質を審査している。この独立した精査は、分析が単なる政治的正当化の道具ではなく、誠実なものであることを保証する助けとなる。

結局のところ、著者らは、ビッグサイエンスの価値を測定する方法において、謙虚さを受け入れなければならないと結論づけている。我々が持つツールは向上しているが、完璧ではない。それらは、科学的発見の長いタイムスパンや、健全な社会を定義する無形の恩恵を捉えることに苦慮している。これらの限界を認めることは、弱さの露呈ではなく、専門家としての責務である。評価を、科学的プロセスの継続的、透明、かつ統合的な一部として扱うことで、私たちは投資に対する真のリターンをより良く理解することができるようになる。この転換は、報告書を提出して要件を満たすという「コンプライアンスの文化」から、得られた洞察が将来のより良い科学とより良い政策を形作る助けとなる「学習の文化」へと、私たちを導くものである。目標は、投じた1ドルが保証された利益であることを証明することではなく、これらの巨大な発見のエンジンがいかにして私たち全員のために進歩を推進しているのかを、誠実に理解できるシステムを構築することなのである。