Efficient Threshold-based Model for Scientific Productivity Evaluation: a Proposal

テクニカル・サマリー：科学的生産性評価のための効率的な閾値ベース・モデル

問題提起
現在の研究評価システム、特にイタリアにおいては、リソースの集約性、時間的ラグ、および複雑さに関する重大な課題に直面している。主要な国家評価メカニズムである「研究の質に関する評価（VQR）」および「国家科学資格（ASN）」は厳格ではあるが、多大な財政的および時間的リソースを必要とする。例えば、VQRは数年周期（通常、3年間の期間を対象とし、1年間の評価プロセスを伴う）で運用されるため、得られるデータは現在の研究生産性に関して完全には最新ではない。さらに、VQRは機関を評価する一方で、ASNは個人を評価するため、断片的な状況が生じており、機関のパフォーマンスを低コストかつ継続的にモニタリングすることが困難となっている。既存のデータを活用し、新たなデータ収集や複雑なアルゴリズムのオーバーヘッドを必要とせずに、リアルタイムで透明性が高く、プライバシーに配慮した科学的生産性の洞察を提供する、合理化された効率的なツールの必要性が存在する。

手法
著者らは、イタリアの国家科学資格（ASN）の既存の枠組みを利用した、簡略化された閾値ベースのモデルを提案している。この手法は、文部大学・研究省（MUR）によって算出された、異なる学術ランク（助教授、准教授、教授）および科学分野（計量書誌学的分野および非計量書誌学的分野）の「閾値（しきい値）」に基づいている。

モデルの核心となる技術的構成要素は以下の通りである：

1. データソース：

   • 閾値の三組組（$T$）： 次の学術ランク（例：准教授は教授の閾値に対して評価される。教授は委員会メンバーの閾値に対して評価される）に対する公式のASN閾値。これらには3つの指標が含まれる：
     • 計量書誌学的分野： 論文数、総引用数、h指数。
     • 非計量書誌学的分野： 論文・寄稿数、クラスAジャーナル論文数、モノグラフ数。
   • 実測値の三組組（$t$）： 機関リサーチ情報システム（IRIS）から取得される、個々の研究者のリアルタイムデータ。

2. 個人生産性指数（PI）：
   各研究者 $S_i$ について、自身の実測値と対応する次のランクの閾値との比率の算術平均として、生産性指数が計算される：
   $$PI(S_i) = \frac{1}{3} \sum_{j=1}^{3} \frac{t^i_j}{T^i_j}$$

   • 値 $< 1$ は、平均的な閾値を下回るパフォーマンスを示す。
   • 値 $\ge 1$ は、閾値を満たしている、あるいは上回っていることを示す。
   • 閾値がゼロの場合、その指標は除外され、残りの値で平均が再計算される。

3. 部門および機関レベルの集計：

   • 部門生産性指数（DPI）： 部門内の全 $n$ 名の学者による $PI(S_i)$ スコアの算術平均。
   • 大学レベルのメトリクス： 各部門の教員数（$n_j$）で重み付けされた、全部門にわたる加重平均（$\bar{X}$）を算出する。
   • 分散メトリクス： 同質性を評価するために、加重標準偏差（$WST$）および変動係数（$CoV$）を算出する。

4. 実装：
   本モデルは、IRISリポジトリと連携するシンプルなコード（補足資料として提供）を通じて実装されるよう設計されている。これにより、科学分野、学術ランク、または特定の教員グループ（例：新規採用スタッフ）による詳細な分析が可能となる。

主な貢献

• 即時適用可能性： 本モデルは、大臣の表やIRISデータベースに既に存在するデータのみを利用するため、新たなデータ収集を必要としない。
• リアルタイム・モニタリング： 過去の断面図を提供するVQRとは異なり、本モデルは研究者がIRISプロフィールを更新するたびに日々更新される、継続的な生産性のビューを提供する。
• 粒度と柔軟性： 本フレームワークは「ドリルダウン」分析を可能にし、特定の科学分野、学術ランク、または機関内の特定の教員グループ間での比較を可能にする。
• プライバシー遵守： 本モデルは、個々の研究者の生産性指数の公表を必要とせずに、集計された機関指標（DPI）を生成するため、プライバシー制約を遵守している。
• 学問分野への適応性： 分野固有の閾値を使用することで、計量書誌学的分野（STEM）と非計量書誌学的分野（人文・社会科学）の間の異質性を本質的に考慮している。

結果
論文では、仮想的な部門に適用されたモデルのシミュレーション、および匿名性を確保するために実データとシミュレーションデータを混合して用いた、9つのイタリアの大学（大規模、中規模、小規模に分類）のケーススタディ分析が示されている。

• シミュレーション： 10名の学者からなる仮想部門において、DPIは1.24となり、全体として国家閾値を上回る生産性を示したが、個々の学者にはばらつきが見られた（一部は1.0未満）。
• 大学分析：
  • 分析の結果、高い加重平均は必ずしも一様な卓越性を意味しないことが示された。高い標準偏差と変動係数は、同一大学内における部門間の著しい格差を明らかにした。
  • 例えば、「大規模大学1」は高い平均値を示したが、少数の高パフォーマンス部門に牽引された高い分散を示した。一方、「中規模大学3」は、半数未満の部門しか閾値を超えていないという高い変動性を示した。
  • 学術ランク別の内訳により、助教授および准教授は、キャリア形成のインセンティブに後押しされて、より高い生産性指数を示す傾向があることが明らかになった。一方で、教授は、異なる制度的役割や内部評価基準の影響により、やや低い指数を示した。
  • 本モデルは、同一機関内における「卓越した領域（pockets of excellence）」と、パフォーマンス不足の領域を特定することに成功した。

意義と主張
著者らは、本研究をVQRのような包括的な査読付き国家評価の代替ではなく、補完的な低コストのツールとして位置づけている。

• 戦略的価値： 本モデルは、内部ガバナンスに情報を与え、個人のキャリア計画をサポートし、機関がタイムリーに重要な問題や卓越した領域を検知することを支援する、「中間的かつ動的なモニタリング層」として機能する。
• 効率性： 本モデルは、フルスケールの評価に伴う多大な時間と人員コストをかけずに、研究パフォーマンスを追跡したいと考えている機関に対し、実用的なソリューションを提供する。
• 汎用性： イタリアの文脈の中で開発されたものであるが、比較可能なデータが存在する限り、本手法は閾値ベースまたは出版データ駆動型の評価システムを利用している他の国家の文脈にも輸出可能であると著者らは主張している。
• 透明性： 既存の透明性の高い閾値を活用することで、本モデルは複雑な評価アルゴリズムに伴いがちな不透明性を軽減し、説明責任と継続的な改善の文化を促進することを目指している。

結論として、この閾値ベースのアプローチは、学問分野の多様性とキャリア段階を尊重しつつ、研究パフォーマンスのコンパクトで解釈可能かつ感度の高い測定手段を提供し、世界的な評価戦略を洗練させるための実行可能な枠組みを提供するものである。