Examining the Cognitive Gap Between Authors and Peer Reviewers on Academic Paper Novelty

技術要約：学術論文の新規性における著者と査読者の間の認知ギャップの検証

問題提起
新規性は学術論文の質を評価するための主要な指標であるが、著者が自らの研究をどのように宣伝するかと、査読者がそれをどのように評価するかとの間には、しばしば認知的なギャップが存在する。著者は出版を確保するために新規性を誇張しがちである一方、査読者は真の貢献を見落としたり、宣伝的な表現を誤解したりすることがある。このような不一致は、偏った評価や、新規性の低い論文の出版、あるいは価値ある研究の却下を招く可能性がある。先行研究では、グラント申請書における宣伝的言語や、論文のタイトルおよび抄録の断片的な側面については調査されているが、本文中の著者の宣伝戦略、研究固有の新規性、そして結果としての査読評価の相互作用を分析した大規模な実証的研究は不足している。

手法
本研究は、2016年から2021年までにNature Communicationsに掲載された15,328本の学術論文のデータセット（公開されている査読コメントを含む）を利用している。研究フレームワークは以下の3段階で進行する：

1. データ抽出と分類：

   • 著者の宣伝的言語： 大規模言語モデルであるDeepSeek-V3（671Bパラメータ）を用い、論文の**導入部（Introduction）**から貢献を強調する文章を抽出した。これらの文章は、Leaheyら（2023）に基づき、「理論的（Theoretical）」、「手法（Methodological）」、「結果（Result）」の3つのイノベーション・タイプに分類された。
   • 査読者の評価： 「ルールベース＋機械学習」のアプローチを採用した。まず正規表現とカスタム辞書を用いて候補となる文章を抽出し、その後、ドメイン特化型BERTモデルであるSciBERTを用いて精緻化した。このパイプラインにより、査読から38,561個のイノベーション評価文を抽出し、同様に3つのイノベーション・タイプに分類し、スコア付け（肯定的：+2、中立：+1、否定的：-1）を行った。
   • 新規性指標： 各論文の固有の新規性は、論文の参考文献におけるジャーナルの組み合わせの非典型性を算出する、参照ベースの指標であるNovelty_U（Uzzi et al., 2013）を用いて定量化した。

2. 宣伝強度（Promotional Intensity）の指標：
   導入部における宣伝強度を測定するために、2つの指標を定義した：

   • PL： 全単語数に対する宣伝的言語（貢献を強調する文章）の割合。
   • PW： 特定の宣伝的単語（例：「new」、「unique」、「revolutionary」など）の全単語数に対する割合。

3. 分析アプローチ：

   • 比較分析： 著者の焦点（宣伝的文章）と査読者の焦点（評価文章）の間で、イノベーションのタイプおよび学術分野を横断した統計的比較を行った。
   • 回帰分析： Novelty_Uに基づき、論文を「高・中・低」の新規性グループに層別化した。PLおよびPWが査読者の新規性スコア（PRscore）に与える影響を、著者数、導入部の長さ、出版年、および分野を制御変数として、個別の回帰分析を行った。
   • 不一致の測定： 査読者の不一致は、特定の論文に対する個々の査読者のイノベーション・スコアの分散として定量化した。新規性のスペクトラム全体にわたる、宣伝強度とこの分散との相関分析を実施した。

主な結果

• 認知的な整合性と乖離： 著者と査読者の双方が**結果のイノベーション（Result Innovation）**を重視している（著者の宣伝の87.19%、査読者の評価の50%）。しかし、査読者はより包括的な視点を持ち、結果とともに理論的および手法的な側面も頻繁に評価している。著者は結果に強く依存する傾向があり、結果を伴わない限り、理論的または手法的な転換に関する詳細な宣伝を省略することが多い。
• 固有の新規性が宣伝を駆動する： 論文の固有のNovelty_Uと、宣伝的言語の使用との間には正の相関がある。極めて新規性の高い論文は、特に理論的および結果的なイノベーションにおいて、より多くの宣伝的言語および単語を使用している。
• 宣伝の条件付き有効性： 宣伝的言語が査読者スコアに与える影響は非線形であり、固有の新規性に依存する：
  • 高新規性： 強い宣伝的言語（PLおよびPWの両方）は、査読者の新規性スコアの上昇と有意に相関している。
  • 低/中新規性： 宣伝強度は査読者スコアに対して統計的に有意なプラスの効果を持たない。固有の新規性が限定的な論文においては、攻撃的な宣伝を行っても評価は向上しない。
• 不一致の「グレーゾーン」： 宣伝的言語は、特に**中程度のイノベーション（moderate innovativeness）**を持つ論文において、**査読者の不一致（スコアの分散）**を著しく増幅させる。非常に高い、あるいは非常に低い新規性を持つ論文では、宣伝強度が不一致に与える影響は無視できる。これは、曖昧なケースにおいて、宣伝的な手がかりが査読者の解釈を分極化させる外部要因として機能することを示唆している。

主な貢献

1. 認知ギャップの体系的な定量化： 本研究は、著者の自己宣伝と査読者の評価との間のミスマッチを、理論的、手法的、および結果指向のイノベーションを明確に区別しながら、大規模かつ詳細に定量化した。
2. 内在的質から知覚への経路： 論文の内在的な新規性（Novelty_U経由）から、著者の行動（宣伝強度）、そして最終的に査読者の知覚へと至る完全な分析経路を確立し、宣伝の有効性が論文の実際の質に依存することを証明した。
3. 査読の安定性に関する洞察： 本研究は、中程度の新規性という「グレーゾーン」が、宣伝的言語が査読プロセスを不安定にし、専門家の間の不一致を悪化させる決定的な領域であることを特定した。これは、分析の単位を個々のスコアから、コンセンサス自体の安定性へと移行させるものである。

意義と示唆
本論文は、宣伝的言語は単なる修辞的技法ではなく、その有効性が論文の実際のイノベーションによって制限される戦略的ツールであると論じている。

• 著者にとって： 研究結果は、著者が自身の研究の実際の新規性に合わせて宣伝の強度を調整すべきであることを示唆している。低新規性の論文における過度な宣伝は懐疑心を招くリスクがある一方、真に高い新規性を持つ研究においては、強力な宣伝は有益であり適切である。
• 編集者およびコミュニティにとって： 本研究は、査読者の不一致が必ずしもエラーから生じるのではなく、証拠の曖昧さに直面した際の認知的乖離（宣伝的な手がかりによって増幅されるもの）から生じる可能性があることを明らかにしている。これは、査読における論争の発生に関する理論的な説明を提供し、「グレーゾーン」を理解することが査読システムの透明性と効率性を向上させる上で極めて重要であることを示唆している。

本研究は、単一のジャーナル（Nature Communications）への依存、却下された原稿の除外、および非構造化テキストから暗黙的な評価を抽出することの固有の困難さといった限界を認めている。今後の課題として、これらのダイナミクスをさらに検証するために、データセットを他のオープン査読ジャーネルに拡大し、却下された論文を含めることが提案されている。