Invisible to humans, visible to machines: a preregistered audit of Unicode fidelity across four biomedical bibliographic APIs
この事前登録された監査は、4つの主要な生物医学文献APIが、PubMed CentralのJATS XMLによる正解データと比較して、特にタイポグラフィ上の句読点や特殊な空白文字において、重大かつ文書化されていない文字レベルの忠実度の損失を示していることを明らかにしており、これはテキストマイニング、コーパス構築、およびLLMの学習に対するリスクをもたらしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、膨大な、完璧なデジタル医学研究ライブラリを構築しようとしている司書であると想像してください。あなたには、論文の要約（アブストラクト）を運んでくる4つの異なる配送トラック（API）があります。あなたは、トラックが箱を届けたとき、その中身は著者が書いたものと全く同じであると想定しています。
この論文は、それらのトラックが実際に「全く同じ内容」を届けているのか、それとも、箱を受け渡す前に、中の特定のアイテムを密かにすり替えているのではないか、という監査（チェック）を行うものです。
以下に、研究結果の概要を、簡単な比喩を用いて説明します。
設定：「完璧なコピー」テスト
研究者たちは、マスターソース（PubMed Central）から4,000件の医学論文を取り出し、4つの主要な配送サービス——PubMed、Crossref、OpenAlex、Semantic Scholar——に、そのアブストラクトを送るよう依頼しました。そして、届けられたテキストを、オリジナルの「ゴールドスタンダード（標準）」ファイルと一文字ずつ比較しました。
彼らが探していたのは、単なる単語の欠落や文章の欠落ではありませんでした。彼らが探していたのは、目に見えないほど微細なディテールです。つまり、特殊な句読点（「おしゃれな」ダッシュや、曲線的な引用符など）、科学記号（ギリシャ文字やプラスマイナス記号など）、そして特殊な種類のスペースです。
大きな発見：「人間には見えず、機械には見える」
最も重要な発見は、人間には違いが分からないが、コンピュータには分かるということです。
- 人間の視点： もしあなたがPubMedから論文を読み、Crossrefから論文を読んだとしても、見た目は同一です。ダッシュはダッシュに見え、スペースはスペースに見えます。
- 機械の視点： コンピュータプログラム（AIや検索エンジンなど）にとって、「おしゃれなダッシュ」と「普通のダッシュ」は、まったく別のものです。一つは特別なコードであり、もう一つは基本的なコードです。もし配送トラックがそれらを入れ替えた場合、コンピュータはそれを全く別の単語であると判断します。
2つの主要な「漏洩（リーケージ）」
研究の結果、2つのトラックが、特定の種類のアイテムを系統的に失わせたり、変更したりしていることが分かりました。
1. PubMedトラック：「プレーンテキスト」ポリシー
- 何が起きたのか： PubMedは、元のテキストを徹底的に「平坦化（フラット化）」します。著者が「おしゃれな曲線的な引用符（
'）」や「特殊なエムダッシュ（—）」を使用していた場合、PubMedはそれらを、基本的で退屈なバージョン（'や-）に置き換えます。 - 比喩： あなたが封蝋（シーリングワックス）が付いた手紙を送ったとします。配送サービス（PubMed）は、その封蝋を溶かし取り、代わりにプレーンなステッカーを貼ります。人間の読者にとって、手紙の内容は同じです。しかし、特定の「封印」を信号としてカウントする機械にとって、その封印は消えてしまったことになります。
- 結果： これらの特殊文字が含まれるほぼすべてのアブストラクトにおいて、PubMedはそれらを置き換えていました。特殊文字が生き残っていたのは、わずか**0.6%**の場合だけでした。
2. OpenAlexトラック：「見えないスペース」の問題
- 何が起きたのか： OpenAlexは、アブストラクトを「単語とその順序」のみを保持するように保存しており、単語間の「特定のスペース」を捨ててしまいます。もし著者が「ノーブレークスペース（2つの単語をくっつけておくための特殊なスペース）」を使用していたとしても、OpenAlexはそれを通常のスペースに変えてしまいます。
- 比喩： パズルのピースが単語である状況を想像してください。OpenAlexはパズルを一度バラバラにし、単語を袋に入れ、それから標準的な間隔で再びバラまきます。彼は、特定の2つのピースが特殊な接着剤でくっついていたことを覚えていません。
- 結果： 特殊なスペースが生き残ることは**0%**でした。それらはすべて、通常のスペースに変更されていました。
朗報となる「安全な」アイテム
すべてが失われたわけではありません。他の2つのトラック（CrossrefとSemantic Scholar）は、「重要なもの」については非常に慎重でした。
- 科学記号とギリシャ文字： 4つのトラックすべてが、これらを完璧に届けました。もし論文の中で「ベータ（β）」や「プラスマイナス（±）」に言及されていた場合、すべてのトラックが正確にその記号を届けました。
- なぜ重要か： これは、科学の「意味」は守られているものの、「スタイル」や「フォーマット」は守られていないということを意味します。
「欠落した箱」の問題（Crossref）
他にも、テキストの変更に関する問題ではなく、**「箱そのものが丸ごと欠落している」**という大きな問題が見つかりました。
- 問題点： Crossrefのトラックは、約**25%**の論文について、アブストラクトを届けていませんでした。
- 原因： Crossrefがテキストを紛失したのではなく、一部の大手出版社（ElsevierやAmerican Chemical Societyなど）が、そもそもCrossrefにアブストラクトを提供していなかったことが原因です。
- 比喩： それは、特定の近隣地域からの荷物しか受け付けない配送サービスのようなものです。もしあなたがそのサービスが扱っていない地域に住んでいれば、荷物は届きません。
なぜこれが重要なのか？
この論文は、私たちはますます「人間」ではなく「機械」によって本を読んでいるのだと主張しています。
- AIと研究： もしAIが、著者がAI執筆ツールを使用したかどうかを判定するために、特定の「おしゃれなダッシュ」がどれくらい使われているかをカウントしようとしている場合、配送トラック（PubMed）がすでにそのダッシュをプレーンなものに置き換えてしまっていたら、AIは誤ったカウントをすることになります。AIは、著者がそのツールを使用していないと判断してしまうかもしれません（実際には使用していたとしても）。
- 検索と重複： もしコンピュータが、テキストを正確に比較することで重複論文を見つけようとしている場合、一方のバージョンに「おしゃれなダッシュ」があり、もう一方に「プレーンなダッシュ」があるだけで、コンピュータはそれらを別物とみなし、一致を見逃す可能性があります。私たちには同じに見えても、コンピュータにとっては別物なのです。
結論
あなたが読む医学論文のアブストラクトは、どのウェブサイトやツールを使って取得するかによって完全に変わります。
- PubMedを使う場合、特殊な句読点が平坦化された「クリーンアップされた」バージョンを受け取ることになります。
- OpenAlexを使う場合、特殊なスペースが失われたバージョンを受け取ることになります。
- Crossrefを使う場合、出版社が送ってこなければ、アブストラクトを全く受け取れない可能性があります。
- Semantic Scholarを使う場合、一般的にはテキストがそのままの形で届けられます。
この論文は、これらの変化は人間の目には見えないものの、科学文献を読み、分析し、整理するという重労働を担っている「機械」にとっては、重大かつ系統的なエラーであることを結論づけています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。