No Value Is Better Than a Wrong Value: Finding and Handling Erroneous Data in Literature-Mined Datasets for AI
本論文は、文献からマイニングされたAIデータセットにおける誤ったデータの重大な課題に対処するため、抽出エラーの分類法と、物理法則、統計的合意、およびプロベナンス（由来）チェックを組み合わせた階層的な検証フレームワークを提案することで、材料科学および関連分野におけるモデルの精度を大幅に向上させ、偽の発見を防ぐものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
より高速なコンピュータ、より長持ちするバッテリー、あるいはより効果的な医薬品となる新材料を発見するために、科学者たちはますます人工知能（AI）に頼るようになっています。これらのデジタル・アシスタントは、膨大なデータの集合を研究することで学習し、どの化学的組み合わせが最適であるかを明らかにするパターンを見つけ出そうとします。バッテリーが蓄えられるエネルギーや結晶が光を屈折させる度合いといった多くの特性において、それらの数値が存在するのは、数千もの出版された学術論文の中に散らばっている場所だけです。研究者たちは、これらの論文を自動的に読み取り、数値を抽出して機械が理解できるデータベースへと変換するツールを構築してきました。しかし、印刷されたページを読み取り、それを整然とした数値のリストへと変えるプロセスは、決して完璧なものではありません。小数点が消えたり、単位が別のものと混同されたり、あるいは数値が全く別の材料に付随してしまったりすることがあります。もしコンピュータがこうした間違いから学習してしまえば、単に小さな誤りを犯すだけでなく、研究者に対して自信を持って誤った発見へと導いてしまうことになります。その際、AIは最も極端で不正確な数値を、最良の候補として選択してしまうことがよくあります。
ディバカール・ダッタ研究所の研究チームは、データのエラーを稀な不具合としてではなく、プロセスにおける当然の要素として扱うことで、この問題の解決に乗り出しました。彼らは、電圧を印加したときに光の屈折を変える結晶である「電気光学材料」に焦点を当てました。これらの材料は、世界中のデータを運ぶ光ファイバー・ネットワークや、将来の量子コンピュータにとって極めて重要です。チームは学術文献からこれらの材料の値を抽出するシステムを構築しましたが、そこには特定の哲学が組み込まれていました。それは、「間違った値よりも、値がない方がマシである」というものです。すべての数値を完璧に抽出することは不可能であると彼らは気づいていたため、代わりに、AIモデルに毒を与えないよう、間違いを捕まえるための多層的なセーフティネットを構築しました。
研究者たちは、エラーがいくつかの明確な段階を経てデータベースに混入することを特定しました。時には、元の論文において、数値が誤って印字されていたり、古い研究から誤ってコピーされていたりすることがあります。また、コンピュータ・プログラムがスキャンされた文書を読み取ろうとする際に、数字の「0」を文字の「O」と見間違えたり、マイナス記号を失ったりすることもあります。テキストが正しく読み取られたとしても、コンピュータが数値を誤ったラベルに割り当ててしまい、ある材料の測定値を別の材料のものと混同したり、温度や圧力といった測定が行われた具体的な条件を見落としたりすることがあります。これに対処するため、チームは5段階のフィルタリング・プロセスを作成しました。第1ステップでは、単位が正しいか、数値がソース・テキスト内に実際に存在するかといった、表面的な整合性をチェックします。第2ステップでは、物理法則を適用し、結晶の対称性のルールに違反していないか、あるいはバッテリーの容量が理論上の限界を超えていないかといった、物理的に可能な値であるかを検証します。
第3ステップでは、異なる研究間での一致を確認します。もし10本の論文が同じ材料について報告している場合、正しい数値は互いに集まるはずですが、ランダムなエラーは外れ値として目立つことになります。第4ステップでは、他のデータで学習させたAIモデルを用いて、類似の材料と比較して奇妙に見える値を特定します。最終ステップは、前段階で不審であるとフラグを立てられた値のみを対象とした、人間による専門的なレビューです。このアプローチにより、チームはすべての数値をチェックする必要なく、効率的にエラーを処理することができます。最新の実行において、このシステムは816個の候補値のうち402個を阻止し、それぞれがなぜ拒否されたのか、あるいはさらなる検討が必要なのかという具体的な理由を記録しました。
こうした厳格なフィルターにもかかわらず、研究者たちは依然としてエラーが紛れ込んでいることを発見しました。彼らが受け入れられた値と、注意深く精査された参照セットを比較したところ、受け入れられた値の約27パーセントがいまだに欠陥を含んでいることが判明しました。参照データベースを必要としない単純なチェック、例えば結晶の対称性のルールが守られているかの確認だけでも、これら残存する間違いの70パーセントを捉えることができました。どの数値が間違っているかを正確に把握していた制御テストでは、彼らの多層的なシステムは81パーセントの精度でエラーを発見しました。決定的なのは、このクリーニング・プロセスがなければ、AIモデルは完全に誤導されてしまうことを彼らが示したことです。未クリーニングのデータでは、上位20個の最大値のうち89パーセントがエラーでした。最高の材料を見つけ出すように設計されたAIモデルは、大きな値を求める性質があるため、未クリーニングのデータベースは、巨大なエラーを画期的な発見と見誤らせ、研究者を最悪の候補へと導いてしまうことになるのです。
この研究は、もう一つのより微細な問題も明らかにしました。誤った数値を取り除いた後でも、研究者たちは、多くの記録に有用なコンテキスト（文脈）が欠けていることを発見しました。例えば、2つの記録が同じ材料と数値を示していても、一方は高圧下で測定され、もう一方は室温で測定されている場合があり、テキストに圧力の情報が欠けていれば、システムはそれらを区別できません。このコンテキストの欠如は、研究者によって「区別不可能な記録の割合」として測定され、AIが学習できる限界の主な要因となりました。チームは、データの駆動型科学の未来は、単に多くの数値を見つけることではなく、自らの品質を追跡し、自らのエラーを報告し、あらゆる測定が行われた特定の条件を保存できるデータベースを構築することにかかっていると結論付けました。エラーは避けられないものであると認め、それを捉えるシステムを構築することによって、科学者は、自分たちが頼りにしている人工知能が、間違いの集まりからではなく、現実から学んでいることを確信できるのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。