Where the Evidence Sits: An Evidence Map of Dataset Licensing and Data Provenance Gaps Across 29 Research Corpora and 17 Standards

研究者が新しい理論を検証するためにデジタルファイルをダウンロードするたびに、あるいは開発者が人工知能を訓練するためにデータセットをコピーするたびに、彼らはしばしば目に見えない「管理の連鎖（chain of custody）」へと足を踏み入れています。これらのファイルは現代の発見における原材料ですが、その使用を規定するルールはしばしば不明確です。あるファイルは大学から、あるものは政府のアーカイブから、またあるものは民間企業から提供されている可能性があり、それぞれのソースには独自の許可設定があります。誰でも自由にデータを使用できるものもあれば、商用利用を禁止したり、オリジナルの作成者にクレジットを表示することを求めたりするものもあります。ファイルがコピー、移動、または他のものと混合される際、これらの許可事項も共に移動しなければなりません。もし移動しなければ、そのファイルを持っている人は、それを共有してよいのか、それが真にどこから来たのか、あるいはどのように作られたのかを知る術がありません。この知識がなければ、研究の連鎖全体が脆弱なものとなり、事実ではなく仮定の上に築かれることになります。

長年、これらのデジタルコレクションの監査は、大局的な視点に焦点を当ててきました。それらは、明確なルールを欠いた大規模なデータセットがいくつあるかを数え、主要なコレクションの多くが必要な書類を欠いていることを明らかにしました。しかし、こうした広範なチェックは、個々のファイルを実際に扱っている人物にとって最も重要な詳細を見落としがちです。それらはコレクションを一つの「箱」として扱い、もし箱にラベルが付いていれば、中のすべてのアイテムが同じルールを共有していると想定します。しかし実際には、単一のデータセットの中に、それぞれ異なる履歴と法的ステータスを持つ数十の異なるソースからのファイルが含まれていることがあります。ファイルがその箱から取り出され、新しいプロジェクトで使用されるとき、外側にある大きなラベルはもはや全体像を物語ってはくれません。

独立系研究者であるエウゲン・スピヴァクによる最近の研究は、視点を「箱」から、その中にある「個々のアイテム」へと移しています。この研究は、シンプルかつ困難な問いを投げかけます。「証拠は実際にどこに存在するのか？」という問いです。ファイルの出自と許可の証明は、コレクション全体というレベルに存在するのでしょうか、それとも各特定のファイルごとに記録されているのでしょうか？これに答えるため、研究者は機械学習からデジタル保存に至るまで、さまざまな分野で使用されている29の公開データコレクションを調査しました。これらのコレクションは、スペースを節約するためにデータを圧縮するもの、人工知能を訓練するもの、そしてデジタル形式を長期的に保存するものといった、異なるコミュニティを代表するように選ばれました。また、研究者がデータを記述するために使用するルールブックやテンプレートである17の異なる標準規格（メタデータ標準）についても、それらが何を記録できる能力を持っているのかを確認するためにレビューを行いました。

調査の結果、可能なことと実際に起きていることの間に、著しい乖離があることが明らかになりました。メタデータとして知られるルールブックは、驚くほど高い能力を備えています。多くの標準規格は、すでに特定の許可、ソースへのリンク、あるいはデジタルの指紋（フィンガープリント）を単一のファイルに付与する技術的な能力を持っています。これらの標準規格の中には、ファイルのレビューや、そのファイルがどのように作成されたかの記録を記録できるものさえあります。しかし、研究によれば、これらの機能を活用している者はほとんどいないことが分かりました。調査対象となった29のコレクションの中で、コレクション自体に対して永続的で固有の識別子（ID）を保持していたものは一つもありませんでした。これは、研究者が数年後にデータの正確なバージョンを見つけ出すためのツールとなります。29のコレクションのうち、個々のファイルに対して特定の許可を記録していたのは、わずか5つだけでした。ほとんどの場合、許可事項は完全に欠落しているか、コンピュータが読み取れないプレーンテキストとして書かれているか、あるいは中のファイル間の違いに関わらず、コレクション全体に適用されていました。

研究者はまた、これらの記録をチェックするために設計されたツールが実際に機能するかどうかもテストしました。たとえファイルに標準的な形式で許可が付随していたとしても、その記録を検証するためのソフトウェアが、それらを無視してしまうことがよくあります。例えば、ある普及している標準規格は、ファイルが独自のライセンスを持つことを可能にしていますが、そのファイルをチェックするソフトウェアは、そのライセンスが有効であるか、あるいはそれが実在するライセンスであるかさえ検証しません。単に、そこにあるテキストをそのまま受け入れるだけなのです。これは、問題を解決するためのテクノロジーは存在するものの、ルールを強制するためのツールがまだそれを使用する準備ができていない状況を生み出しています。研究は、欠けているピースは、標準規格における語彙や能力の不足ではなく、採用の欠如と信頼できる検証ツールの欠如であると結論付けました。

より良いシステムが可能であることを示すために、研究者は小さく実用的なツールキットを構築しました。このキットを使用すれば、構築者はコレクション内のすべてのファイルについて、そのサイズ、固有のデジタル指紋、ソース、および特定の許可を記したシンプルなリストを作成できます。その後、キットはそのリストを標準的なソフトウェアが読み取れる形式に変換します。3つの異なるタイプのデータコレクションでテストしたところ、このキットは「既知の情報」「未知の情報」、そして「ルールが衝突している箇所」を正常に記録することに成功しました。これは、作業には努力が必要ではあるものの、管理可能な範囲であることを示しました。コストがかかるのは、数百万のファイルを処理することではなく、異なるソースや変換に伴う情報を収集するために必要な「人間の時間」なのです。

この知見は、解決策が視点の転換にあることを示唆しています。単一のデータセットに対する一つのラベルがすべてをカバーすることを期待するのではなく、研究者はファイルが実際に使用されるレベルで証拠を記録する必要があります。これは、ファイルに特定の記録を付与し、それがどこへ行こうとも共に移動するようにすることを意味します。研究は、これを実現するための9つの具体的な推奨事項を提示しています。データコレクションの作成者に対し、リリースするすべてのファイルに対して詳細なリストを公開することを求めています。また、これらのコレクションをホストするプラットフォームに対し、作成者の記録を独自の一般的な要約で上書きすることを止めるよう求めています。技術標準の維持者に対しては、ファイルレベルの詳細を実際にチェックできるようにツールを更新することを促しています。最後に、学術論文の査読者に対し、研究を受け入れる前にこれら5つの主要な証拠をチェックすることを求めています。

進むべき道は明確ですが、調整が必要です。あらゆるファイルの履歴と許可を追跡するためのテクノロジーは、すでにルールブックの中に存在しています。課題は、データの作成者、それをホストするプラットフォーム、そしてそれをチェックするツールが、皆でそれを使用することに合意できるかどうかです。証拠をコレクションの一般的な記述から、各ファイルの特定の記録へと移すことで、科学コミュニラティは、今日のデジタル素材が、将来の発見においても信頼でき、使用可能であり、法的に健全な状態であり続けることを確実にできるのです。この研究は、データ・ライセンシングの問題を解決したと主張するものではありませんが、証拠がどこに位置しているのかを正確に描き出し、そのギャップが可能性の問題ではなく、実践の問題であることを示したのです。