Redistributing Lossless-Compression Test Corpora: An Audit of Nine Corpora and a File-Level Publication Procedure

何十年もの間、科学者や技術者たちは、コンピュータが情報の欠落を一切なしにデータをどれだけ圧縮できるかをテストするために、小さく古くなったデジタルファイルのコレクションに頼ってきました。1980年代後半から2000年代半ばにかけて集められたこれらのファイルは、普遍的な物差しとして機能しています。これらはサイズが小さく、安定しており、見つけやすいため、研究者は30年前の結果と新しい圧縮ツールの結果を比較することができるのです。しかし、これらのファイルを取り巻いて、静かな問題が成長していました。データ自体は公開されていますが、それらをコピーしたり、共有したり、改変したりするための法的な許可が付随していないことがしばしばあるのです。デジタル研究の世界では、そのファイルを共有する権利を持っていることを証明できなければ、その上に新しく信頼できるテストセットを構築することはできません。この不確実性は脆弱な土台を生み出します。誰かの所有物である可能性のあるファイルに基づいたベンチマークは、安全に配布することも、ミラーリングすることも、更新することもできないからです。

この不確実性は単なる法的な形式上の問題ではありません。それは進歩への障壁です。研究者がこれらの古いファイルに代わる現代的なテストセットを作成しようとする際、彼らは困難な課題に直面します。すべてのファイルを一つずつ調査し、共有が可能であることを確認しなければならないのです。これを行うための確立された方法もなければず、最も有名なコレクションに対して、ユーザーの権利について実際に何を伝えているのかを監査した人もいませんでした。明確な答えがないままでは、研究分野全体が、いつ足元から崩されるかわからない基盤の上に新しい科学を築こうとしているリスクを負うことになります。

独立した研究者であるユージェン・スピヴァク（Eugen Spivak）は、このギャップを埋めるために動きました。彼はまず、データ圧縮研究のバックボーンとなっている広く使用されている9つのテストコレクションに対して徹底的な監査を行いました。彼は各ファイルの所有権、起源、および使用に関する具体的なルールについてどのような情報が提供されているかを確認するため、それぞれの公開ページとダウンロードアーカイブを調べました。その結果は衝撃的でした。レビューした9つのコレクションのうち、8つはどのファイルに対してもライセンス条項を提供していませんでした。合計で76個の古典的なテストファイルが、再配布に対する明示的な許可がない状態で流通していたのです。いくつかのコレクションはファイルの出自についての漠然とした説明を提供していましたが、いずれも、ファイルが共有可能であることを証明するために必要な特定の法的テキストを提供するものではありませんでした。さらに、これらのコレクションはいずれも、ファイルを作成または変更するために使用された正確なコンピュータコマンドを記録しておらず、インターネットの変化によって消滅することのない恒久的かつ不変のリンクも提供していませんでした。

これを解決するために、スピヴァクはデータを公開するための新たな厳格な手順を開発しました。コレクション全体を一括りの単位とし、一つの包括的なライセンスを与えるのではなく、彼のメソッドでは、あらゆる個々のファイルを独自の法的エンティティとして扱います。各ファイルに対して、研究者は「リネージ・レコード（系統記録）」を集める必要があります。この記録には、ファイルがどこから来たのかを示す直接的なリンク、元のソースが改ざんされていないことを証明するためのデジタルの指紋（フィンガープリント）、そしてソフトウェアによって作成された場合はその生成に使用された正確なコンピュータコマンドが含まれます。極めて重要なのは、研究者がソースのライセンスページの、再配布を明示的に許可している特定の文章を見つけ出し、それを読んだ日付とともに保存しなければならない点です。この証拠は、たとえ数年後に元のウェブサイトが変更されたり消失したりしても、許可の証明が残るように保存されます。

この手順には、厳格な安全メカニズムが含まれています。すなわち、二人の独立したレビュアーがそのステータスに同意した場合のみ、ファイルがパブリック・レコードへの登録が許可されます。第一のレビュアーが候補リストを作成し、第二のレビュアーが、（第一のリストを見ていない状態で）ゼロからすべてのファイルを再度チェックします。この「ブラインド」による二次レビューは、ライセンス名を見ただけで見逃してしまうようなミスを防ぐよう設計されています。スピヴァクがこの手法をゲーム関連のデータ（具体的にはビデオゲームで使用されるテクスチャ、3Dモデル、オーディオファイル）に適用したとき、プロセスは意図通りに機能しました。初期の774個の候補ファイルの中から、第二のレビュアーにより30個のファイルが削除されました。これは約4パーセントの拒絶率です。これらは誤ったライセンス名のファイルではなく、不明瞭な著者クレジットや、個人が特定可能な人物を含む写真、あるいは権利保持者の確認が取れないソースといった、微妙な問題を抱えたファイルでした。単一のレビュー工程であれば、これらの30個のファイルをそのまま公開してしまい、後にコレクション全体の信頼性を損なう事態を招いていたはずです。

最終的な結果として、計10億バイトを超えるゲーム資産の2つのパブリック・レコードが公開されました。一方のレコードには制限なく自由に使用できる744個のファイルが含まれており、もう一方にはオリジナルの製作者への単純なクレジット表記が必要な13個のファイルが含まれていました。出版物には、「マニフェスト」と呼ばれる詳細なリストが含まれており、それがデータの地図としての役割を果たし、すべてのファイルがいかに作られ、どのような法的許可に覆われているかを正確に示しています。データが信頼できるものであることを保証するためにも、研究者はデジタルアーカイブを全く同じように再構築できるかどうかをテストしました。その結果、アーカイブのデジタルの指紋は非常に敏感であり、例えばコンピューターがWindows上で動作しているか別のシステム上で動作しているかによって変わる設定のような、微細で見えない違いであっても、指紋が変わってしまうことを発見しました。つまり、データが真に再現可能であるためには、中のファイルだけでなく、アーカイブを作成するために使用したすべての設定をリスト化する必要があるということです。

データが公開された後、フォローアップのチェックにより、ツール名の誤りやコマンドの詳細不足といった軽微な文書エラーが見つかりました。これらは元のファイルを密かに書き換えるのではなく、レコードの新バージョンを発行することで修正されました。このアプローチにより、過去のデータを参照する誰もが、ある時点において何が利用可能であったかを正確に把握できるようになります。本研究は、明確なファイルごとの法的証拠を持つテストコーパスを公開することは可能であるが、そのためには多大な時間への投資と、単一のチェックをすり抜ける微妙なエラーを捉えるための独立した二次レビューが必要であると結論付けています。数十年にわたり使用されてきた古典的なコレクションは依然として法的不透明な状態にありますが、この新しい手順は、次世代の信頼できる、共有可能な科学研究用データのための道を明らかに提示しています。