Redistributing Lossless-Compression Test Corpora: An Audit of Nine Corpora and a File-Level Publication Procedure

수십 년 동안 과학자와 엔지니어들은 컴퓨터가 단 하나의 비트도 손실하지 않고 데이터를 얼마나 잘 압축할 수 있는지 테스트하기 위해 작고 오래된 디지털 파일 모음에 의존해 왔습니다. 1980년대 후반에서 2000년대 중반 사이에 수집된 이 파일들은 보편적인 척도 역할을 합니다. 이 파일들은 크기가 작고, 안정적이며, 찾기 쉽기 때문에 연구자들은 30년 전의 결과와 자신의 새로운 압축 도구를 비교할 수 있습니다. 그러나 이 파일들을 둘러싸고 조용한 문제가 커지고 있습니다. 데이터 자체는 공개되어 있지만, 이를 복제, 공유 또는 수정할 수 있는 법적 허가는 누락된 경우가 많기 때문입니다. 디지털 연구의 세계에서, 만약 당신이 파일을 공유할 권리가 있다는 것을 증명할 수 없다면, 그 위에 새로운 신뢰할 수 있는 테스트 세트를 구축할 수 없습니다. 이러한 불확실성은 취약한 토대를 만듭니다. 법적으로 타인의 소유일 수 있는 파일들로 구축된 벤치마크는 안전하게 배포되거나, 미러링되거나, 업데이트될 수 없습니다.

이러한 불확실성은 단순한 법적 기술적 문제가 아니라, 진보를 가로막는 장벽입니다. 연구자들이 이 오래된 파일들을 대체할 현대적인 테스트 세트를 만들고자 할 때, 그들은 벅찬 과제에 직면합니다. 그들은 공유할 수 있는지 확인하기 위해 모든 파일을 하나하나 법적 상태를 확인해야 합니다. 이를 수행할 확립된 방법도 없었고, 가장 유명한 컬렉션들을 검토하여 그것들이 사용자에게 실제로 어떤 권리를 고지하고 있는지 감사한 사람도 없었습니다. 명확한 답이 없다면, 이 분야는 언제라도 밑바닥이 뽑혀 나갈 수 있는 토대 위에 새로운 과학을 쌓게 될 위험이 있습니다.

독립 연구가인 유진 스피박(Eugen Spivak)은 이 간극을 메우기 위해 나섰습니다. 그는 먼저 데이터 압축 연구의 중추를 형성하는 9개의 널리 사용되는 테스트 컬렉션에 대해 철저한 감사를 실시했습니다. 그는 각 파일의 소유권, 기원 및 파일 사용에 관한 구체적인 규칙에 대해 어떤 정보를 제공하는지 확인하기 위해 공개 페이지와 다운로드 아카이브를 조사했습니다. 결과는 극명했습니다. 그가 검토한 9개의 컬렉션 중 8개는 어떤 파일에 대해서도 라이선스 성명서를 제공하지 않았습니다. 총 76개의 고전적인 테스트 파일들이 재배포에 대한 명시된 허가 없이 유통되고 있었습니다. 몇몇 컬렉션은 파일의 출처에 대한 모호한 설명을 제공하기도 했지만, 파일이 공유될 수 있음을 증명하는 데 필요한 구체적인 법적 문구를 제공한 곳은 없었습니다. 더욱이, 이 컬렉션 중 어느 것도 파일을 생성하거나 수정하는 데 사용된 정확한 컴퓨터 명령어를 기록하지 않았으며, 인터넷이 변하더라도 유지될 수 있는 영구적이고 변하지 않는 데이터 링크를 제공하지도 않았습니다.

이를 해결하기 위해 스피박은 데이터를 게시하는 새롭고 엄격한 절차를 개발했습니다. 전체 컬렉션을 하나의 포괄적인 라이선스를 가진 단일 단위로 취급하는 대신, 그의 방법은 모든 개별 파일을 하나의 독립된 법적 실체로 취급합니다. 각 파일에 대해 연구자는 '계보 기록(lineage record)'을 수집해야 합니다. 이 기록에는 파일이 어디에서 왔는지에 대한 직접적인 링크, 원본 소스가 변경되지 않았음을 증명하는 디지털 지문, 그리고 파일이 소프트웨어에 의해 생성된 경우 해당 파일을 생성하는 데 사용된 정확한 컴퓨터 명령어가 포함됩니다. 결정적으로, 연구자는 소스 라이선스 페이지에서 재배포를 명시적으로 허용하는 특정 문장을 찾아 읽은 날짜와 함께 저장해야 합니다. 이 증거는 원래의 웹사이트가 몇 년 후 변경되거나 사라지더라도 허가의 증거가 남을 수 있도록 저장됩니다.

이 절차에는 엄격한 안전 장치가 포함되어 있습니다. 두 명의 독립적인 검토자가 파일의 상태에 동의해야만 파일이 공공 기록에 포함될 수 있습니다. 첫 번째 검토자가 후보 목록을 작성하면, 첫 번째 목록을 보지 못한 두 번째 검서가 처음부터 모든 파일을 다시 확인합니다. 이 '블라인드(blind)' 방식의 두 번째 검토는 단순히 라이선스 이름만 보고 놓칠 수 있는 오류를 잡아내기 위해 설계되었습니다. 스피박이 이 방법을 새로운 게임 관련 데이터(구체적으로 비디오 게임에 사용되는 텍스처, 3D 모델, 오디오 파일)에 적용했을 때, 과정은 의도한 대로 작동했습니다. 초기 774개의 후보 파일 풀에서 두 번째 검토자는 30개의 파일을 제거했으며, 이는 약 4%에 달하는 거부율이었습니다. 이 파일들은 잘못된 라이선스 이름을 가진 것이 아니라, 불분명한 저자 크레딧, 식별 가능한 인물이 포함된 사진, 또는 권리 소유자를 확인할 수 없는 소스와 같은 미묘한 문제를 가진 파일들이었습니다. 단일 검토 프로세스는 이 30개의 파일을 게시했을 것이고, 이는 나중에 회수되어 전체 컬ر렉션의 신뢰를 훼손했을 것입니다.

최종 결과는 10억 바이트 이상의 데이터를 담은 두 개의 공공 기록이었습니다. 한 기록에는 아무런 제한 없이 누구나 자유롭게 사용할 수 있는 744개의 파일이 포함되었고, 다른 한 기록에는 원작자에게 간단한 크레딧을 제공해야 하는 13개의 파일이 포함되었습니다. 이 출판물에는 데이터의 지도로서 기능하는 상세 목록인 매니페스트(manifest)가 포함되어 있으며, 여기에는 각 파일이 어떻게 만들어졌고 어떤 법적 허가가 적용되었는지에 대한 내용이 담겨 있습니다. 데이터를 신뢰할 수 있도록 하기 위해, 연구자는 디지털 아카이브를 원래 모습 그대로 똑같이 재구축할 수 있는지 테스트했습니다. 그는 아카이브의 디지털 지문이 매우 민감하다는 것을 발견했습니다. 컴퓨터 소프트웨어가 파일을 쓰는 방식의 아주 작은, 눈에 보이지 않는 차이(예를 들어, 컴퓨터가 윈도우를 실행하는지 아니면 다른 시스템을 실행하는지에 따라 달라지는 설정)조차도 지문을 바꿀 수 있었습니다. 이는 데이터가 진정으로 재현 가능하려면, 단순히 내부의 파일뿐만 아니라 아카이브를 생성하는 데 사용된 모든 설정을 목록에 기재해야 함을 의미했습니다.

데이터가 게시된 후, 후속 점검을 통해 도구 이름이 틀리거나 명령어 목록의 세부 사항이 누락되는 등의 사소한 문서 오류가 발견되었습니다. 이는 원래의 파일을 조용히 변경하는 대신, 기록의 새 버전을 출시함으로써 수정되었습니다. 이러한 접근 방식은 데이터를 되돌아보는 사람이 어느 시점에 어떤 데이터가 사용 가능했는지 정확히 볼 수 있도록 보장합니다. 이 연구는 명확한 파일별 법적 증거를 갖춘 테스트 코퍼스를 게시하는 것이 가능하다는 결론을 내렸지만, 이는 상당한 시간 투자와 미묘한 오류를 잡아내기 위한 두 번째 독립 검토를 필요로 합니다. 수십 년간 사용되어 온 고전적인 컬렉션들은 여전히 법적 불확실성 상태에 남아 있지만, 이 새로운 절차는 과학 연구를 위해 신뢰할 수 있고 공유 가능한 차세대 데이터를 구축하고자 하는 모든 이들에게 명확한 길을 제시합니다.