Where the Evidence Sits: An Evidence Map of Dataset Licensing and Data Provenance Gaps Across 29 Research Corpora and 17 Standards

연구자가 새로운 이론을 테스트하기 위해 디지털 파일을 다운로드할 때마다, 또는 개발자가 인공지능을 훈련시키기 위해 데이터셋을 복사할 때마다, 그들은 종종 보이지 않는 관리 연속성(chain of custody)의 단계로 발을 들여놓게 됩니다. 이 파일들은 현대적 발견의 원자재이지만, 그 사용을 규정하는 규칙은 빈번하게 불분명합니다. 파일은 대학교, 정부 기록 보관소, 또는 민간 기업에서 왔을 수 있으며, 각 출처는 저마다의 허가 조건을 가지고 있습니다. 어떤 곳은 누구나 데이터를 자유롭게 사용할 수 있도록 허용하지만, 다른 곳은 상업적 이용을 금지하거나 원래의 창작자에게 출처를 밝힐 것을 요구합니다. 파일이 복사되거나 이동하거나 다른 것과 혼합될 때, 이러한 허가 조건들도 함께 따라가야 합니다. 만약 그렇지 않다면, 파일을 보유한 사람은 자신이 그것을 공유해도 되는지, 그것이 진정 어디에서 왔는지, 혹은 어떻게 만들어졌는지를 알 수 없습니다. 이러한 지식이 없다면, 연구의 전체 과정은 사실이 아닌 가설 위에 세워진 취약한 구조가 됩니다.

수년 동안 이러한 디지털 컬렉션에 대한 감사는 거시적인 관점에 집중해 왔습니다. 그들은 얼마나 많은 대규모 데이터셋이 명확한 규칙을 결-여하고 있는지 집계하며, 대부분의 주요 컬렉션에 필요한 서류가 누락되어 있다는 사실을 찾아냈습니다. 그러나 이러한 광범위한 점검은 실제로 단일 파일을 보유하고 있는 사람에게 가장 중요한 세부 사항들을 놓치는 경우가 많습니다. 이들은 컬렉션을 하나의 상자로 취급하며, 상자에 라벨이 붙어 있다면 그 안의 모든 항목이 동일한 규칙을 공유한다고 가정합니다. 하지만 실제로는 단일 데이터셋 안에 수십 개의 서로 다른 출처에서 온 파일들이 포함될 수 있으며, 각 파일은 고유한 이력과 법적 상태를 가집니다. 파일이 그 상자에서 추출되어 새로운 프로젝트에 사용될 때, 외부의 커다란 라벨은 더 이상 전체 이야기를 설명해주지 못합니다.

독립 연구자인 유겐 스피바크(Eugen Spivak)의 최근 연구는 초점을 '상자'에서 그 안의 '개별 항목'으로 옮깁니다. 이 연구는 단순하지만 어려운 질문을 던집니다. 증거는 실제로 어디에 존재하는가? 파일의 출처와 허가에 대한 증거가 전체 컬렉션 수준에서 기록되는가, 아니면 각 특정 파일별로 기록되는가? 이에 답하기 위해, 연구자는 머신러닝에서 디지털 보존에 이르는 다양한 분야에서 사용되는 29개의 공개 데이터 컬렉션을 조사했습니다. 이 컬렉션들은 공간 절약을 위해 데이터를 압축하는 그룹, 인공지능을 훈련시키는 그룹, 그리고 디지털 형식을 장기적으로 보존하는 그룹 등 서로 다른 커뮤니티를 대표하도록 선정되었습니다. 또한 연구는 데이터의 기술 방식(rulebooks and templates)을 검토하여, 이들이 무엇을 기록할 수 있는지 확인하기 위해 17개의 서로 다른 표준과 프레임워크를 검토했습니다.

조사 결과, 가능한 영역과 실제로 일어나고 있는 일 사이에는 상당한 격차가 있음이 드러났습니다. 메타데이터 표준이라 불리는 이 규칙들은 놀라울 정도로 유능합니다. 많은 표준이 이미 단일 파일에 특정 허가, 출출처 링크, 또는 디지털 지문을 첨부할 수 있는 기술적 능력을 갖추고 있습니다. 일부 표준은 파일에 대한 검토 기록이나 파일이 어떻게 생성되었는지에 대한 기록까지도 남길 수 있습니다. 그러나 연구는 이러한 기능들이 거의 사용되지 않고 있다는 사실을 발견했습니다. 조사된 29개의 컬렉션 중, 컬렉션 자체에 대한 영구적이고 고유한 식별자를 보유한 것은 단 하나도 없었습니다. 이는 연구자들이 몇 년 후에도 정확한 버전의 데이터를 찾을 수 있게 해주는 도구입니다. 29개 컬렉션 중 오직 5개만이 각 개별 파일에 대한 구체적인 허가 사항을 기록했습니다. 대부분의 경우, 허가 조건은 아예 누락되어 있거나, 컴퓨터가 읽을 수 없는 일반 텍스트로 작성되어 있거나, 내부 파일들의 차이와 상관없이 전체 컬렉션에 일괄 적용되어 있었습니다.

연구자는 또한 이러한 기록을 확인하기 위해 설계된 도구들이 실제로 작동하는지 테스트했습니다. 설령 파일에 표준 형식의 허가 사항이 첨부되어 있다 하더라도, 해당 기록을 검증하는 데 사용되는 소프트웨어는 이를 무시하는 경우가 많았습니다. 예를 들어, 한 인기 있는 표준은 파일이 고유한 라이선스를 가질 수 있도록 허용하지만, 파일을 점검하는 소프트웨어는 그 라이선스가 유효한지, 혹은 실제 존재하는 라이선스인지조차 확인하지 않습니다. 소프트웨어는 그저 그곳에 있는 텍스트를 그대로 받아들일 뿐입니다. 이는 기술적으로 문제를 해결할 방법이 존재함에도 불구하고, 규칙을 집행하는 도구들이 아직 이를 사용할 준비가 되어 있지 않은 상황을 만듭니다. 연구는 누락된 조각이 표준의 어휘력이나 역량 부족이 아니라, 채택의 부재와 신뢰할 수 있는 검증 도구의 부재라고 결론지었습니다.

이러한 더 나은 시스템이 가능하다는 것을 입증하기 위해, 연구자는 작고 실용적인 툴킷을 구축했습니다. 이 키트는 제작자가 컬렉션 내 모든 파일에 대해 크기, 고유한 디지털 지문, 출처, 그리고 특정 허가 사항을 기록한 간단한 목록을 만들 수 있게 해줍니다. 그런 다음 이 목록을 표준 소프트웨어가 읽을 수 있는 형식으로 변환합니다. 세 가지 다른 유형의 데이터 컬렉션에 테스트했을 때, 이 키트는 알려진 것, 알려지지 않은 것, 그리고 규칙이 충돌하는 지점을 성공적으로 기록했습니다. 이는 비록 작업에는 노력이 필요하지만, 충분히 관리 가능한 수준임을 보여주었습니다. 비용은 수백만 개의 파일을 처리하는 데 드는 것이 아니라, 다양한 출처와 변환 과정을 거치며 정보를 수집하는 데 필요한 인간의 시간에 달려 있습니다.

연구 결과는 해결책이 관점의 전환에 있음을 시사합니다. 데이터셋에 붙은 단 하나의 라벨이 모든 것을 커버해주기를 기대하는 대신, 연구자들은 파일이 실제로 사용되는 수준에서 증거를 기록해야 합니다. 이는 파일이 어디로 이동하든 상관없이, 각 파일에 특정 기록을 부착해야 함을 의미합니다. 이 연구는 이를 실현하기 위한 9가지 구체적인 권고 사항을 제시합니다. 데이터 컬렉션의 창작자들에게는 배포하는 모든 파일에 대해 상세한 목록을 발행할 것을 요구합니다. 컬렉션을 호스팅하는 플랫폼에는 창작자의 기록을 자신들의 일반적인 요약본으로 덮어쓰지 말 것을 요청합니다. 기술 표준의 유지 관리자들에게는 도구가 이러한 파일 수준의 세부 사항을 실제로 확인할 수 있도록 업데이트할 것을 촉구합니다. 마지막으로, 과학 논문의 검토자들에게는 연구를 승인하기 전에 이 다섯 가지 핵심 증거를 확인해 줄 것을 요청합니다.

앞으로 나아갈 길은 명확하지만 조율이 필요합니다. 모든 파일의 이력과 허가를 추적하는 기술은 이미 규칙(standard) 안에 존재합니다. 과제는 데이터를 만드는 사람, 이를 호스팅하는 플랫폼, 그리고 이를 점검하는 도구가 모두 이를 사용하기로 합의하는 것입니다. 증거를 데이터의 일반적인 설명에서 각 파일의 구체적인 기록으로 옮김으로써, 과학계는 오늘의 디지털 재료들이 내일의 발견을 위해서도 신뢰할 수 있고, 사용 가능하며, 법적으로 건전하게 유지될 수 있도록 할 수 있습니다. 이 연구는 데이터 라이선싱 문제를 해결했다고 주장하는 것이 아니라, 증거가 정확히 어디에 위치하는지를 파악하고, 그 간극이 가능성의 문제가 아니라 실행의 문제임을 보여준 것입니다.