Research Artifacts in Secondary Studies: A Systematic Mapping in Software Engineering
이 논문은 2013 년부터 2023 년까지 발표된 537 개의 소프트웨어 공학 2 차 연구를 분석하여 연구 산출물 (research artifacts) 의 보고 비율이 여전히 낮지만 시간이 지남에 따라 개선되고 있음을 밝히고, 투명성과 재현성을 높이기 위해 2 차 연구에서 연구 산출물의 의무적 공개를 주장합니다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
🍳 1. 연구의 배경: "요리 레시피"가 필요한 이유
소프트웨어 공학 연구는 마치 새로운 요리를 개발하는 과정과 같습니다. 어떤 연구자가 "이런 새로운 요리 (소프트웨어) 가 맛있다"고 주장한다고 칩시다. 하지만 다른 사람들이 그 요리를 따라 해 볼 수 없다면, 그 주장이 진실인지 알 수 없죠.
- 연구 자료 (Artifact): 바로 그 요리의 정확한 레시피, 사용한 재료, 조리 도구입니다.
- 이 연구가 왜 중요한가?
- 재현성 (Reproducibility): 다른 요리사들이 똑같은 레시피로 같은 맛을 낼 수 있어야 합니다.
- 신뢰 (Trust): 레시피를 공개해야 "이 요리가 진짜로 맛있구나"라고 믿을 수 있습니다.
- 업데이트: 시간이 지나도 레시피를 바탕으로 요리를 더 발전시킬 수 있습니다.
- 자동화: 나중에 AI 가 이 레시피를 분석해서 더 좋은 요리를 자동으로 만들어낼 수도 있습니다.
🔍 2. 조사 방법: 10 년간의 "요리책"을 뒤지다
저희 연구팀은 2013 년부터 2023 년까지 출판된 **537 편의 소프트웨어 공학 리뷰 논문 (요리책)**을 샅샅이 뒤졌습니다.
- 질문: "이 요리책에 레시피 (연구 자료) 가 첨부되어 있는가?"
- 확인: 레시피가 있는지, 그리고 그 레시피가 **영구적으로 보관된 곳 (예: Zenodo, Figshare 같은 디지털 도서관)**에 저장되어 있는지 확인했습니다.
📊 3. 조사 결과: "아직은 부족하지만, 점점 나아지고 있어요"
결과는 다소 놀라웠지만 희망적이었습니다.
- 현재 상황 (31.5%): 조사한 요리책 10 권 중 약 3 권만 레시피를 공개했습니다. 나머지 7 권은 "맛있어요"라고만 말하고 레시피는 숨겨둔 상태였습니다.
- 시간의 흐름 (점점 좋아짐): 2013 년에는 3% 만 공개했지만, 2023 년에는 **62%**로 크게 늘어났습니다. 시간이 지날수록 연구자들이 레시피를 공개하는 경향이 강해지고 있다는 뜻입니다.
- 보관 장소의 문제 (가장 큰 문제):
- 레시피를 공개한 경우 중, **영구적인 디지털 도서관에 저장된 경우는 38.5%**에 불과했습니다.
- 나머지는 개인 홈페이지나 이메일 요청 ("요청하면 보내드림") 방식이었습니다.
- 비유: 개인 홈페이지에 레시피를 올리는 것은 집 앞 마당에 종이를 붙여두는 것과 같습니다. 몇 년 뒤에는 그 종이 (링크) 가 사라지거나, 집이 헐려서 (사이트가 닫혀서) 찾을 수 없게 됩니다. 반면, 영구 도서관 (DOI) 은 국가 도서관에 보관하는 것이므로 영원히 찾을 수 있습니다.
📈 4. 통찰: "누가, 언제, 왜?"
- 저널 (출판사) 의 차이: 어떤 학술지 (요리책 출판사) 는 레시피 공개를 매우 잘하고, 어떤 곳은 거의 안 합니다. 예를 들어, 'ACM Transactions' 같은 곳은 85% 가 공개하지만, 'Computer Science Review' 같은 곳은 7% 만 공개했습니다.
- 향상된 구조: 2023 년 논문 중 58% 는 "데이터 공개 여부"를 적는 전용 섹션을 만들었습니다. 하지만 문제는, 그 섹션에 **"데이터 없음"**이라고 쓰거나 **"요청 시 제공"**이라고만 적는 경우가 많다는 점입니다. 이는 마치 "레시피는 요청하면 보내드린다"고 하면서도, 실제로는 아무도 요청하지 않는 것과 같습니다.
💡 5. 결론과 제안: "모든 요리책에 레시피를 붙이자"
이 연구의 핵심 메시지는 다음과 같습니다.
- 공개는 필수입니다: 연구 논문을 쓸 때는 반드시 레시피 (연구 자료) 를 공개해야 합니다. 그래야 과학이 발전합니다.
- 영구 보관이 중요합니다: 레시피는 개인 블로그가 아니라, DOI(디지털 객체 식별자) 가 부여된 영구 도서관에 저장되어야 합니다. 그래야 10 년, 20 년 뒤에도 찾을 수 있습니다.
- 규칙을 만들어야 합니다: 학술지 편집자들은 연구자들에게 "레시피를 공개하지 않으면 논문을 실어주지 않겠다"는 규칙을 강제해야 합니다.
한 줄 요약:
"소프트웨어 연구자들이 자신의 '레시피'를 숨기지 않고, 영구 도서관에 깔끔하게 정리해 두어야만, 우리 모두 더 안전하고 신뢰할 수 있는 소프트웨어를 만들 수 있습니다."
이 연구는 현재 상황이 100% 완벽하지는 않지만, 해가 갈수록 투명해지고 있다는 점에서 매우 고무적이라고 평가하며, 앞으로는 100% 공개를 목표로 해야 한다고 강조합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.