Visible, Trackable, Forkable: Opening the Process of Science

논문 개요

이 논문은 현재 과학 연구가 수행되는 방식이 '결론'만 공개하고 '과정'을 숨긴다는 점을 지적합니다. 저자는 소프트웨어 개발 분야에서 수십 년간 성공적으로 적용되어 온 워크플로우 (가시성, 추적 가능성, 포크 가능성) 를 과학 연구에 도입해야 한다고 주장하며, 이를 통해 과학의 진전 속도, 신뢰성, 확장성을 획기적으로 개선할 수 있음을 논증합니다.

1. 문제 정의 (The Problem)

현재 과학계의 워크플로우는 '종단적 인공물 (Terminal Artifact)' 중심의 구조를 가지고 있습니다.

• 비공개 과정: 연구자들은 수개월에서 수 년 동안 비공개로 작업하며, 실패한 시나리오, 수정된 오류, 방법론적 트레이드오프, 중간 결론 등 사고의 과정은 모두 폐기되거나 공개되지 않습니다. 최종적으로 다듬어진 논문 (Paper) 만이 공개 기록에 남습니다.
• 오류의 재앙화: 실수가 발견되면 '철회 (Retraction)'라는 극단적인 조치가 취해지며, 이는 연구자의 경력에 치명적인 타격을 줍니다. 소프트웨어의 '패치 (Patch)'와 같은 점진적 수정 메커니즘이 부재합니다.
• 재현성 위기: 완성된 논문의 서술만으로는 연구 과정을 재현하기 어렵습니다. 중간 단계의 데이터 처리 결정, 매개변수 선택, 버려진 경로 등이 누락되어 있어, 독립적인 재현이 불가능하거나 매우 어렵습니다.
• 기여도 평가의 한계: 기여도는 '논문 저자 순위'와 '인용 수'라는 거친 지표로만 측정됩니다. 오류 수정, 부정적 결과, 아이디어 제안 등 완성된 논문을 만들지 않은 중요한 기여는 평가받지 못합니다.
• 이견의 불투명성: 연구 간 이견이 있을 때, 서로 다른 가설을 가진 연구팀이 경쟁하는 논문을 발표합니다. 두 접근법이 어디서 어떻게 갈라졌는지에 대한 공유된 기록이 없어, 이견의 구조가 불투명합니다.

2. 방법론 및 제안된 프레임워크 (Methodology & Proposed Framework)

저자는 과학의 워크플로우를 소프트웨어 개발 (특히 오픈소스) 의 워크플로우와 비교하여, 과학이 결여된 세 가지 핵심 속성을 도입할 것을 제안합니다.

1. 가시성 (Visible):

   • 연구의 과정 자체가 공개되어야 합니다. 단순히 최종 결과물 (논문, 데이터, 코드) 만이 아니라, 질문의 형성, 해석, 실패한 시도, 방향 전환 등 사고의 흐름이 실시간으로 공개되어야 합니다.
   • 이는 투명성 의무가 아니라, 작업의 기본 방식 (Workflow) 으로 통합되어야 합니다.

2. 추적 가능성 (Trackable):

   • 모든 변경 사항, 결정, 수정이 기록되고 귀속 (Attributable) 되어야 합니다.
   • 소프트웨어의 버전 관리 시스템 (Git 등) 처럼, 누가, 언제, 무엇을, 왜 변경했는지의 이력이 상세히 남아야 합니다. 이를 통해 오류 발생 시 언제, 어떻게 도입되었는지 추적할 수 있습니다.

3. 포크 가능성 (Forkable):

   • 누구나 작업의 어느 시점에서도 분기 (Branching) 하여 다른 방향을 추구할 수 있어야 합니다.
   • 분기된 작업은 공유된 이력을 유지하며, 두 접근법의 차이점과 공통점이 명확히 드러나야 합니다. 이는 경쟁적인 논문 발표가 아닌, 구조적 이견 해결 메커니즘으로 작용합니다.

핵심 통찰: 검증 (Verification) 은 별도의 감시 활동이 아니라, 가시적이고 추적 가능한 과정의 자연스러운 결과물입니다. AI 에이전트나 자동화 도구를 통해 실시간 검증이 가능해집니다.

3. 주요 기여 및 기대 효과 (Key Contributions & Results)

이러한 워크플로우 전환은 다음과 같은 구조적 변화를 가져옵니다.

• 신뢰의 이동 (Authority to Evidence):
  • 신뢰의 근거가 '기관이나 저자의 권위'에서 '공개된 기록과 증거'로 이동합니다. 결론이 '진리'가 아니라 '현재 증거가 가리키는 방향'임을 명확히 하여, 과학적 업데이트 (예: 팬데믹 기간의 가이드라인 변경) 에 대한 대중의 불신을 해소합니다.
• 오류의 일상화 및 기여의 세분화:
  • 오류는 재앙이 아닌 '일상적인 버그'로 간주되어 수정됩니다. 저자 순위가 아닌, 실제 수행된 작업 (수정, 검토, 분석 등) 에 따라 기여도가 세분화되어 기록되고 인정받습니다.
• 평가 지표의 해체와 재형성:
  • h-index, 영향력 지수, 인용 수와 같은 기존 지표는 '논문'과 '인용'이라는 단위가 사라짐에 따라 무의미해집니다. 대신 '기여 그래프 (Contribution Graph)'와 '의존성 지도'가 새로운 평가 기준이 되어, 실제 수행된 업무의 질과 양을 더 정확하게 반영합니다.
• AI 와의 시너지:
  • 방대한 연구 기록 (커밋 히스토리, 논의 과정) 은 AI 에이전트가 분석하여 일반인이 이해하기 쉬운 서사로 변환할 수 있게 합니다. 이는 과학적 추론 과정을 대중이 직접 검증하고 이해할 수 있는 길을 열어줍니다.
• 시민 과학의 확장:
  • 데이터 수집을 넘어 연구 설계와 분석 과정에 시민 과학자가 참여할 수 있는 구조가 만들어집니다.

4. 반론 및 대응 (Objections & Responses)

• "과학은 소프트웨어가 아니다 (실험적 요소)": 실험실 작업의 물리적 요소 (터치, 냄새 등) 를 완전히 기록할 수는 없으나, 디지털화된 기록 (전자 실험 노트, 자동화 장비 로그) 이 증가하고 있으며, '완전한 기록'이 아니라 '현재 방식 (완성된 논문) 보다 훨씬 더 많은 과정 (70% 대 5%) 을 기록하는 것'이 훨씬 낫다는 논리입니다.
• "조작될 것이다 (Gaming)": 공개되고 감사 가능한 기록은 자기 보고식 이력서 (CV) 보다 조작하기 어렵습니다.
• "개인적 작업 공간이 필요하다": 소프트웨어 개발에서도 비공개 리포지토리에서 아이디어를 개발하다가 공개하는 방식이 표준입니다. 과학도 연구 초기에는 비공개로 진행하되, 결론을 공유할 때 그 과정 전체를 공개하는 것이 가능합니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문의 핵심은 플랫폼이나 도구의 도입이 아니라, 과학이 수행되는 '순서 (Flow)'의 변화에 있습니다.

• 구조적 혁신: 현재 과학의 '비공개 작업 $\rightarrow$ 완성된 결과물 발표 $\rightarrow$ 오류 시 철회'라는 흐름은 AI 시대에 더 이상 유효하지 않습니다. 대신 '가시적 작업 $\rightarrow$ 지속적 추적 $\rightarrow$ 이견 시 포크'라는 흐름으로 전환해야 합니다.
• 과학의 민주화: 이 모델은 오픈소스 소프트웨어의 성공 사례를 과학에 적용한 것으로, 참여의 확대, 품질 보증의 확장, 그리고 과학적 신뢰 회복을 가능하게 합니다.
• 미래 비전: 과학이 '결과물'을 개방하는 단계 (Open Access, Open Data) 를 넘어, '사고 과정' 자체를 개방하는 단계로 나아가야 함을 강조합니다. 이는 과학의 진전 속도를 가속화하고, 대중의 과학 이해를 심화시키는 필수적인 진화입니다.

요약: 이 논문은 과학의 투명성을 높이기 위해 단순히 데이터나 논문을 여는 것을 넘어, **연구의 사고 과정과 실패, 수정 이력까지 포함하는 '가시적, 추적 가능, 포크 가능한 워크플로우'**로의 전환을 강력히 주장합니다. 이는 소프트웨어 공학의 성공 사례를 과학에 적용하여 재현성 위기를 해결하고, 과학의 신뢰성과 혁신 속도를 높이는 구조적 해결책을 제시합니다.