Report on reproducibility in condensed matter physics

이 보고서는 2024 년 5 월 피츠버그 대학교에서 열린 학계, 정부 연구소, 언론, 법률 전문가 및 출판사 대표 등 다양한 이해관계자들의 협의를 바탕으로, 응집물질 물리학 분야의 연구 재현성 및 재현 가능성을 강화하기 위한 전 과정의 모범 사례와 정책 권고안을 제시합니다.

핵심

🍕 비유: "세계 최고의 피자 레시피" 이야기

상상해 보세요. 어떤 과학자가 "세상에서 가장 맛있는 마법 피자를 만들었다!"라고 발표했다고 합시다. 그 피자는 먹으면 날아다닐 수 있다고 합니다.

1. **문제 상황 **(재현성 위기)
   다른 과학자들이 그 피자를 따라 해보려는데, 어떻게 만들었는지 레시피가 불완전합니다. "소금 약간", "불은 적당히", "재료는 특별한 것" 정도만 적혀 있고, 정확한 온도나 시간, 재료의 브랜드는 없습니다.

   • 결과: 다른 사람들이 따라 해보려 해도 실패합니다. "아마 그 과학자만 특별한 비법을 알고 있나 보다"라고 생각하게 되죠.
   • 하지만 진짜 문제는, 그 피자가 사실은 날아다니지 않거나, 아예 존재하지 않았을 수도 있다는 것입니다.

2. 왜 이런 일이 생길까요?

   • 스타가 되고 싶은 욕심: 과학계도 연예계처럼 '놀라운 발견'을 한 사람이 스타가 됩니다. 그래서 "우리가 발견한 게 정말 대단하다!"라고 과장해서 발표하려는 유혹이 생깁니다.
   • 검증의 어려움: 피자를 다시 만들어 보려면 돈과 시간이 많이 듭니다. 그래서 "실패한 연구"는 발표하기 어렵고, "성공한 (혹은 과장된) 연구"만 쏟아집니다.
   • 비밀 유지: "내 비법을 알려주면 남들이 따라 할까 봐" 데이터를 숨기는 경우도 있습니다.

📝 이 보고서가 말하는 핵심 내용

이 보고서는 2024 년 피츠버그 대학교에서 열린 회의에서 물리학자, 출판사, 정부 관계자, 변호사 등 다양한 전문가들이 모여 **"과학의 신뢰를 어떻게 되찾을 것인가?"**를 논의한 결과물입니다.

1. 과학도 '신뢰'가 없으면 무너집니다

물리학은 "자연의 법칙은 변하지 않으니 실험은 누구나 똑같이 할 수 있다"라고 믿어 왔습니다. 하지만 현실은 다릅니다.

• 데이터가 숨겨져 있거나,
• 분석 방법이 불투명하거나,
• 실수가 숨겨져 있거나
  하면, 그 과학적 발견은 '진짜'가 아닙니다. 최근 '상온 초전도체'나 '마요라나 입자' 같은 핫한 주제들에서 많은 연구가 다시 확인되지 않거나 취소 (Retraction) 된 사례가 늘고 있습니다.

2. 해결책: "모든 것을 투명하게 공개하자" (Open Science)

이 보고서에서는 과학자들이, 출판사가, 정부가 다음과 같이 변해야 한다고 제안합니다.

**👨‍🔬 과학자 **(연구자)

• 완전한 레시피 공개: "소금 약간"이 아니라 "소금 3.5g, 25 도"처럼 모든 실험 데이터와 분석 코드를 공개해야 합니다.
• 모든 결과 공개: "좋은 결과"만 골라서 보여주는 게 아니라, 실패한 데이터나 다른 해석 가능성도 함께 공개해야 합니다. (예: "이 피자는 날아다니지 않았지만, 맛은 좋았습니다"라고 솔직하게 말하기)
• 동료 검토: 논문 발표 전, 팀원 모두가 원본 데이터를 직접 확인하고 분석을 재현해 볼 수 있어야 합니다.

**📰 출판사 **(저널)

• 화려함보다 진실: "대박 난다!"는 제목보다 "데이터가 확실한가?"를 더 중요하게 평가해야 합니다.
• 재현 실험도 환영: "그 논문은 틀렸습니다"라고 반박하는 연구나, "그 실험을 다시 해봤는데 안 됩니다"라는 연구도 적극적으로 받아주어야 합니다.
• 데이터 공개 의무화: "데이터는 요청하면 줄게요"라는 말은 금지하고, 논문과 함께 모든 데이터를 공개된 곳에 올려야 합니다.

**🏛️ 대학과 정부 **(지원 기관)

• 평가 기준 바꾸기: 논문 수나 인용 횟수만 보고 승진이나 지원을 결정하지 말아야 합니다. "데이터를 투명하게 공개했는가?"가 더 중요한 평가 기준이 되어야 합니다.
• 실패한 연구도 지원: 남들이 안 해본 것을 검증하려는 '재현 연구'에도 돈을 지원해야 합니다.
• 고발자 보호: 과학적 부정을 지적하는 젊은 연구자나 학생을 보호해 주어야 합니다.

🌟 결론: 과학은 혼자 하는 게 아니라, 함께 검증하는 것입니다

이 보고서는 과학이 "신비로운 마법"이 아니라, 누구나 따라 해보고 검증할 수 있는 투명한 과정이어야 한다고 강조합니다.

"진짜 과학은 비밀을 숨기는 게 아니라, 모든 것을 공개해서 누구나 다시 만들어 볼 수 있게 하는 것입니다."

이러한 변화가 일어나야만, 우리가 사용하는 스마트폰, 의료 기기, 그리고 미래의 에너지 기술들이 '진짜'로 안전하고 신뢰할 수 있게 될 것입니다. 과학계는 이제 '화려한 뉴스'보다는 '단단한 진실'을 추구하는 문화로 바뀌어야 합니다.

기술 요약

1. 문제 제기 (The Problem)

• 재현성 위기의 존재: 사회과학 및 생명과학 분야에서 이미 확인된 '재현성 위기 (Replication Crisis)'가 응집물질 물리학 분야에서도 심화되고 있습니다. 많은 연구 결과가 다른 연구자에 의해 검증되지 못하거나, 실험 조건이 불투명하여 재현이 불가능한 상태입니다.
• 원인:
  • 인센티브 구조의 왜곡: 획기적이고 놀라운 (Novel) 결과를 발표하는 것이 학문적 성취와 자금 지원, 승진의 주요 기준이 되면서, 부정확하거나 과장된 주장이 선호됩니다. 이를 '역 오컴의 면도날 (Inverse Occam's Razor)' 현상이라고 부릅니다.
  • 데이터 및 방법론의 비공개: 연구자들이 원시 데이터 (Raw Data), 분석 코드, 실험 프로토콜을 공유하지 않거나, 공유하더라도 불완전한 형태 (예: PDF 내 표, 비벡터 이미지) 로만 제공합니다.
  • 검증 부재: 물리학은 자연법칙이 불변하므로 재현이 가능할 것이라는 낙관론이 지배적이었으나, 실제로는 실험 장비의 세밀한 차이, 샘플의 미세한 변이, 데이터 선택 편향 (Confirmation Bias) 등으로 인해 재현이 어렵습니다.
  • 부정행위와 오류: 데이터 조작, 체리피킹 (Cherry-picking), 해석 오류 등이 발생하지만, 이를 시정하거나 재tracted (철회) 하는 절차가 복잡하고 느립니다.

2. 방법론 (Methodology)

이 보고서는 단일 실험 연구가 아니라, 정책 및 문화적 개선을 위한 합의 도출 과정을 기반으로 합니다.

• 다학제적 협력: 응집물질 물리학 연구자, 저널 편집자, 정부 프로그램 관리자, 과학 저널리스트, 법률 전문가 등이 참여했습니다.
• 컨퍼런스 및 워크숍: 2024 년 5 월 피츠버그에서 3 일간 개최된 컨퍼런스에서 7 시간 이상의 그룹 토론을 진행했습니다.
• 사례 연구 분석: 고압 초전도, 비전통적 초전도, 마요라나 제로 모드, 밀도 범함수 이론 (DFT) 등 최근 재현성 논란이 있었던 구체적인 사례들을 검토했습니다.
• 현행 정책 분석: NSF(미국 국립과학재단), NASEM(미국 국립과학·공학·의학원) 의 보고서, 주요 출판사 (Nature, Science, APS 등) 의 정책을 비교 분석하여 격차를 파악했습니다.

3. 주요 기여 및 권고 사항 (Key Contributions & Recommendations)

보고서는 연구자, 출판사, 대학/연구기관, 자금 지원 기관 등 4 가지 주체별로 구체적인 행동 강령을 제시합니다.

A. 응집물질 연구자를 위한 모범 사례 (Best Practices)

1. 완전한 파라미터 범위 보고: 실험 또는 이론적 연구에서 탐색한 모든 파라미터의 범위를 명시해야 합니다.
2. 전체 저자의 데이터 접근 권한: 논문 출판 전 모든 공저자가 원시 데이터와 분석 코드를 검토하고 재현할 수 있어야 합니다.
3. 충분한 재현 정보 제공: 논문, 부록, 보충 자료에 실험 장비 모델, 소프트웨어 버전, 라이브러리 등 재현에 필요한 모든 정보를 포함해야 합니다.
4. 원시 데이터 공개: 가능한 모든 원시 데이터와 메타데이터를 인용 가능한 저장소 (Citable Repository) 에 공개해야 합니다.
5. FAIR 원칙 준수: 데이터가 검색 가능 (Findable), 접근 가능 (Accessible), 상호 운용 가능 (Interoperable), 재사용 가능 (Reusable) 하도록 노력하되, 불가능한 경우에도 현재 형태라도 공유해야 합니다.
6. 모든 데이터 표현 포함: 데이터 선택 편향을 방지하기 위해 모든 합리적인 데이터 표현 (선형/로그 스케일 등) 을 포함해야 합니다.
7. 데이터 처리 과정 명시: 원시 데이터부터 최종 그림까지의 모든 처리 단계와 스크립트를 공개해야 합니다.
8. 대체 해석 논의: 결과에 대한 모든 합리적인 대안적 해석을 논의하고, 왜 특정 해석이 선택되었는지 설명해야 합니다.
9. 샘플 수 보고: 테스트된 샘플의 수와 실패한 데이터 (Non-confirmatory samples) 에 대한 논의도 포함해야 합니다.
10. 코드 공개 정책: 내부 개발 코드는 출판 후 일정 기간 (Embargo) 을 두거나 공개 저장소에 업로드하는 정책을 수립해야 합니다.

B. 과학 출판사를 위한 권고

1. 과학적 타당성 우선: 주관적인 매력 (Novelty) 보다 과학적 정확성과 데이터 품질을 심사 기준으로 삼아야 합니다.
2. 데이터 및 스크립트 의무화: "요청 시 제공"이 아닌, 인용 가능한 저장소에 완전한 데이터와 스크립트 공개를 의무화해야 합니다.
3. 재현 연구 수용: 재현 시도 (특히 부정적 결과 포함) 를 위한 새로운 논문 유형이나 섹션을 마련하고, 이를 적극적으로 수용해야 합니다.
4. 보충 자료 심사 강화: Supplemental Material 에 대한 구체적인 심사 기준을 마련해야 합니다.
5. 투명한 철회 정책: 재tracted 및 수정 절차의 투명성을 높이고, 지연을 최소화해야 합니다.

C. 대학 및 연구소 정책

1. 연구 산출물 재정의: 논문뿐만 아니라 데이터셋과 코드도 연구 성과로 인정해야 합니다.
2. 승진 기준 개선: 재현성 및 재현 가능성 실천을 승진 평가에 반영해야 합니다.
3. 출판 지표 탈피: 영향력 지수 (Impact Factor) 나 인용 수보다 연구의 내용과 질을 평가해야 합니다.
4. 부정행위 조사 강화: 내부 조사의 투명성을 높이고, 외부 전문가를 참여시켜 이해 상충을 방지해야 합니다.
5. 신원 폭로자 (Whistleblower) 보호: 연구 윤리에 문제를 제기하는 연구자 (특히 초급 연구자) 를 보호하는 체계가 필요합니다.

D. 정부 및 자금 지원 기관

1. 재현 연구 지원: 기존 결과를 재현하거나 검증하는 연구에 대한 전용 자금 지원을 확대해야 합니다.
2. 재현성 계획 의무화: 연구 제안서 (Grant Proposal) 에 재현성 및 재현 가능성 확보 계획을 포함하도록 요구해야 합니다.
3. 평가 및 보상: 재현성 있는 연구에 대해 평가하고 보상해야 합니다.
4. 부정행위 보고 의무화: 연구 기관이 자금 지원 기관에 부정행위 조사 결과를 투명하게 보고하도록 의무화해야 합니다.

4. 결과 및 현황 (Results & Findings)

• 현실적 장벽: 현재 대부분의 CMP 연구는 충분한 데이터나 코드 공유가 이루어지지 않아 즉시 재현이 불가능합니다.
• 위험 신호: 고온 초전도체, 마요라나 페르미온, LK-99 등 최근의 주요 주장들이 재현되지 않거나 철회되는 사례가 급증하고 있습니다.
• 인식 변화: 커뮤니티 내에서는 재현성 위기에 대한 인식이 높아지고 있으며, 부정적 결과 (Negative results) 나 재현 실패 사례에 대한 논의가 활발해지고 있습니다.
• 기술적 기반: 데이터 공유를 위한 기술적 인프라 (Zenodo, Figshare 등) 는 이미 구축되어 있으나, 문화적, 제도적 장벽이 해결되지 않았습니다.

5. 의의 및 중요성 (Significance)

• 과학적 건전성 확보: 재현성 확보는 과학적 결과의 신뢰성을 유지하고, 잘못된 연구가 축적되는 것을 방지하여 과학의 자정 능력을 회복하는 데 필수적입니다.
• 자원 효율성: 불필요한 추격 연구 (Chasing false leads) 를 줄이고, 공공 자금과 인력을 효율적으로 활용할 수 있습니다.
• 미래 기술 발전: 응집물질 물리학은 LED, 반도체, MRI 등 현대 기술의 기반입니다. 이 분야의 신뢰성이 훼손되면 미래 기술 혁신 (양자 컴퓨팅, 신소재 등) 의 속도가 둔화될 수 있습니다.
• 문화적 전환: 이 보고서는 단순한 기술적 지침을 넘어, '놀라운 발견'을 추구하는 기존 학문 문화를 '정확하고 투명한 검증'을 중시하는 문화로 전환하기 위한 로드맵을 제시합니다.

결론적으로, 이 보고서는 응집물질 물리학이 재현성 위기를 극복하고 지속 가능한 과학 발전을 이루기 위해 데이터 공유의 의무화, 평가 기준의 변화, 그리고 투명한 검증 문화의 정착이 시급하다고 강조합니다.