과학을 거대한 전 세계적 규모의 '전화기 놀이(Telephone)'라고 상상해 보세요. 하지만 단순히 줄을 따라 속삭임을 전달하는 것이 아니라, 과학자들이 전 세계를 가로질러 복잡한 아이디어와 실험을 전달하는 것입니다. 소프트웨어 공학 분야에서 연구자들은 문제를 해결하기 위해 도구를 만들고, 이론을 테스트하며, 코드를 작성합니다. 하지만 여기에는 함정이 있습니다. 단지 한 팀이 "이봐, 이 코드는 완벽하게 작동해!"라고 말한다고 해서, 그것이 다른 모든 사람에게도 똑같이 작동한다는 의미는 아니라는 점입니다. 바로 여기서 **재현(replication)**이 등장합니다. 재현은 마치 다른 친구 그룹에게 똑같은 규칙으로 같은 게임을 해보라고 요청하여 그들이 같은 점수를 얻는지 확인하는 것과 같습니다. 이것은 궁극적인 진실 확인 절차입니다. 첫 번째 팀이 승리하고 두 번째 팀도 승리한다면, 우리는 그 게임이 조작되지 않았다고 꽤 확신할 수 있습니다. 하지만 두 번째 팀이 패배하거나, 아주 다른 점수를 얻는다면, 우리는 질문해야 합니다. 그들이 잘못 플레이한 것일까요? 첫 번째 팀이 운이 좋았던 걸까요? 아니면 게임 자체가 똑같은 방식으로 두 번 플레이하기에 너무 까다로운 것일까요?

과학자들을 괴롭혀온 큰 질문은 이것입니다: 우리는 두 번째 팀이 실제로 "승리"했는지 아니면 "패배"했는지를 어떻게 결정할 것인가? 과거에는 심판이 직관에 따라, 혹은 단순히 점수판을 보고 "음, 충분히 근접했네, 그렇다고 치자"라고 말하며 "골!" 또는 "노 골!"을 외치는 것과 같았습니다. 하지만 명확한 규칙 책이 없다면, 심판 한 명은 경기를 성공이라고 부르고 다른 심판은 실패라고 부를 수 있으며, 심한 경우 점수가 동일함에도 불구하고 말입니다. 이는 어떤 게임을 다시 플레이할 가치가 있는지 알 수 없게 만들기 때문에, 신뢰할 수 있는 지식의 더미를 쌓는 것을 불가능하게 만듭니다.

위대한 스코어카드 미스터리

이 논문에서 주세페 데스테파니스(Giuseppe Destefanis), 마틴 셰퍼드(Martin Shepperd), 그리고 레이라 유세피(Leila Yousefi)는 소프트웨어 엔지니어들이 이러한 재현 게임을 어떻게 판단하고 있는지 그 미스터리를 풀기 위해 탐정 역할을 하기로 했습니다. 그들은 새로운 게임을 발명한 것이 아닙니다. 그들은 단지 지난 몇 년간(구체적으로 2021년에서 2025년 사이에 발표된 연구들)의 스코어카드를 살펴보며 심판들이 자신의 업무를 어떻게 수행했는지 확인했을 뿐입니다.

그들은 이전의 소프트웨어 실험을 재현하려고 시도한 총 10개의 최근 연구를 발견했습니다. 그들이 스코어카드를 읽기 시작했을 때, 심판들이 매우 혼란스러운 규칙들을 사용하고 있다는 사실을 깨달았습니다. 그것은 마치 어떤 심판은 자를 사용하고, 어떤 심인은 매직 8볼(Magic 8-ball)을 사용하며, 어떤 심인은 플레이어들의 모습만 보고 추측하는 것과 같았습니다.

스코어보드의 혼돈
저자들은 이러한 연구들이 판단되는 방식이 매우 무질서하다는 것을 발견했습니다.

• "직관(Gut Feeling)"의 문제: 여러 사례에서 연구자들은 단순히 "전문가 판단"을 사용했습니다. 이것은 심판이 숫자나 이유를 설명하지 않고 "내가 경기를 봤는데, 승리인 것 같았다"라고 말하는 것과 같습니다. 10개의 연구 중 3개에서는 최종 판정의 이유가 명확하게 밝혀지지 않았습니다. 그것은 미스터리 박스였습니다!
• "뒤섞기(Mash-Up)"의 함정: 세 연구는 "이 특정 재현이 제대로 작동했는가?"라는 질문을 건너뛰고, 대신 원래의 게임과 새로운 게임의 모든 데이터를 하나의 커다 giant pot에 쏟아부어 평균을 내기로 결정했습니다. 저자들은 이를 "풀링(pooling)"이라고 부릅니다. 데이터를 섞는 것이 나중에 유용할 수는 있지만, 논문은 새로운 게임이 실제로 이전 게임과 일치했는지 확인하는 단계를 그냥 건너뛸 수는 없다고 주장합니다. 이것은 "이 새로운 플레이어가 잘하는지는 모르겠지만, 그들의 통계를 기존 팀과 섞으면 평균은 괜찮아 보인다!"라고 말하는 것과 같습니다.
• 누락된 도구들: 논문은 심판들이 사용할 수 있는 최선의 도구들을 사용하지 않았음을 지적합니다. 그들은 "예측 구간(prediction intervals)"(새로운 점수가 예상 범위 안에 들어오는지 확인하기 위해 스코어보드에 안전 구역을 그리는 것과 같은 것)이나 "베이지안 방법(Bayesian methods)"(새로운 증거가 들어옴에 따라 자신의 믿음을 업데이트하는 세련된 방식)을 사용하지 않았습니다. 대신, 그들은 상황의 미묘한 차이를 놓칠 수 있는 단순한 "예/아니오" 체크에 의존하는 경우가 많았습니다.

판결은 제각각이었습니다
저자들이 이 10개 연구의 최종 결과를 살펴보았을 때, 답변은 혼란스러웠습니다:

• 5개 연구는 재현이 "부분적"이거나 "혼합되었다"고 말했습니다.
• 2개는 "성공"이라고 했습니다.
• 1개는 "실패"라고 했습니다.
• 1개는 "결론을 내릴 수 없음"이라고 했습니다.
• 1개 연구는 11번의 새로운 실험을 수행했음에도 불구하고 최종 판정을 내리지조차 않았습니다!

저자들이 발견한 가장 큰 문제는 게임이 시작되기 전에 명확한 규칙이 작성되지 않는다면, "성공"이 진짜인지 아니면 그저 운 좋은 추측인지 알 방법이 없다는 것이었습니다. 예를 들어, 한 연구는 전문가가 그렇게 느꼈다는 이유만으로 재현이 성공적이라고 주장했지만, 어떤 숫자가 실패를 의미할지에 대해서는 말하지 않았습니다. 또 다른 연구는 두 숫자를 비교했지만, 얼마나 가까워야 일치하는 것으로 간주할지에 대해서는 언급하지 않았습니다.

새로운 규칙 책

이러한 혼란 때문에, 저자들은 스코어카드를 고치기 위한 새로운 네 가지 원칙을 제안합니다. 그들은 이 문제를 완전히 해결했다고 말하는 것이 아니라, 상황을 더 공정하게 만들기 위한 출발점을 제공하는 것입니다.

1. 규칙을 먼저 작성하라: 결과를 보기 전이라도, 무엇이 승리이고 무엇이 패배인지 정확하게 적어야 합니다. 점수가 마음에 든다고 해서 게임이 끝난 후에 규칙을 결정해서는 안 됩니다.
2. "승리"뿐만 아니라 "적합성"을 확인하라: 단순히 "높은 점수를 얻었는가?"라고 묻는 대신, "새로운 점수가 기존 점수의 안전 구역 안에 들어오는가?"라고 물으십시오. 이것은 결과가 통계적으로 유의미한지 여부가 아니라, 결과가 서로 호환 가능한지를 보는 것입니다.
3. 확인 단계를 건너뛰지 마라: 새로운 실험이 실제로 작동했는지 확인하는 힘든 작업을 피하기 위해 모든 데이터를 그냥 섞어버려서는(pooling) 안 됩니다. 반드시 개별 게임을 먼저 확인해야 합니다.
4. "모르겠다"고 말해도 괜찮다: 데이터가 너무 모호하거나 숫자의 범위가 너무 넓다면, 억지로 "성공"이나 "실패" 판정을 내리기보다 "결론을 내릴 수 없음"이라고 말하는 것이 더 낫습니다. 불확실성을 인정하는 것이 모르는 것을 아는 척하는 것보다 더 정직합니다.

이것이 어떻게 작동하는지 보여주기 위해, 저자들은 한 혼란스러운 연구(전문가가 단순히 "그것은 작동했다!"라고 말했던 연구)를 가져와 자신들의 새로운 규칙을 사용하여 재평가했습니다. 새로운 시스템 하에서는, 원래의 연구가 규칙이나 숫자를 명시하지 않았기 때문에, 판정은 "성공"에서 "결론을 내릴 수 없음"으로 바뀔 것입니다. 이것은 실험이 실패했다는 뜻이 아니라, 아직 그것이 작동한다고 말할 수 있는 충분한 정보가 없다는 뜻입니다.

결론

논문은 현재 소프트웨어 공학의 재현이 마치 심판들이 즉석에서 규칙을 만들어가는 게임와 같다고 결론짓습니다. 규칙을 미리 작성하고, 호환성을 확인하며, 불확실성에 대해 정직해지는 이러한 새로운 원칙들을 채택함으로써, 우리는 모두가 신뢰할 수 있는 지식의 더미를 쌓기 시작할 수 있습니다. 저자들은 자신들이 단 10개의 연구만을 살펴보았음을 인정하며, 이것은 최종적인 답이 아니라 대화의 시작일 뿐이라고 말합니다. 하지만 우리가 사용하는 소프트웨어 도구와 이론이 진정으로 신뢰할 수 있는 것인지 알고 싶다면, 추측을 멈추고 명확하고 공유된 규칙 책에 따라 플레이해야 합니다.