The ICSE 2026 Shadow PC: Training the Next Generation of Reviewers Through Deliberate Practice

거대한 규모의 고위험 "동료 심사(peer review)" 게임을 상상해 보십시오. 과학자들이 자신들의 최고의 연구 성과를 심사위원단에 제출하는 게임입니다. 소프트웨어 공학의 세계에서도 새로운 아이디어를 테스트하고 승인하는 방식이 바로 이와 같습니다. 하지만 여기에는 함정이 있습니다. 대부분의 심사위원들은 실전에서 배우고 있다는 점입니다. 그들에게는 교육 매뉴얼이 없습니다. 그저 멘토로부터 좋은 조언을 얻기를 바라거나 다른 사람의 리뷰를 읽으며 배우기를 바랄 뿐입니다. 이는 마치 요리가 왜 맛있는지 혹은 맛이 없는지에 대해 직접 듣지도 못한 채, 그저 다른 사람들이 요리하는 것을 지켜보기만 하며 전문 셰프가 되려는 것과 같습니다. 여기서 핵심적인 질문은 이것입니다. 우리는 완전한 초보자를 숙련된 심사위원으로 변화시킬 수 있는 진정한, 구조화된 교육 프로그램을 구축할 수 있을까요? 그리고 이를 동시에 아주 많은 사람을 대상으로 수행할 수 있을까요?

이 논문은 과학 논문을 심사하는 법을 가르치는 거대한 실험인 ICSE 2026 Shadow PC의 이야기를 들려줍니다. 조직자들은 단순히 체크리스트를 나누어 준 것이 아닙니다. 그들은 심사를 **의도적 연습(deliberate practice)**이 필요한 스포츠처럼 다루었습니다. 이는 단순히 일주일에 한 번 경기를 치르는 팀이 아니라, 몇 주 동안 드릴(훈련)을 수행하고, 경기 영상을 분석하며, 코치로부터 즉각적인 피드백을 받고, 심지어 서로의 움직임을 비평하는 스포츠 팀을 생각하면 됩니다. 이 팀은 "섀도우(shadow)" 시스템을 사용했습니다. 즉, 훈련생들은 실제 심사위원들과 정확히 동일한 논문들을 심사했지만, 그들의 의견은 최종 결정에 반영되지 않았습니다. 이는 실수가 허용되며 오직 학습만이 목표인 안전한 "연습 경기장"을 만들어냈습니다.

결과는 놀라울 정도로 성공적이었습니다. 183명으로 시작된 프로그램에서 102명이 끝까지 완주하여 117편의 실제 논문을 심사했습니다. 훈련생들의 만족도는 매우 높았습니다. **97%**가 이 경험을 다른 이들에게 추천하겠다고 답했습니다. 심사 대상이 된 논문의 저자들조차 **67%**의 경우 피드백이 유익했다고 느꼈습니다. 이 연구는 시도하고, 실패하고, 교정받고, 다시 시도하는 구조적인 다단계 접근 방식을 사용함으로써, 대규모 인원을 유능한 심사위원으로 훈련할 수 있음을 시사합니다. 그러나 논문은 또한 장기간 모든 참여자의 몰입도를 유지하는 것이 까다로웠음을 언급하며, 향후 프로그램에는 흐름을 관리하고 에너지를 유지하기 위해 도와줄 "팀 주장"(Area Chair라고 불림)이 필요할 수 있다고 제안합니다.

문제점: 우연히 배우는 심사법

소프트웨어 연구의 세계에서 동료 심사는 문지기 역할을 합니다. 이는 전문가들이 새로운 논문을 읽고 그것이 출판될 만큼 충분히 좋은지 결정하는 과정입니다. 그런데 이 전문가들은 어떻게 심사법을 배울까요? 보통은 배우지 못합니다. 그들은 "암묵적으로", 즉 멋진 말로 표현하자면 '삼투압 현상'을 통해 스스로 터득합니다. 박사 과정 학생은 선임 교수로부터 혹독한 리뷰를 받고 "아, 내가 좀 더 비판적이어야겠구나"라고 생각하거나, 모호한 리뷰를 받고 혼란에 빠질 수 있습니다. 운이 좋은 일부 학생들은 직접적인 코칭을 받기도 하지만, 많은 이들에게 이는 추측의 영역입니다.

더 많은 사람이 논문을 제출함에 따라, 시스템은 더 많은 심사위원을 요청하는 요구에 잠겨가고 있습니다. 우리는 훌륭한 아이디어와 결함이 있는 아이디어를 구별할 줄 아는 더 많은 사람이 필요하지만, 그곳에 도달하는 명확한 경로가 없습니다. 이는 마치 1,000명의 새로운 소방관을 채용하려는 도시가, 소방 호스를 잡는 법을 가르쳐주는 대신 그냥 불타는 건물 속에 그들을 던져 넣고 스스로 배우기를 바라는 것과 같습니다.

해결책: "섀도우" 체육관

이 논문의 저자들은 Shadow PC(Program Committee)를 만드는 것으로 이 문제를 해결하기로 했습니다. 메인 PC가 공식 올림픽 심사위원이라면, Shadow PC는 바로 옆에 있는 "훈련 캠프"입니다. 훈련생들(주로 박사 과정 학생이나 신임 교수와 같은 초기 경력 연구자들)은 실제 심사위원들과 똑같은 논문들을 심사했지만, 별도의 안전한 공간에서 진행했습니다. 그들의 리뷰는 합격 여부를 결정하지 않았으며, 단지 연습을 위한 것이었습니다.

여기서 핵심적인 혁신은 의도적 연습이었습니다. 단순히 "여기 논문이 있으니 리뷰를 쓰세요"라고 말하는 대신, 이 프로그램은 비디오 게임의 레벨처럼 설계되었습니다. 이는 무언가를 시도하고, 자신이 그것을 잘 못 한다는 것을 깨닫고, 구체적인 피드백을 받은 뒤, 다시 시도할 때 가장 잘 배운다는 아이디어에 기반을 두었습니다.

훈련 캠프의 작동 방식

프로그램은 특정 기술을 가르치기 위해 설계된 여러 단계로 나뉘었습니다.

1. "먼저 시도하기" 단계 (지시 전 생성):
   보통 선생님들은 규칙을 먼저 알려준 뒤 시작합니다. 이 프로그램은 그 반대로 했습니다. 참가자들은 어떤 체크리스트나 가이드라인을 받기 전에 리뷰를 작성하도록 요청받았습니다. 왜일까요? 무엇을 놓치고 있는지 모른다면 배우기가 어렵기 때문입니다. 먼저 시도해 봄으로써 그들은 "아, 이런 것을 확인해야 한다는 것조차 몰랐구나!"라는 것을 깨달았습니다. 이는 그들의 "무의식적 무능"(자신이 무엇을 모르는지조차 모르는 상태)을 "의식적 무능"(배워야 할 것이 무엇인지 아는 상태)으로 바꾸어 놓았습니다.

2. "대조" 단계 (교정):
   무엇이 "좋은" 논문인지를 가르치기 위해, 그들에게 두 편의 특별한 논문이 주어졌습니다. 하나는 이미 최고 컨퍼런스에 통과된 논문이었고, 다른 하나는 명백한 결함이 있도록 비밀리에 편집된 탈락된 논문이었습니다. 훈련생들은 두 논문을 모두 심사해야 했습니다. 그 후, 그들은 전문가들이 이 논문들을 어떻게 리뷰했는지 확인했습니다. 이를 통해 "결함이 있지만 좋은" 논문과 "망가진" 논문의 차이를 이해하게 되었고, 판단력을 날카롭게 다듬었습니다.

3. "피드백 루프" (리뷰에 대한 동료 심사):
   한 명의 교사가 모든 사람을 채점하기에는 인원이 너무 많았기 때문에, 훈련생들은 서로의 리뷰를 채점했습니다. 이는 "가르치는 것이 배우는 가장 좋은 방법"이라는 아이디어에 기초합니다. 타인의 리뷰를 비평함으로써, 그들은 무엇이 좋은 리뷰를 만드는지에 대해 깊이 생각해야 했고, 이는 자신의 리뷰를 개선하는 데 도움이 되었습니다.

4. "실전" 단계:
   모든 훈련을 마친 후, 그들은 스스로 세 편의 실제 논문을 배정받아 심사했습니다. 그런 다음, 그룹과 함께 이 논문들에 대해 토론하고, 실제 심사위원들이 하는 것처럼 "메타 리뷰"(그룹의 의견을 요약한 것)를 작성했습니다.

5. "디브리핑" (공개):
   마지막으로, 그들은 동일한 논문에 대해 실제 심사위원들이 어떻게 생각했는지 확인할 수 있었습니다. 그들은 자신의 리뷰를 공식 리뷰와 비교하며, 어디에서 일치했고 어디에서 놓쳤는지를 확인할 수 있었습니다.

결과: 효과가 있었는가?

실험은 성공적이었지만, 성장통도 있었습니다.

• 규모: 183명이 신청했습니다. 그중 102명이 프로그램 전체를 마쳤습니다. 한꺼번에 이렇게 많은 사람이 배우는 것입니다!
• 리뷰: 이 훈련생들은 117편의 논문을 심사했습니다.
• 판결: 참가자의 **97%**가 이 경험을 다른 이들에게 추천하겠다고 답했습니다. 그들은 많은 것을 배웠고 새로운 관점을 얻었다고 느꼈습니다.
• 저자 피드백: 논문의 저자들에게 훈련생들의 리뷰가 유익했는지 물었습니다. **67%**가 그렇다고 답했습니다. 더욱 흥미로운 점은, 저자의 **63%**가 훈련생들의 리뷰가 공식 심사위원들의 의견과 일치한다는 점을 알아차렸다는 것인데, 이는 훈련이 실제로 전문가들의 사고방식과 일치하도록 만드는 데 효과가 있었음을 의미합니다.
• "보수적" 편향: 훈련생들은 실제 심사위원들보다 조금 더 신중했습니다. 그들은 논문을 더 자주 탈락시켰고, "주요 수정(major revisions)"을 더 자주 요구했습니다. 저자들은 이것이 훈련생들이 나중에 논문이 수정되었을 때 다시 읽어야 하는 번거로움을 겪을 필요가 없기 때문에 더 엄격했다는 점 때문이라고 설명합니다.

문제점과 향기로운 계획

완벽하지는 않았습니다. 가장 큰 과제는 사람들의 참여를 유지하는 것이었습니다. 프로그램은 약 3개월간 지속되었는데, 종료 시점이 다가오자 특히 토론 단계에서 참여를 중단하는 사람들이 생겼습니다. 그룹이 정체될 때 조직자들이 개입하여 최종 요약을 작성해야 하는 상황도 발생했습니다.

저자들은 다음을 위한 몇 가지 해결책을 제안합니다:

• 더 많은 "팀 주장": 그들은 "Shadow PC Area Chair"라고 불리는 새로운 역할을 제안합니다. 이들은 숙련된 훈련생으로서 소규모 리뷰어 그룹을 관리하고, 토론을 진행하며, 도움을 주는 역할을 합니다. 이는 또한 하나의 커리어 사다리를 만듭니다: 훈련생 $\rightarrow$ 팀 주장 $\rightarrow$ 실제 심사위원.
• 더 나은 동기화: 라이브 미팅은 좋았지만 너무 짧았습니다. 그들은 미팅 시간을 늘리고, 다른 시간대에 있는 사람들을 위해 녹화본을 제공할 것을 제안합니다.
• 커뮤니티: 그들은 이를 과거 참가자들이 돌아와 다음 그룹을 돕는 영구적인 클럽으로 만들어, 자립적인 커뮤니티를 구축하고자 합니다.

시사점

ICSE 2026 Shadow PC는 초보자에서 시작하더라도 사람들에게 훌륭한 과학적 심사위원이 되는 법을 가르칠 수 있음을 입증했습니다. 시도하고, 실패하고, 피드백을 받고, 다시 시도하는 구조적이고 연습 중심적인 접근 방식을 사용함으로써, 대규모 인원을 높은 수준으로 훈련할 수 있습니다. 이는 단순히 더 많은 리뷰어를 만드는 것이 아닙니다. 품질을 판단할 줄 아는 리더의 파이프라인을 구축하여, 소프트웨어 연구의 미래가 강력하고 공정하게 유지되도록 하는 것입니다. 논문은 우리가 이 "훈련 캠프" 모델을 계속해서 개선한다면, 품질을 희생하지 않으면서도 좋은 리뷰어 부족 문제를 해결할 수 있다고 시사합니다.