이 논문은 2036 년의 미래에서 과거 (2025 년) 를 돌아보며 쓴 이야기입니다. 마치 100 년 뒤에 쓴 역사책처럼, "우리가 어떻게 혼란을 해결하고 더 나은 세상을 만들었는지"를 설명합니다.
핵심 내용은 **"과거의 논문 심사 방식이 너무 느리고 비효율적이어서 시스템이 붕괴될 뻔했는데, 우리가 과감하게 시스템을 뜯어고쳐서 다시 살려냈다"**는 것입니다.
아래는 어려운 용어 없이, 일상적인 비유로 풀어낸 설명입니다.
1. 문제: "지옥 같은 추첨 게임"과 " overflowing 쓰레기통"
2025 년 당시, 소프트웨어 연구자들은 큰 문제에 직면했습니다.
상황: 연구자들은 전 세계적으로 급격히 늘어났고, 인공지능 (LLM) 같은 새로운 기술이 쏟아져 나왔습니다. 하지만 논문을 심사하는 방식은 19 세기식 그대로였습니다.
비유: 마치 수천 명의 요리사들이 한 개의 좁은 식당 (저널) 에 몰려들어, 한 명의 미식가 (심사위원) 가 모든 요리를 맛봐야 하는 상황과 같았습니다.
결과:
운명 게임: 좋은 논문도 운이 나쁘면 거절당하고, 나쁜 논문도 운이 좋게 통과되는 '추첨 (Lottery)' 게임이 되었습니다.
지루한 반복: 심사위원들은 너무 바빠서 논문 내용을 제대로 읽지도 못하고, 연구자들은 "거절당하면 다른 식당 (저널) 으로 다시 보내자"며 같은 논문을 여러 군데로 돌리는 '식당 쇼핑'을 했습니다.
소모전: 좋은 아이디어를 찾아내는 데 쓰여야 할 에너지가, 불필요한 서류 작업과 반복된 심사에 다 소모되었습니다.
2. 해결책 6 가지: 시스템을 뜯어고친 6 가지 개혁
이 위기를 극복하기 위해 6 가지 핵심 개혁을 단행했습니다.
① 저널 연합 (The Journal Alliance): "서로 싸우지 않고 협력하자"
과거: 각 저널이 서로 경쟁하며 심사위원을 독점했습니다.
변화: 주요 저널들이 동맹을 맺었습니다.
비유: 각 식당이 따로따로 재료를 사지 않고, 하나의 대형 식자재 시장을 공유한 것입니다.
한 식당에서 거절된 논문의 심사 기록이 다른 식당으로 바로 넘어가서, 처음부터 다시 심사할 필요가 없게 되었습니다.
심사위원들의 노동을 '가시적인 경력'으로 인정해 주어, 자원봉사처럼 하던 일을 전문적인 업무로 인정받게 했습니다.
② 추첨제 도입 (The Lottery): "운명도 인정하자"
과거: 모든 논문을 꼼꼼히 읽으려다 지쳐버렸습니다.
변화:AI 가 먼저 빠르게 걸러내고, 그중 좋은 것만 인간이 심사하는 '추첨' 방식을 도입했습니다.
비유:공항 보안 검색과 같습니다.
위험해 보이는 짐 (나쁜 논문) 은 AI 가 바로 걸러내고, 의심스러운 짐만 사람이 자세히 검사합니다.
통과된 논문은 '일회성 심사'가 아니라, 저자와 심사위원이 대화하며 수정해 나가는 과정을 거칩니다.
③ 자동화 + 인간 (Review = Automatic + Manual): "로봇이 기초를, 사람이 영혼을"
과거: 인간이 코드 오류나 자료 누락 같은 기초적인 실수까지 찾아내느라 고생했습니다.
변화:AI 가 기초 검사 (구조적 게이트) 를 하고, 인간은 아이디어의 깊이를 평가합니다.
비유:공장 생산라인처럼 생각하세요.
로봇이 "이 부품이 구멍이 뚫려 있나?", "지침서가 있나?"를 0.1 초 만에 확인합니다.
인간 심사위원은 "이 부품이 얼마나 혁신적인가?"를 깊이 있게 생각합니다.
또한, 논문이 PDF 파일이 아니라 실행 가능한 코드로 제출되어야만 심사를 받습니다. (요리 레시피가 아니라, 실제로 요리된 요리를 맛보는 것과 같습니다.)
④ 대성당과 바자회 (Cathedrals & Bazaars): "속도에 따라 다른 길을"
과거: 모든 논문을 같은 기준으로, 같은 속도로 심사하려 했습니다.
변화: 연구의 목적에 따라 두 가지 문화로 나눕니다.
대성당 (Deep Science): 천천히, 깊이 있게, 완벽하게 연구하는 분야. (예: 10 년을 들여 만든 이론)
바자회 (Agile Science): 빠르게, 실용적으로, 도구 개발을 하는 분야. (예: 오늘 만든 유용한 앱)
비유:고급 레스토랑과 길거리 푸드트럭을 구분하는 것입니다. 푸드트럭에 미슐랭 3 성 심사 기준을 적용하면 다 망합니다. 각자의 장점을 인정하고 다른 방식으로 평가합니다.
⑤ 논문 해체 (Unbundling): "하나의 거대한 케이크를 잘라내자"
과거: 논문은 '동기, 방법, 결과'가 모두 들어있는 거대한 덩어리여야만 했습니다.
변화: 논문을 **조각조각 (모듈)**로 나누어 발표합니다.
아이디어만 좋은 논문, 방법론만 좋은 논문, 결과만 좋은 논문 등을 따로 발표할 수 있게 되었습니다.
비유:햄버거를 하나만 파는 게 아니라, 패티, 빵, 채소를 따로 팔 수 있게 한 것입니다. 필요한 사람만 필요한 부분을 사서 조합할 수 있습니다.
또한, 실무자들을 위해 논문 내용을 짧은 영상이나 요약으로 만들어 무료로 배포합니다. (논문은 도서관에, 요약은 길거리 광고판에)
⑥ 벤치마크 무덤 탈출 (Escaping the Benchmark Graveyard): "점수 올리기보다 새로운 길 찾기"
과거: 기존에 정해진 '시험 문제 (벤치마크)'에서 점수를 1% 만 더 올리면 좋은 논문으로 쳤습니다.
변화:실제 현실 문제를 해결하는지, 새로운 질문을 던지는지 평가합니다.
비유:경마장에서 같은 말 (데이터) 을 타고 같은 코스 (벤치마크) 를 달릴 때, 0.1 초만 더 빨리 달린다고 해서 영웅이 되는 게 아닙니다.
이제는 새로운 코스를 개척하거나, 새로운 말을 훈련하는 연구가 더 가치 있게 평가받습니다.
3. 결론: 우리가 배운 것
2036 년의 관점에서 보면, 2025 년의 위기는 필요한 교정이었습니다.
우리는 **"심사위원이 모든 것을 감시한다"**는 잘못된 신화를 버렸습니다.
대신 **"대화를 통해 신호를 강화한다"**는 새로운 방식을 만들었습니다.
핵심 메시지: 소프트웨어 공학은 더 이상 '논문 생산 기계'가 아니라, 진짜 과학적 커뮤니티로 돌아왔습니다.
이 모든 변화는 "우리가 서로 싸우는 것을 멈추고, 시스템을 재설계했을 때" 가능했습니다.
논문 개요
이 논문은 2036 년의 관점에서 2025 년 소프트웨어 공학 (SE) 학계의 출판 위기를 되돌아보고, 이를 해결하기 위해 지난 10 년간 이루어진 구조적, 문화적 개혁을 기록한 미래지향적 회고록입니다. 저자들은 (ASE, EMSE, IST, JSS, TOSEM, TSE 등 주요 저널의 편집진) 전통적인 동료 검토 (Peer Review) 시스템이 급증하는 논문 수와 LLM 같은 빠른 기술 발전에 대응하지 못하고 붕괴 위기에 처했다고 진단하며, 이를 극복하기 위한 6 가지 핵심 개혁 방안을 제시합니다.
1. 문제 제기 (Problem)
확장성 위기 (Scalability Crisis): 2025 년 기준, SE 학계는 논문 제출량이 급증하여 전통적인 동료 검토 시스템이 감당할 수 없는 '확장성' 위기에 직면했습니다. TOSEM 저널의 경우 연간 약 2,000 건의 제출이 있었으며, 이는 검토자 커뮤니티에 과도한 부하를 주었습니다.
동일한 검토의 무작위성 (Stochastic Lottery): AI 컨퍼런스 실험 및 SE 데이터 분석 결과, 동료 검토는 '실력 (Merit)'에 기반하기보다 '확률 (Stochastic)'에 기반한 '로또'와 같다는 것이 밝혀졌습니다. 독립적인 검토 팀 간에도 수용된 논문에 대해 50% 이상 이견이 존재합니다.
프라이스 법칙 (Price's Law) 과 자원 불균형: 과학적 기여의 50% 는 연구 인구의 제곱근 (√N) 에 의해 생성됩니다. SE 학계에서 핵심 연구자 (Top 10 인용) 는 전체 연구자의 약 2.6% 에 불과하지만, 이 소수 핵심 집단이 방대한 '롱테일 (Long Tail)' 논문을 검토해야 하는 구조적 불균형이 발생했습니다.
문화적 충돌: 빠르게 진화하는 '바자 (Bazaar, 실험적/실용적)' 형태의 연구 성과를 느린 '대성당 (Cathedral, 심층적/이론적)' 형태의 검토 주기에 강제로 끼워 맞추는 과정에서 비효율과 마찰이 발생했습니다.
2. 방법론 및 해결 방안 (Methodology & Six Fixes)
저자들은 2026 년부터 2030 년까지 진행된 '대개편 (Great Restructuring)'을 통해 6 가지 핵심 개혁을 단행했습니다.
2.1. SE 저널 연합 (The SE Journal Alliance)
문제: 저널 간 경쟁으로 인한 '포럼 쇼핑 (Forum Shopping, 거절된 논문을 다른 저널로 이동)'과 검토자 자원의 고립.
해결: 주요 저널들이 연합을 결성하여 이동 가능한 검토 (Portable Reviews) 시스템을 도입했습니다.
한 저널에서 수행된 검토 기록이 연합 내 다른 저널로 공유되어 중복 검토를 방지합니다.
검토자 기여도를 '휴대 가능한 신용 (Portable Credit)'으로 기록하여, 채용 및 정년 심사 시 공식적인 학문적 자산으로 인정받도록 했습니다.
2.2. 로또 시스템 (The Lottery)
문제: 모든 논문을 인간 검토자가 심층 검토하는 것은 물리적으로 불가능함.
해결: 논문을 선별하는 로또 (Lottery) 방식 도입.
사전 검토 (Pre-review): 빠른 속도로 논문을 스코어링하여 일정 점수 이상은 자동 통과, 그 이하는 로또 추첨으로 인간 검토 기회를 부여합니다.
지속적 대화: 일회성 검토 대신, 통과된 논문에 대해 저자 - 검토자 - 편집자가 참여하는 구조화된 Q&A 페이지를 운영하여 논문의 진화를 기록하고 교육 자료로 활용합니다.
2.3. 자동화 + 수동 검토 (Review = Automatic + Manual)
문제: 인간 검토자의 시간 낭비.
해결:인간 + AI (Human+AI) 하이브리드 트라이지 (Triage) 시스템 구축.
1 단계 (구조적 게이트): 코드 실행, 데이터 링크, 위협 분석 등 자동화 가능한 구조적 검증을 수행 (Open Science 필수화).
2 단계 (기술적 추출): AI 가 논문의 범위, 기여도, 위험 요소를 추출하여 인간 검토자의 업무 부담을 줄임.
3 단계 (인지적 검토): 위 단계를 통과한 논문만 인간 전문가가 논리, 타당성, 방법론을 심층 검토합니다.
결과: 재현성 (Reproducibility) 을 자동 검증하여 전문가가 해석과 혁신성에 집중할 수 있게 함.
2.4. 대성당과 바자 (Cathedrals and Bazaars)
문제: 심층 과학 (Deep Science) 과 실용적/민첩한 과학 (Agile Science) 을 동일한 기준으로 평가하는 모순.
해결:이중 속도 (Two-Speed) 문화 정립.
대성당 (Cathedral): 심층 연구 (PhD, 이론) 에 집중. '논문 수' 대신 '가장 중요한 3 편의 논문'의 질적 평가를 채용/승진 기준으로 삼음 (Rule of Three).
바자 (Bazaar): 빠른 도구 개발, 실험적 연구에 집중. 학술적 영구성보다는 실용성과 즉시성을 중시.
2.5. 단일체 해체 (Unbundling the Monolith)
문제: 하나의 논문이 동기, 방법, 결과를 모두 담아야 한다는 비효율적인 관행.
해결: 논문을 모듈화 (Micro-publications) 하여 분리 검토.
비전 (Vision), 등록 보고서 (Registered Report, 방법론), 도구 논문, 재현 논문 등으로 분리.
각 모듈을 해당 분야 전문가가 빠르게 검토하여 전체 검토 시간을 40% 단축.
실무자용 요약: 논문과 별개로 AI 가 생성한 요약 및 비디오를 공개하여 (Paywall 제거), 실무자가 핵심 내용을 빠르게 습득하고 피드백을 제공하도록 유도 (피드백이 학업적 성과 지표로 반영됨).
2.6. 벤치마크 묘지 탈출 (Escaping the Benchmark Graveyard)
문제: 기존 벤치마크 데이터셋에 대한 맹목적 의존으로 인한 혁신 정체 (Exhausted Phase).
해결:촉매 기준 (Catalyst Criteria) 도입.
기존 벤치마크에서 미세한 성능 향상만 보이는 논문은 거절.
새로운 작업/도메인 확장, 기존 가설 반증, 벤치마크 자체의 개선 (데이터/도구) 에 기여하는 연구만 수용.
3. 주요 성과 및 결과 (Results)
검토 효율성 증대: 자동화 트라이지와 로또 시스템을 통해 검토자 부담이 크게 감소하고, 논문의 평균 처리 시간이 단축되었습니다.
검증의 질적 향상: '구조적 게이트'를 통해 코드와 데이터의 실행 가능성이 자동 검증되어, 인간 검토자는 논리의 타당성과 혁신성에 집중할 수 있게 되었습니다.
학술 생태계의 다양성: '대성당'과 '바자'의 분리로 인해 심층 이론 연구와 빠른 실무 도구 개발이 모두 존중받는 건강한 생태계가 조성되었습니다.
실무 영향력 확대: 논문 요약 및 비디오가 공개되면서 학술 연구가 산업계 실무자에게 즉시 전달되고 피드백을 받는 선순환 구조가 형성되었습니다.
4. 의의 및 결론 (Significance)
이 논문은 소프트웨어 공학 출판 시스템이 19 세기식 수동 검토 방식을 고수하다가 21 세기 AI 시대의 속도에 적응하지 못해 위기에 처했음을 지적합니다. 해결책은 **겸허함 (Humility)**에 있었습니다.
동료 검토가 무작위적임을 인정하고 로또 시스템을 도입했습니다.
PDF 의 불투명함을 인정하고 **실행 가능한 논문 (Executable Papers)**을 의무화했습니다.
실무자가 유료 장벽을 무시함을 인정하고 오픈 액세스 및 바자 문화를 구축했습니다.
결론적으로, 이 개혁들은 단순한 저널의 생존을 넘어, 소프트웨어 공학을 '품질 관리 (Quality Control by Guarding)'에서 '대화를 통한 신호 향상 (Quality Control by Dialog)'으로 전환시켰으며, 학계를 다시 진정한 과학 공동체로 되돌리는 계기가 되었습니다.