On the Abolition of the "ICSE Paper" and the Adoption of the "Registered Proposal" and the "Results Report"

기술 요약: "ICSE 논문"의 폐지와 "등록된 [제안(Proposal)]" 및 "[결과(Results)] 보고서"의 채택에 대하여

문제 제기
본 논문은 소프트웨어 공학(SE) 연구 커뮤니티를 괴롭히고 있는 두 가지 상호 연결된 핵심적 위기, 즉 **재현성 위기(replicability crisis)**와 **"참신함의 악순 cycle(novelty-vicious cycle)"**을 식별한다.

• 재현성 위기: 결과의 재현이 널리 불가능한 상태이며, 이는 특히 머신러닝 기반 취약점 탐지 분야에서 새로운 논문들이 이전의 연구 결과들을 빈번하게 무효화하는 현상에서 두드러진다. 설문 조사 데이터에 따르면 연구자들이 출판 후 코드나 데이터를 삭제하는 경우가 많으며, 복잡한 도구 체인(toolchains)은 재현을 어렵게 만든다.
• 참신함의 악순환: 현재의 출판 모델은 "엄밀함(rigor)"과 검증보다 "참신함(novelty)"(새로운 도구, 데이터셋 또는 기법)을 우선시한다. 이는 다음과 같은 피드백 루프를 생성한다:
  • 리뷰어들은 재현 연구나 부정적인 결과(negative results)가 "새롭지 않다"는 이유로 거절한다.
  • 기성 연구 그룹들이 문헌을 지배하며, 이는 기존의 규범에 도전하는 것을 저해하는 엘리트주의적 환경을 조성한다.
  • 연구자들은 출판을 확보하기 위해 "장난감 예시(toy examples)"와 점진적인 개선에 집중하며, 그 결과 산업 현장에서 사용할 수 없는 도구들이 양산된다.
  • 커뮤니티가 지식을 통합하는 데 실패함으로써, 산업적 관련성이 낮은 얕은 연구 체계를 초래한다.

방법론
저자들은 새로운 경험적 데이터나 새로운 소프트웨어 도구를 제시하지 않는다. 대신, 본 논문은 구조적 개혁을 제안하는 **포지션 페이퍼(position paper)**이다. 방법론은 다음 사항에 의존한다:

1. 설문 분석: 저자들은 "소프트웨어 공학의 미래" 사전 설문(Storey & van der Hoek, 2026)의 응답과 커뮤니티 디스코드(Discord) 채널의 논의를 분석한다. 이들은 참신함과 엄밀함 사이의 긴장, 그리고 재현 연구의 소외에 관한 구체적인 주제들을 추출한다.
2. 개념적 제안: 이러한 질적 조사 결과를 바탕으로, 저자들은 전통적인 "ICSE 논문"(아이디어, 방법론, 검증을 동일한 저자가 수행하는 형태)을 대체할 새로운 2단계 출판 모델을 제안한다.

핵심 기여: 2단계 시스템
핵심 기여는 메인 트랙을 위한 표준 기술 논문 형식을 폐지하고, 이를 두 가지 구별된 제1급 출판 유형으로 교체하자는 제안이다:

1. 등록된 [제안(Registered Proposal)]:

   • 초점: 참신함 및 방법론적 엄밀함.
   • 내용: 저자들은 연구를 수행하기 전에 새로운 연구 아이디어, 가설, 그리고 상세한 실험/분석 계획을 제출한다.
   • 심사 기준: 리뷰어들은 아이디어의 참신함과 제안된 방법론의 타당성을 평가한다. 본 논문은 이 단계에서 결과에 대한 기대치를 제거해야 한다고 주장한다. 즉, 제안서는 과거의 부정적 결과나 이론적 근거를 통해 식별된 격차를 메울 수 있는 잠재력을 기준으로 판단된다.
   • 결과: 승인되면 제안이 발표되며, 이를 검증하기 위한 "경주"가 시작된다.

2. [결과] 보고서([Results] Report):

   • 초점: 엄밀함 및 검증.
   • 내용: 어떠한 연구자라도(원래 제안자가 아니더라도) 이전에 승인된 '등록된 제안'에 기반하여 검증 실험의 실행 내용을 상세히 기술한 보고서를 제출할 수 있다.
   • 형식: 이들은 제안서에 대한 반 페이지 분량의 포인터 역할을 할 수 있는 짧은 논문 형태이며, 실행 및 결과에 엄격히 집중하고 아티팩트(artifacts)를 보완한다.
   • 포용성: 결정적으로, 이 단계는 여러 독립적인 팀이 동일한 제안을 검증할 수 있도록 허용한다. 이는 재현을 사후 처리가 아닌 출판 파이프라인에 직접 주입한다.
   • 결과: 시스템은 대부분의 독립적 검증이 원래의 제안을 확인하는 데 실패할 것으로 예상한다. 오직 여러 팀의 독립적이고 엄격한 검증을 통과한 제안만이 산업적 도입을 위한 충분한 견고함을 갖춘 것으로 간見된다.

결과 및 주장
포지션 페이퍼로서 저자들은 자신들의 시스템에 대한 실험적 결과를 보고하지 않는다. 대신, 분석을 바탕으로 다음과 같은 주장과 기대를 제시한다:

• 참신함과 엄밀함의 분리: 제안된 시스템은 "새로운 아이디어"(제안)의 검증과 "진리"(결과 보고서)의 검증을 분리하여, 리뷰어가 현재 두 가지를 동시에 요구하는 트레이드오프 문제를 해결한다.
• 검증의 민주화: "누구나" 결과 보고서를 제출할 수 있게 함으로써, 시스템은 기성 그룹의 독점을 깨뜨린다. 이는 기존 연구에 도전하기 위해 유명 연구자의 "허가"를 받을 필요를 없앤다.
• 부정적 결과의 처리: 시스템은 부정적이거나 상충하는 결과를 실패로 버리는 것이 아니라, 견고함을 측정하는 정보가 풍부한 데이터 포인트로서 명시적으로 가치 있게 여긴다.
• "두 개의 독립적 구현" 규칙: 저자들은 IETF의 RFC 채택 규칙(두 개의 독립적인 상호 운용 가능한 구현 필요)과 평행 이론을 제시한다. 이들은 최소 두 그룹이 등록된 제안을 성공적으로 검증했을 때만 산업적 도입이 따라야 한다고 주장한다.
• "하드 디스크 분실 문제" 완화: 여러 팀이 동일한 프로토콜을 실행하도록 요구함으로써, 데이터 손실(예: 포스트닥터가 하드 디스크를 분실하는 경우)의 위험을 기하급수적으로 줄여 유효한 데이터의 생존을 보장한다.

의의
본 논문은 그 의의가 SE 분야의 정체에 대한 "대담하고" "파괴적인" 솔루션을 제공하는 데 있다고 주장한다. 저자들은 참신함을 쫓느라 검증을 희생하는 현재의 문화가 SE 연구를 "얕게" 만들고 산업 실무와 단절시켰다고 주장한다. 제안된 바와 같이 제안과 검증을 제도적으로 분리함으로써, 저자들은 다음을 목표로 한다:

• 커뮤니티를 트렌드 중심에서 누적적(cumulative)인 방향으로 전환한다.
• 신진 연구자들이 게이트키핑에 대한 두려움 없이 기존 아이디어에 도전할 수 있는 문화를 조성한다.
• 독립적인 재현을 통해 견고함이 증명된 솔루션만이 산업 현장에 도달하도록 보장한다.

저자들은 자신들의 제안이 커뮤니티의 정서에 기반한 가설이며 목표를 달달성하지 못할 수도 있음을 인정하지만, "포스트닥터의 하드 디스크 분실" 현상을 해결하고 경험적 소프트웨어 공학에 대한 신뢰를 회복하기 위해 필요한 단계라고 단언한다.