기술 요약: 이 빌드 실패가 내 패치와 관련이 있는가? 지속적 통합에서의 무관한 빌드 실패에 대한 실증 연구

1. 문제 제기

지속적 통합 (CI) 환경에서는 여러 개발자가 동시에 코드를 푸시하는 경우가 많습니다. 이러한 동시성은 무관한 빌드 실패를 초래할 수 있습니다. 이는 CI 과정에서 발생하는 정당한 빌드 실패이지만, 현재의 코드 푸시로 인해 발생한 것은 아닙니다. *불안정한 테스트 (flaky tests)*가 비결정적인 것과 달리, 이러한 실패는 실제 발생하지만 이전 푸시에서 비롯된 연쇄적 파손, 구성 문제, 외부 의존성, 또는 환경 불안정성과 같은 요인에서 기인합니다.

핵심 문제는 개발자들이 이러한 실패가 자신들의 변경 사항과 관련이 있는지 확인하기 위해 상당한 시간을 투자해야 한다는 점입니다. 저자들의 실증 데이터에 따르면, 개발자들은 실패가 자신의 변경 사항과 무관한지 확인하는 데 중앙값 4 시간을 투자합니다. 이러한 "낭비된 시간"은 부담을 초래하며, 개발자들이 통제할 수 없는 요인으로 인해 빌드가 끊임없이 실패한다고 인식할 경우 "알림 피로"를 유발하고 CI 모범 사례 준수를 저해할 수 있습니다.

2. 방법론

본 연구는 데이터 마이닝, 정성적 분석, 그리고 준지도식 머신러닝을 결합한 혼합 방법론을 적용하여 7 개의 아파치 소프트웨어 재단 (ASF) 프로젝트(AMBARI, HADOOP, HBASE, HDDS, HDFS, HIVE, YARN) 를 대상으로 진행되었습니다.

2.1 데이터 수집 및 휴리스틱 라벨링

• 데이터셋: 저자들은 JIRA 이슈 보고서에서 77,354 건의 CI 빌드 실패를 추출했습니다.
• 휴리스틱 기반 라벨링 (HL): 무관한 실패의 가능성을 식별하기 위해 키워드 기반 휴리스틱을 개발했습니다. 빌드 실패 후 개발자 코멘트에서 "unrelated"(무관한), "not relevant"(관련 없음), "irrelevant"(무관한), "not connected"(연결되지 않음) 와 같은 특정 용어를 검색했습니다.
• 초기 집합: 이 과정을 통해 10,316 건의 잠재적 무관한 빌드 실패가 식별되었습니다.
• 샘플 선정: 이 집합에서 엄격한 문서 분석 과정 (여러 코더 참여) 을 거쳐 371 건의 진정한 무관한 실패로 구성된 통계적으로 대표성을 갖춘 샘플을 수동으로 선정했습니다 (95% 신뢰수준, 5% 신뢰구간).

2.2 문서 분석 (정성적)

저자들은 개발자들이 왜 이러한 실패를 무관하다고 판단했는지 이해하기 위해 371 건의 선정된 실패에 대한 주제 분석을 수행했습니다. 이는 다음을 포함했습니다:

• CI 로그와 개발자 코멘트를 디지털 문서로 취급.
• 귀납적 코딩을 통한 주제 생성.
• 평가자 간 신뢰도 검증 (Cohen's Kappa 점수 0.76–0.77).

2.3 특징 공학

정성적 발견에 기반하여 저자들은 세 가지 차원에서 33 개의 특징을 추출했습니다:

1. 이슈 보고서 수준: 우선순위, 병렬 이슈, 프로젝트 간 링크, 중복 상태 등.
2. 코멘트 수준: 이전 코멘트 수, 이전 실패와 공유된 오류 메시지 수, 유사한 실패의 수.
3. 푸시 수준: CI 지연 시간 (패치 제출부터 빌드 트리거까지의 시간), 코드/구성 패치 존재 여부, 소스 및 구성 파일에서 추가/수정/삭제된 줄 수.

• 전처리: 프로젝트별로 스피어만 순위 상관관계 ($|\rho| \ge 0.7$) 와 중복성 분석 ($R^2 > 0.9$) 을 사용하여 공선성 특징을 제거했습니다.

2.4 모델링: 양수 - 미분류 (PU) 학습

데이터셋이 불균형하며 "부정" 인스턴스 (푸시와 관련된 실패) 를 개발자가 명시적으로 "관련 있음"이라고 언급하지 않을 수 있어 신뢰성 있게 라벨링할 수 없다는 점을 인식하여, 저자들은 양수 - 미분류 (Positive-Unlabeled, PU) 학습 프레임워크를 채택했습니다.

• 양수 클래스: 수동으로 확인된 무관한 실패 (371 샘플, 학습을 위해 700 으로 확장).
• 미분류 클래스: 기타 모든 빌드 실패 (관련 및 무관 실패가 모두 포함될 수 있음).
• 알고리즘: Elkan & Noto 분류기의 두 가지 변형이 구현되었습니다:
  1. 전통적 Elkan & Noto: 미분류 데이터가 양수와 음수의 혼합이라고 가정합니다.
  2. 가중치 Elkan & Noto: 미분류 예제에 가중치를 부여하여 양수 인스턴스를 포함할 가능성을 고려합니다.
• 가정: 본 연구는 SCAR (Selected Completely At Random) 가정을 검증하여, 라벨링된 양수 인스턴스가 모든 양수 인스턴스의 대표적 샘플임을 보장했습니다.
• 평가: 모델은 10 폴드 교차 검증과 "프로젝트 하나 제외" 교차 프로젝트 검증 전략을 사용하여 평가되었습니다. 평가 지표로는 정밀도 (Precision), 재현율 (Recall), F1 점수, AUC 가 포함되었습니다.

3. 주요 기여

3.1 실증적 특성화

• 시간 비용: 개발자가 무관한 실패를 검증하는 데 소요되는 중앙값 시간을 4 시간으로 계량화했습니다.
• 근본 원인: 실패가 무관하다고 판단되는 이유를 설명하는 7 가지 주제를 식별했습니다:
  1. 무관한 테스트 (20%): 현재 푸시와 무관한 테스트 클래스에서의 실패.
  2. 개발자 미지시 (34.86%): 개발자가 맥락 없이 "무관함"이라고 명시한 경우.
  3. 외부 간섭 (19.73%): 타사 라이브러리 또는 의존성 관련 문제.
  4. 비재현성 (17.03%): 일시적인 인프라 문제 (네트워크, 디스크, 타임아웃).
  5. 동시 커밋, 구성 문제, 그리고 환경 영향.

3.2 예측 모델링

• 무관한 빌드 실패를 자동으로 예측하는 최초의 준지도식 접근법을 개발했습니다.
• 가중치 Elkan & Noto 모델이 베이스라인 (무작위, 상수 양수, 휴리스틱 기반 오류 메시지 매칭) 보다 일관되게 우수함을 입증했습니다.
• 성능:
  • AUC: 프로젝트 간 0.63 에서 0.97 범위.
  • 정밀도: 0.70 에서 0.88 범위.
  • 재현율: 0.30 에서 1.00 범위.
  • F1 점수: 0.44 에서 0.91 범위.
• 일반화: 모델은 교차 프로젝트 검증에서 견고한 성능을 유지했으며, 가중치 변형은 전통적 변형 대비 정밀도에서 13–24% 의 개선을 보여주었습니다.

3.3 특징 중요도

순열 특징 중요도 분석은 무관한 실패에 가장 큰 영향을 미치는 지표를 밝혔습니다:

1. CI 지연 시간: 패치 제출과 빌드 트리거 푸시 사이의 시간. 지연 시간이 길수록 무관한 실패 가능성이 증가합니다.
2. 유사한 오류 메시지: 최근 실패와 현재 실패가 오류 메시지를 공유하는지 여부 (연쇄적 파손을 나타냄).
3. 이전 코멘트 수: 실패에 앞서 진행된 논의의 양으로, 복잡한 다중 이슈 맥락을 나타낼 수 있습니다.

4. 의의 및 주장

본 논문은 개발자가 빌드 실패를 분류 (트라이아징) 하는 데 도움이 되는 준지도식 프레임워크를 제공하는 것을 주요 기여로 주장합니다. 실패가 현재 푸시와 무관할 확률을 예측함으로써, 이 도구는 다음과 같은 목표를 가집니다:

• 개발자 노력 감소: 실패가 무관할 가능성이 높을 때 코드 변경 사항 조사를 건너뛰고, 대신 인프라 문제 해결이나 빌드 재실행에 집중할 수 있도록 함.
• 의사 결정 개선: 빌드 실패가 있더라도 기여 병합을 진행할지 여부를 팀이 결정하는 데 도움.
• 시스템적 문제 식별: 무관한 실패에 대한 반복적 예측은 체계적인 모니터링이 필요한 구성 오류, 인프라 네트워크 문제, 또는 의존성 문제를 신호할 수 있음.

저자들은 이 접근법의 목표가 즉시 모든 소프트웨어 도메인에서 완벽한 일반화성을 달성하는 것이 아니라, 성숙한 CI 생태계 내에서 무관한 실패를 식별하는 이 접근법의 타당성을 입증하는 것이라고 명시적으로 밝혔습니다. 그들은 이 작업이 개발자를 혼란스럽게 하는 동시 개발 환경에서 종종 간과되는 특정 실패 클래스를 대상으로 함으로써, 불안정한 테스트 및 일반 빌드 결과 예측에 대한 기존 연구를 보완한다고 강조합니다.