BayesInsights: Modelling Software Delivery and Developer Experience with Bayesian Networks at Bloomberg

1. 문제 정의 (Problem Statement)

블룸버그와 같은 대규모 소프트웨어 기업은 방대한 양의 엔지니어링 데이터 (배포 빈도, 실패율, 개발자 만족도 설문 등) 를 생성하고 있습니다. 그러나 기존 대시보드와 보고 도구는 다음과 같은 한계가 있었습니다:

• 인과 관계 부재: 특정 지표의 변화 (예: 배포 빈도 감소) 가 왜 발생했는지, 혹은 다른 지표에 어떤 영향을 미치는지에 대한 인과적 설명 (Causal Explanation) 을 제공하지 못함.
• 단편적 분석: DORA 지표나 SPACE 프레임워크와 같은 메트릭들이 서로 고립되어 시각화되어, 시스템 전체의 상호 의존성을 이해하기 어려움.
• 의사결정 지원 부족: 엔지니어링 변경 사항의 결과 (Trade-off) 를 예측하거나 근본 원인 (Root Cause) 을 파악하는 데 어려움을 겪음.

2. 방법론 (Methodology)

이 연구는 블룸버그의 내부 엔지니어링 설문 데이터 (>2,000 건) 를 기반으로 베이지안 네트워크 (Bayesian Networks, BNs) 를 구축하여 인과 관계를 모델링하는 도구인 BayesInsights를 개발했습니다.

가. 네트워크 구조 정의 (Hybrid Modelling Approach)

단순히 데이터만으로 구조를 학습하는 방식의 불확실성을 보완하기 위해, 이론, 전문가 지식, 알고리즘을 결합한 3 단계 하이브리드 접근법을 사용했습니다.

1. 기존 문헌 기반 (Established Literature): DORA 지표와 SPACE 프레임워크 등 기존 문헌을 기반으로 초기 방향성 그래프 (DAG) 를 구성했습니다.
2. 전문가 인사이트 (Expert Insight): 블룸버그의 DevX 팀 전문가 (평균 10 년 경력) 를 대상으로 구조화된 설문을 진행하여 인과 관계의 방향성과 강도를 검증했습니다. (가중치 점수 0.70 이상인 관계만 채택).
3. 구조 학습 알고리즘 (Structure Learning): Hill-Climbing (HC) 및 Peter-Clark (PC) 알고리즘을 적용하여 데이터상의 통계적 의존성을 확인하고, 부트스트래핑 (Bootstrapping) 을 통해 엣지의 안정성을 검증했습니다.
   • 결과: 전문가가 수정한 모델이 BIC (Bayesian Information Criterion) 점수에서 가장 우수했으며, 알고리즘 학습 결과는 전문가 검토를 위한 후보 엣지로만 활용되었습니다.

나. 확률 모델링 (Parameterisation)

• 조건부 확률 테이블 (CPT) 생성: 리커트 척도 (Likert-scale) 설문 데이터를 이산형 범주 변수로 간주하여 CPT 를 계산했습니다.
• 스무딩 (Smoothing): 희소 데이터 문제를 해결하기 위해 베이지안 - 디리클레 동등 균일 (BDeu) 스무딩을 적용하여 확률 0 인 항목을 방지했습니다.

다. 구현 및 통합 (Implementation)

• 아키텍처: 클라이언트 - 서버 구조 (Django, Django Ninja 백엔드, TypeScript 프론트엔드).
• 라이브러리: pgmpy(모델 학습 및 추론), React Flow(네트워크 시각화), Chart.js(확률 분포 차트).
• 기능: 사용자가 특정 노드 (예: '방해 요소로 인한 시간 손실') 에 증거 (Evidence) 를 입력하면, 실시간으로 네트워크가 업데이트되어 다른 지표 (예: '개발자 행복도') 에 미치는 영향을 시뮬레이션하는 "What-if" 시나리오 분석을 지원합니다.

3. 주요 기여 (Key Contributions)

1. BayesInsights 도구 개발: 소프트웨어 전달 성과 (Throughput, Stability) 와 개발자 경험 (DevEx) 을 통합적으로 모델링하는 대화형 베이지안 네트워크 도구.
2. 하이브리드 모델링 프레임워크: 문헌, 전문가 지식, 데이터 기반 알고리즘을 결합하여 대규모 소프트웨어 기업 환경에서 신뢰할 수 있는 인과 그래프를 구축하는 방법론 제시.
3. 실무 적용 및 검증: 실제 기업 데이터 (>2,000 명) 를 기반으로 한 대규모 적용 사례와 24 명의 시니어 실무자를 대상으로 한 혼합 방법론 평가 (Mixed-methods evaluation) 결과 공개.

4. 평가 결과 (Results)

블룸버그의 28 명 시니어 실무자 (24 명 응답) 를 대상으로 한 포커스 그룹 및 설문을 통해 도구를 평가했습니다.

• 유용성: 응답자의 95.8% 가 팀 및 조직 수준에서 소프트웨어 전달 과제를 식별하는 데 도구가 유용하다고 평가했습니다.
• 해석 용이성: 75% 가 출력 결과를 쉽게 해석할 수 있다고 답했으며, 83.3% 가 'What-if' 분석 시 메트릭 간 변화 시각화를 명확히 이해했습니다.
• 신뢰도: 70.9% 가 도구 출력 결과에 대한 신뢰를 표명했습니다.
• 실제 활용 의도: 79.2% 가 팀 내에서 도구를 사용하거나 추천하겠다고 답했습니다.
• 성능: 단일 요청 평균 응답 시간 24ms, 50 동시 사용자 부하 시 중앙값 40ms 미만으로 실시간 탐색에 적합한 성능을 보였습니다.
• 피드백: 자연어 요약 기능 추가, 결과 우선 레이아웃, 팀별 데이터 비교 기능 등이 개선 요구 사항으로 제기되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 인과적 의사결정 지원: 단순한 지표 모니터링을 넘어, "어떤 조치를 취하면 어떤 결과가 나올 것인가"를 예측할 수 있는 데이터 기반 의사결정 체계를 제공합니다.
• 학술 - 산업 협력 모델: 블룸버그와 UCL(University College London) 의 긴밀한 협력을 통해, 산업 표준으로 인정받지 못했던 기술 (인과 모델링) 을 대규모 엔지니어링 데이터 환경에서 검증하고 실용화한 성공 사례입니다.
• 확장성: 현재 7 개 엔지니어링 팀에서 프리뷰 (Preview) 상태로 운영 중이며, 향후 조직 전체로 확대 배포할 로드맵을 수립했습니다.

이 연구는 소프트웨어 공학 분야에서 데이터 기반의 인과 추론 (Causal Inference) 이 실제 기업 환경에서 개발자 경험과 전달 성과를 동시에 최적화하는 강력한 도구가 될 수 있음을 입증했습니다.