Applying a Requirements-Focused Agile Management Approach for Machine Learning-Enabled Systems

기술 요약: 머신러닝 기반 시스템을 위한 요구사항 중심의 애자일 관리 기법 적용

문제 정의
머신러닝(ML) 기반 시스템은 전통적인 요구사항 공학(RE) 및 애자일 관리에 독특한 과제를 제기한다. 결정론적인 소프트웨어와 달리, ML 시스템은 데이터 의존성, 실험성, 그리고 불확inc한 모델 동작에 의존하며, 결과가 데이터 품질과 모델링 선택에 따라 달라진다. 애자일 관리는 ML의 반복적 특성과 개념적으로는 일치하지만, 다음과 같은 이유로 직접 적용 시 종종 실패한다:

• 비현실적인 고객 기대치 및 비즈니스 이해관계자와 ML 실무자 간의 불일치.
• ML 작업(예: 데이터 전처리, 특징 공학)의 실험적 특성으로 인한 스프린트 계획 및 공수 추정의 어려움.
• ML 프로젝트에 맞춰 애자일 관행을 조정하기 위한 명확한 가이드라인 부족으로 인한 커뮤니케이션 격차 및 요구사항의 모호성.
  기존의 접근 방식들은 ML 특유의 관심 사항을 어떻게 식별하고 프로젝트 초기 단계부터 실행 가능한 요구사항으로 구체화할 것인지에 대해 충분히 다루지 못하는 경우가 많다.

방법론: RefineML 접근법
저자들은 머신러닝 기반 시스템의 지속적이고 애자일한 정교화를 위한 요구사항 중심 접근법인 RefineML을 제안하고 평가한다. RefineML은 최신 문헌과 체계적 매핑 연구에서 도출된 세 가지 핵심 구성 요소를 통합한다:

1. PerSpecML: ML 관련 사항을 시스템 목적(System Objectives), 사용자 경험(User Experience), 인프라(Infrastructure), 모델(Model), 데이터(Data)의 5가지 관점으로 구조화하는 요구사항 명세 접근법.
2. Agile4MLS: 스크럼을 ML에 맞게 변형한 애자일 관리 프레임워크로, 이중 백로그(소프트웨어 및 ML), "데이터 스토리(Data Stories)" 및 "모델 스토리(Model Stories)", 그리고 ML 실험과 소프트웨어 개발을 분리하기 위한 "두 스프린트 앞선(two-sprints-ahead)" 원칙을 도입한다.
3. 린 R&D(Lean R&D) 개념: 초기 가치 전달을 위한 실행 가능하고 최적이 아닌 모델인 **최소 가치 모델(MVM)**과 모델의 견고함 및 검증을 정의하는 마일스톤인 완료 계층(Layers of Done, LoD).

RefineML 프로세스 단계
이 접근법은 프로젝트 라이프사이클을 네 단계로 구조화한다:

• 초기 명세(Initial Specification): PerSpecML을 사용하여 팀은 5가지 관점에 걸쳐 요구사항을 정의함으로써 목표와 평가 기준에 대한 공통된 이해를 구축한다.
• 구상(Conception): 제품 소유자(Product Owner)는 두 개의 상호 보완적인 백로그, 즉 소프트웨어 백로그(전통적인 사용자 스토리)와 ML 백로그(데이터 및 모델 스토리)를 구성한다. 인프라 및 아키텍처 의존성을 관리하기 위해 "인에이블러(Enablers)"가 정의된다.
• 기술적 타당성(Technical Feasibility): 팀은 데이터 타당성(데이터 가용성/품질 평가)과 모델 타당성(알고리즘 적합성 평가)을 수행하며, **데모 API(Demo API)**를 구현한다. 데모 API는 예상되는 ML 출력을 에뮬레이션하여, ML 팀이 실험을 지속하는 동안 소프트웨어 팀이 통합을 진행할 수 있도록 한다.
• 애자일 개발(Agile Development): Agile4MLS에 따라 팀은 동기화된 반복 주기를 실행한다. ML 팀은 "두 스프린트 앞서" 작업하며 데모 API를 MVM 및 후속 LoD로 진화시키고, 소프트웨어 팀은 에뮬레이션된 인터페이스를 기반으로 기능을 구현한다.

평가 맥락 및 데이터 수집
RefineML은 브라질 사이버 보안 기업인 EXA와 PUC-Rio 간의 6개월간의 산학 협력(IAC) 프로젝트에 적용되었다. 프로젝트의 목표는 스캠 메시지 탐지, URL 분석, 스크린샷 분석을 포함한 온라인 사기 방지를 위한 ML 기능들을 개발하는 것이었다.

• 참여자: 10명의 실무자(개발자 및 데이터 과학자), 프로젝트 리드, 비즈니스 소유자.
• 데이터 수집: 기술 수용 모델(TAM)에 기반한 설문지를 개발팀에 실시하여 인지된 유용성, 사용 용이성, 사용 의도를 평가하였다. 프로젝트 리드와 비즈니스 소유자를 대상으로 반구조화된 인터뷰를 진행하였다.
• 분석: 정량적 데이터는 기술 통계로, 정성적 데이터는 주제 분석(thematic analysis)을 통해 분석되었다.

주요 결과 및 발견

• 문제 해결 능력: RefineML은 6번의 스프린트 내에 프로덕션 준비가 된 ML 컴포넌트 세트를 성공적으로 전달했다. 팀은 사이클 초기에 기존 사기 방지 솔루션보다 뛰어난 성능을 보이는 작동 가능한 MVM을 전달했다. 이 접근법은 이중 트랙 작업(ML 실험 vs 제품 전달)의 조율을 용이하게 하여 차단 의존성을 줄였다.
• 단계의 적절성:
  • 초기 명세: 기대치를 정렬하는 데 효과적인 것으로 인식되었으나, 강력한 촉진(facilitation) 없이는 과정이 "길다"고 느끼는 이들도 있었다.
  • 구상 및 타당성: 이중 백로그 구조와 "인에이블러" 개념은 실험과 통합을 분리하는 데 필수적인 것으로 간주되었다. 데이터 및 모델 타당성은 분석 마비(analysis paralysis)를 피하기 위한 "필수" 단계로 여겨졌다.
  • 개발: "두 스프린트 앞선" 원칙과 MVM 접근법은 데이터 과학자들에게 "마음의 평온"을 제공하고 "99% 정확도 추구"의 함정을 방지하는 데 매우 높은 가치를 인정받았다.
• 전반적인 수용도: 이해관계자들은 높은 인지된 유용성과 RefineML 사용 의지를 보고했다. 비즈니스 소유자는 이 접근법이 "이해가 된다"고 언급하며 향후 이니셔티브에 도입할 의사를 밝혔다.
• 한계점:
  • 구체화(Operationalization): PerSpecML의 관심 사항을 실행 가능한 ML 백로그 항목(데이터/모델 스토리)으로 변환하는 것은 경험이 적은 실무자들에게 어려웠으며, 숙련된 촉진에 크게 의존했다.
  • 추정: ML의 확률적 특성으로 인해 공수 추정은 지속적이고 해결되지 않은 과제였다. 실무자들은 결과(예: 정확도 향상)를 예측하는 것이 여전히 신뢰하기 어렵다고 언급했다.
  • 복잡성: 주니어 개발자들은 숙련된 가이드 없이는 이 접근법이 복잡하다고 느낀 반면, 시니어 이해관계자들은 이를 "진정으로 단순하다"고 평가했다.

의의 및 주장
본 논문은 RefineML이 애자일 관리와 ML의 실험적 특성 사이의 간극을 메우는 실용적이고 요구사항 중심적인 프레임워크를 제공한다고 주장한다. 주요 의의는 다음과 같다:

1. 커뮤니케이션 개선: LoD 및 이중 백로그와 같은 산출물을 통해 ML 요구사항, 제약 조건 및 진행 상황을 명시적으로 드러냄으로써, ML을 "블랙박스"로 인식하는 현상을 줄이고 비즈니스 팀과 기술 팀 간의 정렬을 개선한다.
2. 타당성 스캐폴딩(Feasibility Scaffolding): 초기 타당성 단계(데이터/모델)는 프로젝트를 기술적 현실에 근거하게 하는 구조적 틀을 제공하여, 위험을 조기에 드러내고 후기 단계의 실패를 방지한다.
3. 공진화 거버넌스(Co-evolution Governance): 이중 트랙 구조를 통해 ML 모델의 지속적인 정교화가 소프트웨어 전달를 지연시키지 않도록 하며, MVM 개념을 통해 점진적인 가치 전달을 가능하게 한다.

저자들은 RefineML이 커뮤니케이션과 거버넌스는 효과적으로 관리하지만, ML 노력 추정의 본질적인 불확실성을 해결하지는 못한다고 겸허히 결론짓는다. 그들은 향후 개선 방향으로 경험이 적은 실무자의 진입 장벽을 낮추고, ML을 고려한 더 나은 공수 추정 메커니즘을 개발하는 것에 집중해야 한다고 제안한다.