Data Requirement Goal Modeling for Machine Learning Systems

기술 요약: DRGM: ML 기반 시스템을 위한 데이터 요구사항 목표 모델링

문제 정의
기계 학습(ML)의 핵심 애플리케이션 통합은 소프트웨어 개발 패러다임을 로직 중심에서 데이터 중심으로 변화시켰습니다. 기존 시스템과 달리, ML 기반 시스템의 동작은 사전 정의된 기능보다는 주로 데이터의 특성과 그로부터 구축된 모델에 의해 결정됩니다. 결과적으로, 데이터 요구사항(훈련 데이터의 속성, 제약 조건 및 품질 속성을 포함)은 모델의 성능, 해석 가능성 및 공정성에 지대한 영향을 미칩니다.

기능적 및 비기능적 요구사항을 위한 요구사항 공학(RE) 방법론이 존재함에도 불구하고, 전통적인 접근 방식은 ML의 귀납적 성격에는 부적합합니다. 현재의 문헌들은 데이터 요구사항을 위해 대안적인 데이터셋을 체계적으로 캡처, 평가 및 분석하는 데 있어 공백이 있음을 강조합니다. 데이터 편향, 대표성 부족, 데이터 품질 결함 등의 문제는 임상 진단 모델이나 채용 알고리즘을 포함한 실제 배포 환경에서 심각한 실패를 초래해 왔습니다. 따라서 견고성, 신뢰성 및 공정성을 보장하기 위해 비전문가가 데이터 요구사항을 식별하고 활용 전 데이터셋을 평가할 수 있도록 안내하는 구조화된 접근 방식이 필요합니다.

방법론
저자들은 목표, 제약 조건 및 트레이드오프를 표현하기 위해 목표 지향 요구사항 언어(GRL)를 활용하는 프레임워크인 **데이터 요구사항 목표 모델(DRGM)**을 제안합니다. 이 방법론은 세 가지 주요 단계로 구성됩니다:

1. 초기 DRGM 구축:
   저자들은 데이터 과학자와 요구사항 엔지니어가 직면한 과제들을 식별하기 위해 문헌 검토를 수행했습니다. 이러한 과제들은 **데이터 양(Data Quantity), 데이터 품질(Data Quality), 데이터 관리(Data Management), 데이터 윤리(Data Ethics)**의 네 가지 주요 테마로 분류되었습니다. 이 카테고리들은 GRL 요소에 매핑되었으며, 특히 필수적인 데이터 속성(예: 데이터 가용성, 데이터 정확성, 데이터 프라이버시)을 포착하기 위해 "연성 목표(soft goals)"를 사용했습니다. 초기 모델은 목표와 태스크 간의 관계를 설명하기 위해 분해 링크(decomposition links)와 기여 링크(contribution links)를 포함합니다.

2. 커스터마이징 메커니즘 개발:
   데이터 요구사항은 매우 맥락 의존적이며 ML 문제 유형에 따라 달라진다는 점을 인식하여, 저자들은 커스터마이징 메커니즘을 설계했습니다. 이 메커니즘은 목표를 세 가지 세트로 분류합니다:

• 세트 #1 (고정 중요도): 모든 ML 문제에서 중요한 목표들로, 데이터 양(가용성, 접근성) 및 데이터 품질(완전성, 정확성, 대표성) 등이 포함됩니다.
• 세트 #2 (ML 문제 유형 의존적): 중요도와 핵심 성과 지표(KPI)가 문제 유형(예: 분류, 회귀, 시계열)에 따라 변하는 목표들입니다. 예를 들어, 데이터 균형성(Balancedness)은 분류에는 중요하지만 회귀에는 상대적으로 덜 중요합니다. 이 메커니즘은 특정 KPI 계산 규칙(예: 데이터 크기에 대한 "10의 법칙", 왜도 측정을 위한 Shapiro-Wilks 검정)을 제공합니다.
• 세트 #3 (맥락 의전적): 데이터 윤리(적법성, 프라이버시, 안전성) 및 데이터 관리(보안, 로깅, 최신성)와 같이 특정 데이터 맥락에 따라 변하는 목표들입니다. 데이터가 인간 피험자를 포함하는지, 민감한 정보를 다루는지, 또는 빈번한 업데이트가 필요한지 등의 요인에 따라 중요도 수준이 조정됩니다.

커스터마이징 과정은 ML 문제 유형과 맥락을 위한 두 개의 UML 활동 다이어그램에 의해 안내됩니다.

3. 데이터셋 평가:
   DRGM이 커스터마이징되면, 사용자는 GRL 평가 전략을 사용하여 후보 데이터셋을 평가합니다. 이 과정은 잎 요소(leaf elements)에 정성적 값(0–100)을 할당하는 과정을 포함합니다. 부정적인 영향을 피하기 위해 관련 없는 요소는 "충족됨(satisfied)"으로 설정됩니다. 데이터셋은 제안된 임계값인 70 이상의 점수로 "데이터 액터(Data Actor)"를 만족할 때 유효한 것으로 간주됩니다. 만약 어떤 데이터셋도 임계값을 충족하지 못하면, 추가적인 전처리 또는 대안적인 데이터 소스를 찾아야 합니다.

주요 기여

1. 데이터를 위한 목표 지향 모델링: 본 논문은 데이터 속성을 상위 수준의 시스템 목표와 연결함으로써 ML 시스템 개발을 위한 핵심 데이터 요구사항을 포착하기 위해 목표 모델링을 사용하는 것을 제안합니다.
2. 커스터마이징 메커니즘: 저자들은 요구사항 엔지니어, 특히 ML 전문 지식이 제한적인 이들을 지원하기 위해 UML 활동 다이어그램으로 뒷받법되는 다양한 ML 문제 유형 및 맥락에 적응 가능한 DRGM 커스터마이징 메커니즘을 개발했습니다.
3. 경험적 검증: 제안된 방식은 실제 프로젝트에 기반한 두 가지 예시적 사례 연구를 통해 검증되었습니다: 빈혈 진단을 위한 의료 분류 시스템과 전 지구 수평 일사량(GHI) 예측을 위한 시계열 회귀 시스템입니다.

결과
두 가지 사례 연구를 통한 검증 결과, DRGM에 의해 식별된 데이터 요구사항은 원천 연구에서 보고된 실제 결과 및 과제와 일치함을 보여주었습니다:

• 빈혈 진단 사례: 커스터마이징된 DRGM은 초기 데이터셋(참가자 80명)이 심각한 불균형(클래스 비율 3:5:12:40)과 피부색 및 성별에 대한 대표성 부족 문제를 겪고 있음을 정확히 식별했습니다. 평가 모델은 이러한 결함을 강조하였으며, 왜 이 프로젝트가 특정 인구 집단에 대해 재현율(recall)과 정확도 문제를 겪고 결국 중단되었는지를 설명했습니다.
• GHI 예측 사례: 모델은 데이터 소스가 권위 있고 지속 가능함에도 불구하고, 누락된 월(month)과 훈련 기간 중 이례적인 강수 값으로 인해 특정 도시(나잔, Najran)에 대한 시간적 대표성이 부족하다는 점을 정확히 식별했습니다. 평가는 해당 맥락에 적용했을 때 데이터셋이 "데이터 액터"를 만족시키지 못함을 보여주었으며, 이는 실제 실험의 실패를 그대로 반영했습니다.

의의 및 주장
본 논문은 제안된 DRGM 프레 framework이 비전문가가 데이터 계획을 수립하도록 안내하는 데 실용적이고 효과적이라고 주장합니다. 데이터 요구사항을 체계적으로 식별하고 대안 데이터셋을 평가하는 메커니즘을 제공함으로써, 이 접근 방식은 배포 전에 데이터셋이 핵심 요구사항을 충족하는지 확인하는 데 도움을 줍니다. 저자들은 이 프레임워크가 ML 시스템에 필요한 데이터의 추출, 명세 및 검증을 돕는다고 강조합니다.

그러나 저자들은 자신의 연구 범위와 한계에 대해 다음과 같이 겸허한 입장을 유지합니다:

• 커스터마이징 메커니즘은 현재 일반적인 지도 학습 ML 문제(회귀 및 분류)를 위해 설계되었으며, 사전 훈련된 딥러닝 모델이나 대규모 언어 모델(LLM)을 완전히 다루지는 않습니다.
• 일부 KPI 값은 동료 검토를 거친 출처보다는 회색 문헌(gray literature) 및 실무자 휴리스틱(예: "10의 법칙")에서 유도되었으므로, 학술적 출처에 비해 주관성이 개입될 수 있습니다.
• 프로세스에는 여전히 수동적인 목표 모델 수정이 필요하며, 이는 GRL에 익숙하지 않은 사용자에게 오류를 초래할 수 있습니다.
• 모델이 데이터의 적법성 및 특정 대표성 문제와 관련하여 법률 및 도메인 전문가와의 협의 필요성을 제거하지는 못하지만, 선택 과정을 간소화하고 부적절한 데이터셋을 걸러내는 것을 목표로 합니다.

저자들은 DRGM이 데이터 요구사항에 대한 구조화된 접근 방식을 제공하지만, 더 넓은 범위의 ML 문제 유형에 대한 추가적인 평가와 자동화된 도구 지원(예: 챗봇 인터페이스를 통한)이 향후 필요한 방향이라고 결론지었습니다.