Quality Model for Machine Learning Components

기술 요약: 머신러닝 컴포넌트를 위한 품질 모델

문제 정의
머신러닝(ML)의 도입이 증가하고 MLOps 인프라가 가용해짐에도 불구하고, ML 모델 개발과 성공적인 프로덕션 배포 사이에는 여전히 상당한 격차가 존재한다. 연구에 따르면 ML 프로토타입 중 프로덕션에 도달하는 비율은 약 40%에 불과하다. 주요 실패 원인은 테스트 관행이 예측 정확도와 같은 모델의 속성을 평가하는 데 치중되어 있으며, 더 넓은 시스템 맥락에서 파생된 요구사항(예: 처리량, 자원 소비, 견고성)을 간과한다는 점이다.

또한, 모델 개발자와 시스템 이해관계자 사이에 단절이 빈번하게 발생한다. 모델 개발자는 시스템 맥락이나 정확도 이외의 것을 테스트하는 데 필요한 기술이 부족한 경우가 많으며, 시스템 요구사항 또한 그들에게 공유되지 않는 경우가 많다. ISO 25010 및 최신 AI 시스템 표준인 ISO 25059와 같은 기존 품질 표준은 시스템 수준의 속성과 컴포넌트 수준의 속성을 혼합하여 제시한다는 문제를 안고 있다. 예를 들어, "공존성(co-existence)"(자원을 공유하며 효율적으로 수행하는 능력)과 같은 속성은 모델 개발자가 컴포넌트 수준에서 평가할 수 없지만, 해당 컴포넌트에 중요한 제약을 부과한다. 이러한 혼재는 특히 개발이 외주화되거나, 별도의 데이터 과학 팀이 수행되거나, 사전 학습된 모델을 사용하는 시나리오에서 ML 컴포넌트에 대한 요구사항 도출 및 테스트를 저해한다.

방법론
저자들은 테스트 가능한 컴포넌트 속성을 시스템 수준의 속성과 분리하기 위해 설계된 엄격한 다단계 프로세스를 통해, ML 컴포넌트에 특화된 품질 모델을 개발하였다.

1. 소스 식별: 프로세스는 세 개의 표준 문서(ISO 25010, ISO 25059, ISO 25019)와 두 개의 관련 학술/산업 연구에서 시작되었다.
2. 추출 및 중복 제거: 네 명의 연구자(소프트웨어 공학 및 데이터 과학 배경 보유)로 구성된 팀이 163개의 품질 속성(QA)을 원문 그대로 추출하였다. 카드 소팅(card sorting)을 사용하여 이들을 80개의 QA 그룹으로 묶어 중복을 제거하고 명칭 불일치를 해결하였다.
3. 주석 달기 및 필터링: 각 QA 그룹은 다음과 같은 유형으로 주석이 달아졌다:
   • 유형 1: ML 컴포넌트에 적용됨 (컴포넌트 수준에서 테스트 가능).
   • 유형 2: ML 기반 시스템에 적용되지만 ML 컴포넌트에 요구사항을 부과함 (시스템 유도형).
   • 유형 3: 엄격하게 시스템에만 적용됨 (컴포넌트 수준에서 테스트 불가능).
     합의 과정을 통해 44개 그룹이 유형 1(또는 유형 1 및 2)로 식별되었으며, 10개는 유형 3으로 식별되었다.
4. 정의 및 범주화: 팀은 44개 그룹을 ML 역량에 초점을 맞춘 정의를 가진 35개의 고유한 QA로 정제하였다. 최종 카드 소팅을 통해 이들을 7개의 카테리로 그룹화하였으며, 결과적으로 30개의 품질 속성으로 구성된 최종 모델을 도출하였다.

주요 기여
주요 기여는 요구사항 도출 및 협상을 위한 가이드 역할을 하는 ML 컴포넌트용 품질 모델이다. 이 모델은 ML 컴포ン트 개발자와 시스템 이해관계자가 시스템 유도형 요구사항을 정의하고 테스트 노력을 집중할 수 있도록 공통된 어휘를 제공한다. 모델은 ISO 25059와 같은 현재의 표준이 가진 한계를 해결하며, 속성을 컴포넌트 수준에서 테스트 가능한 것과 시스템 수준인 것으로 구분한다.

모델은 다음의 7개 카테리로 구조화되어 있다:

1. 행위 분석(Behavior Analysis): 분석 가능성, 모니터링 가능성, 테스트 가능성, 이해 가능성.
2. 신뢰도(Confidence): 설명 가능성, 기능적 정확성, 해석 가능성.
3. 일관성(Consistency): 반복 가능성, 재현 가능성.
4. 지속 운영(Continued Operation): 배포 가능성, 회복 탄력성, 신뢰성, 자원 활용도, 견고성, 시간 동작.
5. 유지보수 및 진화(Maintenance and Evolution): 도메인 적응성, 유지보수성, 수정 가능성, 이식성, 교체 가능성, 재학습 가능성, 재사용성.
6. 책임 있는 AI(Responsible AI): 준수성, 경제적 리스크 고려, 공정성, 건강 및 안전 리스크 고려, 포용성, 사회적 및 윤리적 리스크 고려.
7. 보안 및 프라이버시(Security and Privacy): 프라이버시, 저항성.

결과 및 검증
모델의 관련성과 가치는 2025년 8월과 9월에 실시된 초청 기반 실무자 설문조사를 통해 검증되었으며, 정부, 연구 및 산업계로부터 22개의 완전한 응답을 얻었다.

• 현재 테스트 관행 (RQ1): 설문 결과, 현재 테스트는 "예측 품질"(특히 정확도)에 압도적으로 편중되어 있음이 드러났다(약 19%의 응답). 지연 시간(latency)이나 편향(bias)과 같은 다른 속성은 훨씬 적게 언급되었다(~6%). 이는 모델이 메우고자 하는 격을 확인시켜 준다.
• LLM 대비 전통적 ML의 적용성 (RQ2): 참가자들은 식별된 QA의 70%가 전통적인 ML 모델과 대규모 언어 모델(LLM) 모두에 관련이 있다고 응답하였다. 일부 속성이 특정 유형에 더 관련이 있다고 인식되기도 했으나(예: LLM의 경우 "교정(calibration)", 전통적 ML의 경우 "잠재 변수"), 모델은 모델 유형 전반에 걸쳐 폭넓은 가이드를 제공하는 것으로 나타났다.
• 중요도 및 난이도 (RQ3):
  • 중요도: 신뢰성, 테스트 가능성, 배포 가능성, 기능적 정확성, 견고성이 가장 중요한 것으로 평가되었다.
  • 난이도: 보안 측면의 "저항성(Resistance)"이 테스트하기 가장 어려운 것으로 평가되었고, 회복 탄력성 및 윤리적 리스크 고려가 그 뒤를 이었다. 반면, 자원 활용도와 시간 동작은 테스트하기 더 쉬운 것으로 평가되었다.
  • 합의: 참가자의 100%가 이러한 품질 속성을 고려하는 것이 프로덕션 단계까지 발견되지 않을 문제를 조기에 탐지하는 데 도움이 된다는 점에 동의했다(강하게 동의하거나 혹은 동의함).

의의 및 주장
본 논문은 ML 컴포넌트를 위한 테스트 가능한 품질 속성에 초점을 맞춘 최초의 경험적 개발 및 검증된 품질 모델이라고 주장한다. 그 의의는 다음과 같다:

1. 커뮤니케이션 격차 해소: 시스템 이해관계자와 모델 개발자가 요구사항을 협상할 수 있는 공유된 언어를 제공하며, 특히 팀이 분리되어 있거나 개발이 외주화된 경우에 유용하다.
2. 시스템 주도형 테스트 가능: 모델 개발자가 통합 전 단계에서 자신의 컴포넌트가 시스템 유도형 요구사항(예: 자원 제한, 시간 동작)을 얼마나 잘 충족하는지 평가할 수 있게 한다.
3. 실질적 적용: 모델은 오픈 소스 도구인 **MLTE (ML Test and Evaluation)**에 성공적으로 통합되었다. MLTE는 이 모델을 사용하여 요구사항 도출을 가이드하며, 이러한 품질 속성에 따라 정리된 테스트 카탈로그를 포함하여 각 속성에 대한 재사용 가능한 테스트 코드 예시를 제공한다.

저자들은 모델이 데이터 품질(향후 단계로 제안됨)을 다루지 않으며, 확장성(scalability)은 컴포넌트 속성이 아닌 시스템 수준의 속성으로서 의도적으로 제외했음을 인정하며 신중한 입장을 유지한다. 본 연구의 목적은 산업계의 초점을 순수하게 예측적 지표에서 시스템 맥락 내에서의 홀리스틱한 컴포넌트 품질에 대한 관점으로 전환하는 데 있다.