Intelligent Test Case Scheduling Using Multi-Criteria Decision Making for Human–Machine Interface Testing​

현대 산업을 움직이는 기계들을 제작하는 공장에서는 제품이 조립 라인을 떠나기 전 매우 중요한 순간이 찾아옵니다. 바로 최종 검사입니다. 이것은 단순히 도장 상태를 확인하는 가벼운 점검이 아니라, 인간이 기계와 소통할 수 있게 해주는 소프트웨어를 검증하는 엄격하고도 중대한 과정입니다. 인간-기계 인터페이스(HMI)라고 알려진 이 시스템들은 매번 완벽하게 작동해야 하지만, 시간이라는 가혹한 제약 조건 아래에서 테스트를 거쳐야 합니다. 생산 라인은 가능한 모든 점검을 수행하기 위해 몇 시간씩 멈춰 서 있을 수 없으며, 테스트 예산 또한 고정되어 있고 협상의 여지가 없습니다. 만약 치명적인 결함이 걸러지지 않고 통과된다면 그 결과는 매우 심각할 수 있지만, 테스트가 너무 오래 걸리면 공장은 손실을 입게 됩니다. 수십 년 동안 엔지니어들은 자신의 경험에 의존하여 직관과 오래된 체크리스트를 바탕으로 실행할 테스트의 일부를 선택함으로써 이 딜레마를 해결해 왔습니다. 그러나 이러한 방식은 일관성이 없습니다. 어떤 엔지니어는 위험한 결함을 찾아내는 반면 다른 이는 놓칠 수도 있으며, 새로운 제품 버전이 출시될 때마다 프로세스가 변하기 때문입니다. 핵심 과제는 어떤 테스트가 반드시 필요하고 어떤 것을 안전을 위협하지 않으면서 건너뛸 수 있는지 결정하는 것이며, 이는 주관적인 추측을 신뢰할 수 있는 데이터 기반의 의사결정으로 바꾸는 작업입니다.

쓰촨 기술 비즈니스 대학교(Sichuan Technology and Business University)의 연구팀은 수학적 점수 체계를 도입하여 인간의 직관에서 벗어난 새로운 테스트 스케줄링 방식을 개발함으로써 이 문제를 해결했습니다. 그들은 이 방법을 '시간 가중 유틸리티 점수 모델(Time-Weighted Utility Scoring Model)'이라고 부릅니다. 이 시스템은 엔지니어에게 특정 테스트를 실행할지 건너뛸지를 결정하게 하는 대신, 라이브러리에 있는 모든 개별 테스트 케이스에 대해 자동으로 점수를 계산합니다. 이 점수는 단순한 합격 또는 불합격이 아니라, 세 가지 특정 요소로부터 도출된 복잡한 값입니다. 첫째, 시스템은 리스크를 살펴봅니다. 즉, 해당 특정 기능이 과거 기록을 바탕으로 실패할 가능성이 얼마나 높은가를 봅니다. 둘째, 중요도를 가중합니다. 즉, 이 기능이 기계의 안전과 작동에 얼마나 결정적인지를 따집니다. 셋째, 비용을 측정합니다. 즉, 이 특정 테스트를 실행하는 데 드는 시간과 컴퓨가 자원이 얼마나 되는지를 측정합니다. 이 세 가지 요소를 결합하여, 모델은 지금 당장 해당 테스트를 실행하는 것의 전반적인 가치를 나타내는 단일 숫자를 생성합니다.

연구진은 이 모델을 산업용 인간-기계 인터페이스 시스템에 적용하였고, 안전을 희생하지 않으면서도 테스트 시간을 획기적으로 단축할 수 있음을 발견했습니다. 실험에서 전체 테스트 세트를 실행하는 데는 425.9초가 소요되었습니다. 그러나 새로운 점수 체계를 사용하여 가장 가치 있는 테스트만을 선별하여 실행한 결과, 총 시간을 174.9초로 줄였으며, 이는 거의 59%의 감소를 의미합니다. 결정적으로, 이러한 속도 향상은 오류를 놓치는 대가로 이루어진 것이 아닙니다. 이 시스템은 전체 테스트 세트가 찾아낼 수 있는 치명적인 결함의 10 임계값(100%)을 모두 감지해 냈습니다. 이는 안전을 위해 필수적인 고순위 테스트 그룹을 식별한 다음, 나머지 부분에 대해 스마트 샘플링 방식을 사용하여 가장 발생 가능성이 높은 결함을 프로세스 초기에 포착함으로써 달성되었습니다.

이 시스템의 핵심은 학습하고 적응하는 능력에 있습니다. 점수는 고정되어 있지 않으며, 매 테스트 라운드마다 업데이트됩니다. 만약 특정 테스트 케이스가 과거에 여러 번 성공적으로 통과했다면, 그 리스크 점수는 낮아지며 시스템은 낮은 확률로 실행을 허용할 수 있습니다. 반대로, 특정 테스트 케이스가 실패한 이력이 있다면 리스크 점수가 높아지며, 시스템은 문제를 확실히 잡기 위해 해당 테스트를 우선시합니다. 사전에 정의된 임계값 이상의 점수를 가진 경우에는 시스템이 이를 필수 테스트로 결정론적으로 포함시키며, 나머지는 점수에 비례하는 확률적 샘플링을 통해 허용됩니다. 이를 통해 테스트 전략이 제품과 함께 진화하는 피드백 루프가 생성됩니다. 연구진은 다섯 명의 서로 다른 시니어 엔지니어들이 테스트의 중요도와 리스크를 독립적으로 평가하게 함으로써 이 접근 방식을 검증했습니다. 그 결과, 엔지니어들의 개인적인 의견은 약간씩 차이가 있었지만, 시스템의 최종 결과는 다양한 데이터 그룹에 대해 안정적이고 일관되게 유지되었습니다. 이는 이 방법이 한 사람의 판단에 의존하는 것이 아니라, 누가 점수를 매기더라도 신뢰할 수 있는 결과를 만들어낸다는 것을 증명합니다.

가장 중요한 발견 중 하나는 이 시스템이 단순히 가장 저렴한 테스트나 과거에 오류가 가장 많았던 테스트만을 선택하는 것이 아니라는 점입니다. 이 시스템은 세 가지 요소를 동시에 균형 있게 고려합니다. 연구진이 비용만을 기준으로 하거나 리스크만을 기준으로 하는 등 한 번에 하나의 요소만을 고려하여 시스템을 테스트했을 때, 결과는 훨씬 좋지 않았습니다. 세 가지 요소를 모두 함께 고려한 시스템은 단일 요소 접근 방식보다 훨씬 더 빠르게, 그리고 더 적은 테스트로 결함을 찾아낼 수 있었습니다. 실험에서 새로운 방식은 1,200회의 실행이 포함된 특정 실험 그룹 내에서 100%의 결함 탐지율에 도달하기 위해 약 23개의 특정 테스트 케이스만을 실행하면 되었던 반면, 다른 방식들은 동일한 수준의 확신을 얻기 위해 훨씬 더 많은 테스트를 필요로 했습니다. 이러한 효율성은 공장이 제품의 안전을 검증하는 데 절반 미만의 시간만 사용하면서도, 생산을 위한 자원을 확보하고 결함에 대한 무관용 표준을 유지할 수 있음을 의미합니다.

이 연구는 임시방편적인 경험 기반의 의사결정을 문서화된 점수 기반 절차로 대체하는 것이 가능할 뿐만 아니라, 안전이 중요한 소프트웨어 분야에서 더 우월하다는 것을 보여줍니다. 연구진은 테스트 선택을 단순한 효율성 문제가 아닌 품질 리스크 결정으로 다룸으로써, 시간당 발견되는 결함의 수를 극대화하는 동시에 핵심 기능의 검증을 보장할 수 있음을 보여주었습니다. 결과는 여러 독립적인 데이터 그룹에 걸쳐 일관되게 나타났으며, 이는 이 방법이 견고하고 재현 가능하다는 것을 시사합니다. 테스트 선택이라는 혼란스러운 과정을 체계적이고 자원 인지적인 계획으로 전환함으로써, 이 접근 방식은 공장 인수 테스트의 새로운 표준을 제시하며, 우리 세계를 움직이는 기계들이 귀중한 시간을 낭비하지 않으면서도 안전하고 신뢰할 수 있으며 시장에 출시될 준비가 되었음을 보장합니다.