ARQM: A Tool for Requirements Quality Analysis

당신이 거대한, 혼란스러운 도서관의 편집자라고 상상해 보십시오. 이 도서관의 모든 책은 다리, 비디오 게임, 혹은 우주선처럼 새로운 무언가를 만들기 위한 설계도입니다. 단 하나의 벽돌이 놓이거나 한 줄의 코드가 작성되기 전에, 설계자들은 자신들이 정확히 무엇을 필요로 하는지 기록해야 합니다. 이 메모들을 "요구사항(requirements)"이라고 부릅니다. 하지만 문제는, 인간은 이 메모를 완벽하게 쓰는 데 서투르다는 점입니다. 우리는 지치기도 하고, "아마도"나 "빠르게"와 같은 모호한 단어를 사용하며, 때로는 실수로 서로 모순되는 내용을 적기도 합니다. 만약 설계도가 엉망이라면, 건물은 무너지거나 게임은 다운될 것입니다. 이것이 바로 **요구사항 공학(Requirement Engineering)**의 세계입니다. 즉, 인간의 아이디어를 명확하고 엄격한 기계용 지침으로 바꾸는, 복잡하고도 중대한 과정입니다.

이를 해결하기 위해 과학자들은 수십 년 동안 디지털 "교정가"들을 만들어 왔습니다. 전통적으로 이 교정가들은 빨간 펜과 간단한 규칙 목록을 든 엄격한 사서와 같았습니다. "만약 'must'라는 단어가 보이면, 그것은 요구사항이다. 만약 'process'라는 단어가 보이면, 그것은 아니다"와 같은 식이었죠. 하지만 이러한 오래된 규칙들은 인간 언어의 뉘앙스를 놓치는 경우가 많았습니다. 여기에 **인공지능(AI)**과 **머신러닝(ML)**이 등장합니다. 이들을 단순한 규칙 준수자가 아니라, 수백만 개의 문서를 읽은 매우 관찰력이 뛰어난 견습생이라고 생각해보십시오. 단순히 특정 단어를 찾는 대신, 이들은 문장의 '분위기'를 파악하며, 단순한 목록이 결코 할 수 없었던 방식으로 맥락과 의미를 이해합니다. 연구자들이 던지는 핵심 질문은 이것입니다. 이 똑똑한 견습생들이 구식의 규칙 기반 사서들보다 나쁜 설계도를 찾아내는 일을 더 잘할 수 있을 것인가?

이 논문은 새로운 디지털 견습생인 ARQM(자동 요구사항 품질 관리)을 소개합니다. 펜실베니아 주립대학교의 연구진은 이 도구가 요구사항 문서의 지치지 않고 세심한 편집자 역할을 할 수 있도록 이 도구를 구축했습니다. 이전 모델들이 낡고 경직된 규칙에 의존했던 것과 달리, ARQM은 현대적인 AI를 사용하여 문서를 "읽고" 두 가지 주요 작업을 수행합니다. 첫째, 이는 스크리닝 필터(screening filter) 역할을 하여, 뒤섞인 텍스트 더미를 훑으며 "이 문장이 실제로 요구사항인가, 아니면 그저 배경 소음인가?"를 결정합니다. 둘째, 이는 품질 검사관(quality inspector) 역할을 하여, 필터를 통과한 요구사항들이 실제로 양호한지 확인합니다. ARQM은 무엇이 요구사항을 명확하고, 테스트 가능하며, 모호하지 않게 만드는지에 대한 글로벌 규칙서인 IEEE 29148 표준을 바탕으로 특정 "냄새(smells)"나 위반 사항을 찾아냅니다.

연구팀은 단순히 도구를 만든 것에 그치지 않고, 이를 혹독한 훈련 캠프에 투입했습니다. 그들은 요구사항을 식별하는 법을 가르치기 위해 PURE(PUblic REquirements)라는 공개 데이터셋에서 추출한 수천 개의 문장을 이 도구에 학습시켰습니다. 그런 다음, 네 가지 특정 유형의 품질 문제를 체크하기 위해 인간 전문가들이 정성껏 라벨을 붙인 특별한 문서 세트로 이를 테스트했습니다. 그 네 가지는 모호성(혼란스러운가?), 실현 가능성(실제로 가능한가?), 단일성(한 번에 너무 많은 일을 하려고 하는가?), 그리고 검증 가능성(작동함을 증명할 수 있는가?)입니다.

결과는 이 AI 견습생이 정말로 강력한 신입 사원임을 시사합니다. 무엇이 요구사항이고 무엇이 아닌지를 단순히 식별하는 문제에 있어서, 이 도구의 가장 발전된 모델인 DistilBERT는 테스트된 거의 모든 다른 방법보다 더 뛰어난 성능을 보였으며 높은 수준의 정확도를 달 achievement 했습니다. 이 모델은 요구사항이 종종 "shall"이나 "must"와 같은 단어를 사용하여 격식 있고 엄격하게 들린다는 점을 배웠고, 반대로 요구사항이 아닌 것들은 행정적인 잡담처럼 들린다는 점을 배웠습니다. 그러나 논문은 AI가 마법은 아니라고 언급합니다. AI는 여전히 가장 미묘하고 인간적인 뉘之处(뉘앙스)를 다루는 데 어려움을 겪습니다. 예를 들어, AI는 요구사항이 "단일한지"(한 가지에 집중하는지)를 찾아내는 데는 매우 능숙해졌지만, 무엇이 "모호"하거나 "검증 가능한"지에 대해 인간과 의견을 일치시키는 데는 더 어려움을 겪었습니다. 이는 AI가 명백한 실수는 잡아낼 수 있지만, 가장 까다롭고 주관적인 오류에는 여전히 인간의 손길이 필요하다는 것을 시사합니다.

ARQM의 가장 멋진 기능 중 하나는 **설명 가능한 AI(XAI)**의 활용입니다. 이 도구는 단순히 "이 문장은 나쁩니다"라고 말하는 대신, 왜 그렇게 판단했는지에 대한 특정 단어들을 강조하여 보여줍니다. 마치 선생님이 문장에 빨간색으로 동그라미를 치고 "이 단어는 너무 모호합니다"라고 적어주는 것과 같습니다. 이는 인간 작성자가 단순히 암호 같은 에러 메시지를 받는 대신, 자신의 요구사항을 왜 수정해야 하는지 그 이유를 이해하도록 도와줍니다.

연구진은 자신들의 도구가 아직 완벽하게 해결된 문제는 아니라는 점을 신중하게 밝히고 있습니다. 그들은 학습 데이터에 일부 공백이 있다는 것을 발견했습니다. 예를 들어, "실현 불가능한" 요구사항의 사례가 매우 적었기 때문에 AI가 그 특정 교훈을 배우기가 어려웠습니다. 또한 데이터를 라벨링한 인간 전문가들이 항상 서로 일치하지 않았으며, 이는 AI가 때때로 상충하는 지침으로부터 배워야 했음을 의미합니다. 이러한 한계에도 불구하고, 이 연구는 현대적인 AI 방식이 중요한 진전임을 시사합니다. AI는 기존의 규칙 기반 도구들이 놓쳤던 일반적인 패턴을 학습할 수 있으며, 우리의 디지털 세계의 설계도를 정화하는 더 빠르고 총체적인 방법을 제공합니다. 논문은 ARQM이 강력한 시작점이지만, 이 기술의 미래는 더욱 다양한 데이터를 학습시키고, 이 도구가 돕고 있는 프로젝트의 더 깊은 맥락을 이해하도록 만드는 데 달려 있다고 결론짓습니다.