Read, Extract, Classify: A Tool for Smarter Requirements Engineering

ReXCL: 더 지능적인 요구사항 공학을 위한 도구의 기술적 요약

문제 정의
소프트웨어 개발에서 효과적인 요구사항 공학 (RE) 은 시스템 출력물이 이해관계자의 기대와 일치하도록 하는 데 중요합니다. 그러나 고객 요구사항 명세서를 처리하는 현재 워크플로우는 일반적으로 PDF 또는 DOC 파일과 같은 반구조화된 형식으로 제공되며, 대부분 수동으로 수행되어 오류가 발생하기 쉽고 노동 집약적입니다. 이해관계자는 다양한 문서 레이아웃을 수동으로 해석하고, 섹션 구조를 추출하며, 콘텐츠를 미리 정의된 스키마에 매핑하고, 요구사항 (예: 기능적, 비기능적, 정보적) 을 분류해야 합니다. 이러한 수동 단계는 지연을 초래하고 추적성을 저하시키며, 특히 IBM DOORS 와 같은 하류 도구에 데이터를 통합할 때 RE 프로세스의 전반적인 품질을 훼손합니다.

방법론
이러한 과제를 해결하기 위해 저자들은 요구사항 텍스트의 추출 및 분류를 모두 자동화하도록 설계된 도구인 ReXCL을 제시합니다. 이 시스템은 두 가지 주요 모듈을 통해 작동합니다.

1. 추출 모듈:

   • 입력 처리: 이 모듈은 PyMuPDF4LLM 과 같은 패키지를 사용하여 원시 입력 문서 (PDF, DOC, TXT) 를 중간 마크다운 기반 텍스트 표현으로 변환합니다. 이 접근 방식은 구조를 평탄화하는 표준 텍스트 변환기와 달리 섹션 제목 (특수 토큰으로 표시됨) 및 테이블 포맷팅을 포함한 문서 구조를 보존합니다.
   • 노이즈 제거: 헤더와 푸터 (예: 페이지 번호, 날짜) 를 제거하기 위해 경량의 Random Forest 분류기가 사용됩니다. 이 이진 분류기는 발생 빈도와 위치 정보라는 두 가지 특징을 사용하여 페이지 상단 또는 하단에 위치한 중복 문장을 식별하고 제거합니다.
   • 구조적 파싱: 정제된 텍스트는 섹션 번호, 제목 및 관련 텍스트 블록을 식별하도록 파싱됩니다. 이러한 요소들은 $\langle \text{number}_i, \text{heading}_i, [\text{text}_{i1}, \dots, \text{text}_{im}] \rangle$ 형태의 구조화된 튜플로 그룹화됩니다.
   • 출력: 튜플은 하류 처리를 준비하여 객체 식별자, 번호, 제목, 텍스트 및 레벨을 포함하는 표 형식 스키마로 포맷팅됩니다.

2. 분류 모듈:

   • 도메인 적응: 시스템은 자동차 도메인에 맞게 맞춤화된 BERT 기반 모델을 사용합니다. 이 과정은 대규모 라벨 없는 자동차 요구사항 텍스트에 대한 반복적 마스킹 언어 모델링으로 시작됩니다. 이 단계는 도메인 특유의 용어와 구문 구조를 포착하도록 사전 훈련된 범용 모델을 정제합니다.
   • 지도 미세 조정: 적응 이후, 모델은 라벨이 지정된 요구사항 텍스트를 사용하여 지도 학습 환경에서 미세 조정됩니다. 다층 퍼셉트론 (MLP) 이 트랜스포머 출력의 [CLS] 토큰에 적용되어 문서 수준의 의미 분류를 수행합니다.
   • 카테고리 분류: 모델은 각 요구사항 텍스트를 Info, Header, Functional Requirement(기능적 요구사항), 또는 Non-Functional Requirement(비기능적 요구사항) 중 하나의 카테고리에 할당합니다.

주요 기여

• 자동화된 스키마화: ReXCL 은 이전에 상당한 인력 노력이 필요했던 반구조화된 요구사항 문서의 스키마화를 자동화하는 새로운 접근 방식을 제공합니다.
• 통합 파이프라인: 헤더 감지 또는 섹션 분류를 별도로 다루던 이전 작업과 달리, ReXCL 은 구조적 추출과 의미적 분류를 모두 처리하는 포괄적인 파이프라인을 제공합니다.
• 적응형 미세 조정: 이 도구는 자동차 도메인의 저자원 분류 작업을 처리하기 위한 두 단계 훈련 과정 (도메인 적응 followed by 지도 미세 조정) 의 유효성을 입증합니다.
• 상호 운용성: 최종 출력물은 CSV, Excel, YAML, JSON 과 같은 표준 형식으로 내보낼 수 있으며 IBM DOORS 및 Jira 와 같은 업계 표준 RE 도구와 호환됩니다.

평가 결과

• 추출 성능: 445 문장을 검토한 3 명의 도메인 전문가가 참여한 수동 평가에서 추출 모듈은 평균 정확도 점수 4.45/5를 달성했습니다. 헤더/푸터 제거 구성 요소는 평균 정확도 **96.05%**를 달성했습니다.
• 분류 성능: 경험적 결과는 기본 "바닐라" BERT 모델에 비해 적응형 미세 조정으로 인해 상당한 향상이 있음을 보여줍니다.
  • 바닐라 BERT F1 점수: 카테고리 간 0.22 에서 0.41 사이였습니다.
  • 적응형 미세 조정된 BERT F1 점수: Header 의 경우 0.99, Info 의 경우 0.98, Functional Requirements 의 경우 0.98, Non-Functional Requirements 의 경우 0.93을 달성했습니다.
  • 이러한 개선은 비기능적 요구사항과 같이 과소 대표된 카테고리에서 특히 유의미했습니다.

의의 및 주장
이 논문은 ReXCL 이 요구사항 관리의 효율성과 정확성을 크게 향상시켜 수동이고 오류가 발생하기 쉬운 프로세스에서 자동화되고 데이터 기반의 워크플로우로의 전환을 의미한다고 주장합니다. 인력 노력을 줄이고 일관성을 높임으로써 이 도구는 원시 문서를 구조화되고 실행 가능한 데이터로 변환하는 과정을 간소화합니다. 저자들은 ReXCL 을 전문가 검토와 경험적 지표로 검증된 실제 환경에서의 실용적인 해결책으로 위치시킵니다.

향후 작업
저자들은 도구의 향후 버전은 프레젠테이션 및 스프레드시트를 포함하여 이미지, 테이블 및 멀티모달 문서에 대한 지원을 확장하는 것을 목표로 한다고 언급합니다.