Automating the Detection of Requirement Dependencies Using Large Language Models

1. 문제 정의 (Problem Statement)

현대 소프트웨어 시스템은 이해관계자와 사용자의 요구가 복잡해짐에 따라 방대한 수의 요구사항과 높은 종속성을 가지게 되었습니다. 요구사항 간의 종속성 (예: A 요구사항이 충족되려면 B 요구사항이 먼저 충족되어야 함) 을 식별하는 것은 영향 분석, 일관성 유지, 리소스 할당 등 소프트웨어 개발의 핵심 의사결정에 필수적입니다.

그러나 현재 종속성 탐구 작업은 다음과 같은 한계로 인해 여전히 어렵고 비효율적입니다:

• 자연어 (NL) 의 모호성: 요구사항이 자연어로 작성되어 있어 의미적 추론이 필요합니다.
• 수동 작업의 부담: 기존 접근법 (검색 기반, 지식 기반, 머신러닝 기반) 은 도메인 특화 컨텍스트를 반영하지 못하거나, 대량의 레이블링된 데이터가 필요하며, 클래스 불균형 (종속성이 없는 경우가 훨씬 많음) 문제를 해결하기 어렵습니다.
• 기존 방법론의 부족: 검색 기반 방법은 고정된 표현에 의존하고, 지식 기반 방법은 유지보수 비용이 크며, 머신러닝 기반 방법은 데이터 부족과 불균형에 취약합니다.

2. 제안된 방법론: LEREDD (Methodology)

저자들은 LEREDD (LLM-Enabled REquirement Dependency Detection) 라는 새로운 자동화 접근법을 제안했습니다. 이는 대규모 언어 모델 (LLM) 의 자연어 처리 능력을 활용하여 요구사항 쌍 간의 직접적인 종속성을 탐지하는 프레임워크입니다.

LEREDD 는 두 가지 핵심 기술을 결합합니다:

1. 검색 증강 생성 (RAG, Retrieval-Augmented Generation):
   • 소프트웨어 요구사항 명세서 (SRS) 문서에서 도메인 특화 컨텍스트를 추출합니다.
   • 시스템 아키텍처 및 구성 요소 간의 구조적 관계를 파악하여 요구사항 간의 연결 고리를 이해하는 데 도움을 줍니다.
   • SRS 의 시스템 설명 섹션과 요구사항 목록을 대상으로 의미적으로 유사한 청크 (chunk) 를 검색하여 프롬프트에 포함시킵니다.
2. 문맥 학습 (ICL, In-Context Learning):
   • 주어진 요구사항 쌍과 의미적으로 유사한 기존 레이블링된 예시들을 동적으로 검색하여 프롬프트에 포함시킵니다.
   • 각 종속성 유형 (Requires, Implements, Conflicts 등) 과 '종속성 없음 (No Dependency)' 경우에 대한 예시를 제공하여 모델의 분류 성능을 향상시킵니다.

프로세스 흐름:

1. 지식 검색 단계: RAG 를 통해 도메인 컨텍스트를 추출하고, SBERT 모델을 사용하여 유사한 예시들을 동적으로 검색합니다.
2. 종속성 추론 단계: 검색된 컨텍스트와 예시를 포함한 증강된 프롬프트를 LLM (실험 결과 GPT-4.1 이 가장 우수함) 에 입력합니다.
3. 출력: LLM 은 각 요구사항 쌍에 대해 (1) 종속성 유형 (또는 없음), (2) 예측 근거 (Rationale), (3) 신뢰도 점수 (5 점 척도) 를 생성합니다.

지원하는 종속성 유형: Requires, Implements, Conflicts, Contradicts, Details, Is similar, Is a variant 등 7 가지 유형.

3. 주요 기여 (Key Contributions)

• LEREDD 프레임워크 개발: RAG 와 ICL 을 결합하여 자연어 요구사항 간의 다양한 종속성 유형을 자동으로 탐지하는 최초의 체계적인 접근법 중 하나를 제시했습니다.
• 데이터셋 공개: 3 개의 서로 다른 자동차 시스템 (Traffic Jam Assist, Automated Parking Assist, Adaptive Driving Beam) 에서 추출한 813 개의 레이블링된 요구사항 쌍으로 구성된 새로운 데이터셋을 공개하여 재현성과 향후 연구를 지원합니다.
• 비교 평가: 제로샷 (Zero-shot) LLM, 검색 기반 (TF-IDF & LSA), 지식 기반 (Ontology), 머신러닝 기반 (Fine-tuned BERT) 등 최신 기법 (SOTA) 과의 광범위한 비교 평가를 수행했습니다.

4. 실험 결과 (Results)

LEREDD 는 3 개의 시스템에 대한 실험을 통해 다음과 같은 성과를 입증했습니다:

• 전체 성능: 평균 정확도 92.66%, 평균 F1 점수 **84.33%**를 달성하여 모든 베이스라인을 압도했습니다.
• 종속성 없음 (No Dependency) 탐지: 실제 문서에서 대다수를 차지하는 '종속성 없음' 사례를 매우 정확하게 식별하여 평균 F1 점수 **96%**를 기록했습니다. 이는 수동 분석의 부담을 크게 줄여줍니다.
• 세밀한 종속성 탐지:
  • Requires(필요함) 종속성 탐지에서 기존 베이스라인 대비 평균 94.87% (TF-IDF 대비) 및 105.41% (Fine-tuned BERT 대비) 의 상대적 F1 점수 향상을 보였습니다.
  • Implements(구현) 종속성에서도 기존 모델이 거의 0 에 수렴하던 성능을 0.70 수준으로 크게 개선했습니다.
• 교차 데이터셋 평가 (Cross-Dataset): 학습 데이터와 다른 시스템 (데이터셋) 에서 테스트했을 때에도 LEREDD 는 높은 성능을 유지했습니다. 반면, Fine-tuned BERT 는 학습 데이터와 테스트 데이터가 다를 경우 성능이 급격히 저하되는 반면, LEREDD 는 도메인 적응력이 뛰어나 강건함을 입증했습니다.
• 모델 비교: 제로샷 설정에서 GPT-4.1 이 다른 오픈소스 모델 (Llama, Gemma, Mistral) 보다 우수했으나, 여전히 RAG 와 Few-shot 기법과 결합했을 때 성능이 극대화되었습니다.

5. 의의 및 결론 (Significance)

• 실무적 가치: 요구사항 분석에서 '종속성 없음'인 경우를 자동으로 필터링함으로써, 분석가들이 실제 종속성이 존재하는 복잡한 사례에 집중할 수 있게 하여 분석 비용과 시간을 획기적으로 절감합니다.
• 기술적 통찰: 단순한 의미 유사성 매칭을 넘어, 도메인 컨텍스트 (RAG) 와 적절한 예시 (ICL) 를 결합한 구조화된 추론이 요구사항 종속성 탐지에 필수적임을 입증했습니다.
• 확장성: 레이블링된 데이터가 부족한 실제 산업 환경에서도 새로운 시스템에 적용 가능한 강건한 솔루션을 제공하며, 향후 간접 종속성 탐지 및 영향 분석으로의 확장을 위한 기반을 마련했습니다.

요약하자면, 이 논문은 LLM 의 추론 능력과 검색 기반 컨텍스트 증강을 결합하여 기존 머신러닝 및 검색 기반 방법론의 한계를 극복하고, 요구사항 종속성 탐지의 정확성과 효율성을 혁신적으로 향상시킨 획기적인 연구입니다.