기술 요약: ReqGenX – 레거시 SRS 문서의 원자적 분해, 아티팩트 재생성 및 재구성에 관한 경험적 연구

1. 문제 정의

LLM(대규모 언어 모델) 기반의 소프트웨어 요구사항 명세서(SRS) 생성을 평가하는 것은 소스 요구사항, 중간 단계의 도출 아티팩트, 그리고 생성된 명세 사이의 세밀한 추적성을 제공하는 데이터셋이 부족하기 때문에 매우 어렵습니다. 기존의 자원들은 이질적인 SRS 증거, 중간 단계의 요구사항 공학(RE) 아티팩트, 그리고 추적 관계를 통합적으로 연결하지 못하는 경우가 많습니다. 결과적으로, 생성된 SRS에 대한 평가는 문서 수준의 유창성에 의존하게 되며, 이는 소스 정보의 누락, 서로 다른 관심사의 병합, 또는 근거 없는 요구사항의 도입을 은폐할 수 있습니다.

본 논문은 레거시 SRS 문서를 **추적 가능한 합성 사전-SRS 아티팩트(traceable synthetic pre-SRS artifacts)**로 변환하는 메커니즘의 필요성을 다룹니다. 목표는 레거시 콘텐츠가 핵심 정보를 손실하거나 환각(hallucination)을 유발하지 않고 어떻게 원자적이고 소스에 근거한 진술로 분해되어 표준 아티팩트 유형으로 라우팅될 수 있는지를 조사함으로써, LLM 기반의 SRS 컴파일에 대한 세밀한 평가를 지원하는 기질(substrate)을 만드는 것입니다.

2. 방법론: ReqGenX 파이프라인

저자들은 레거시 SRS를 합성 아티팩트로 변환하는 과정을 운영화하기 위해 설계된 제어되고 재현 가능한 파이프라인인 ReqGenX를 소개합니다. 이 파이프라인은 세 가지 주요 단계로 작동합니다.

1단계: 요구사항의 분해 (Decomposition of Requirements)

• 정규화 (Normalization): 레거시 SRS 문서(주로 PDF)를 텍스트(Markdown)로 변но환하며, 비요구사항 자료(표지, 헤더, 푸터 등)를 제거하고 구조적 오류를 수정합니다.
• 청킹 (Chunking): 복구된 계층 구조를 기반으로 문서를 섹션 수준의 청크로 분할합니다.
• 원자화 (Atomization): LLM 기반의 '원자화 도구(atomizer)'가 청크를 **원자적 진술(atomic statements)**로 분해합니다. '원자(atom)'는 소스에 충실하고, 원자적이며(하나의 일관된 아이디어를 표현), 다운스트림 아티팩트 생성에 유용한, 소스에 의해 뒷받침되는 최소 단위의 명제로 정의됩니다.
• 판단 (Judging): 별도의 판별(judge) LLM이 루브릭(rubric)에 따라 충실성, 원자성, 유용성을 기준으로 원자를 평가하고, 원자 집합을 정제하기 위한 조치(유지, 재작성, 분할, 병합, 제거, 추가)를 제안합니다.

2단계: 의미론적 라우팅 (Semantic Routing)

• 태깅 (Tagging): IEEE 29148에서 영감을 얻은 스키마(예: 목적, 범위, 기능, 품질 속성)를 기반으로 원자에 의미론적 태그를 할당합니다.
• 다중 LLM 투표 (Multi-LLM Voting): 신뢰성을 보장하기 위해 세 개의 독립적인 LLM 에이전트가 각 원자에 대한 태그를 제안합니다. 최종 태그는 다수결 투표를 통해 선택됩니다. 해결되지 않은 사례는 인간 참여형(Human-in-the-Loop, HITL) 검토를 거칩니다.
• 세밀한 분류 (Granular Classification): "요구사항"으로 태깅된 원자는 2차 분류(기능적 vs 품질적)를 거치며, 품질 속성인 경우 하위 유형 분류(예: 이식성, 보안성)를 수행하여 아티팩트 생성을 가이드합니다.

3단계: 아티팩트 생성 및 검토 (Artifact Generation and Review)

• 생성 (Generation): 검증된 원자들은 특정 템플릿을 사용하여 유형화된 사전-SRS 아티팩트(예: 사용자 연구 노트, 시스템 컨텍스트 노트, 품질 속성 제약 조건)로 변환됩니다. 원자의 텍스트는 주요 진실의 근거(source of truth) 역할을 하며, 지원되지 않는 확장은 허용되지 않습니다.
• 반복적 정제 (Iterative Refinement): 판별 LLM이 충실성, 지원, 맥락성, 구조적 정렬, 희소성(sparsity)의 다섯 가지 차원에서 생성된 아티팩트를 평가합니다. 임계값을 통과하지 못한 아티팩트는 반복적으로 수정됩니다.
• 추적성 (Traceability): 파이프라인은 모든 생성된 아티팩트를 소스 원자, 청크, 그리고 원래의 SRS 섹션과 연결하는 프로비넌스(provenance) 메타데이터를 유지합니다.

3. 실험 설계

• 데이터셋: PURE 데이터셋에서 추출한 7개의 SRS 문서(Get Real, Library, Puget Sound, QHeadache, VUB, Libra, Home)로, 총 31,454 단어와 1,408개 문장으로 구성됩니다.
• 모델: 폐쇄형 모델(Claude Sonnet 4.6, GPT-4o)과 오픈소스 모델(GPT-OSS, Gemma 3, Phi-4, Mistral, Llama 3, Qwen3)을 혼합하여 실험을 진행했습니다.
• 평가 지표:
  • AlignScore: 소스와 생성된 콘텐츠 간의 의미론적 지원도를 측정합니다.
  • Judge/Prometheus 점수: 루브릭 기반의 품질 평가(1~5 척도)로 충실성, 원자성, 구조적 정렬을 측정합니다.
  • 임베딩 유사도 (SBERT): 정보 보유량 및 다운스트림 복구 가능성을 측정하는 데 사용됩니다.
  • 커버리지 분석 (Coverage Analysis): 파이프라인을 통해 유지된 소스 정보 단위의 비율을 측정합니다.

4. 주요 결과

RQ1: LLM 기반 RE 결정의 신뢰성

• 의미론적 라우팅: LLM은 의미론적 라우팅을 지원할 수 있으나 신뢰도는 가변적입니다. Claude Sonnet 4.6이 인간의 레이블과 가장 높은 일치도(태그 $\kappa = 0.83$, 요구사항 $\kappa = 0.80$)를 보였습니다. 요구사항의 세밀한 분류에서는 모델 간의 일치도가 낮게 나타났습니다 (예: GPT-4o vs. GPT-OSS $\kappa = 0.31$).
• 품질 판단: Gemma 3가 가장 우수한 판별 모델으로 식별되었으며, 원자와 아티팩트 모두에서 낮은 거짓 양성(false-positive) 비율과 강력한 F1 점수 사이의 좋은 트레이드오프를 제공했습니다.

RQ2: 생성된 원자의 품질

• 충실성 (Faithfulness): 생성된 원자들은 일반적으로 소스 청크에 충실하며, 중간 AlignScore 값은 0.96에서 0.99 사이입니다. 지원되지 않는 비율은 대개 3% 미만이었습니다.
• 커버리지 vs. 충실성: 원자들은 충실하지만, 소스 커버리지는 **35.6%에서 93.5%**까지 크게 변동합니다. 정보 손실은 환각 때문이 아니라, 원자성을 보장하기 위해 분해 과정에서 암시적, 중복적, 또는 실행력이 약한 콘텐츠를 폐기하기 때문에 발생합니다.
• 품질: 정제 후의 원자들은 높은 통과율(원자성 76%100%, 사용성 70%97%)을 달성했으며, 평균 Prometheus 점수는 4.34에서 4.85 사이였습니다.

RQ3: 생성된 아티팩트의 품질

• 근거 (Grounding): 생성된 아티팩트는 소스 원자에 강력하게 근거하고 있으며, 평균 AlignScore 값은 통상 0.80에서 0.94 사이입니다.
• 정제 (Refinement): 반복적 정제 후 판별 통과율은 100%에 근접했습니다. 그러나 엄격한 Prometheus 평가에서는 통과율이 54.8%에서 97.1%로 넓은 편차를 보였는데, 이는 근거가 충분하더라도 구조적 완전성이나 희소성을 보장하지 못함을 시사합니다.

RQ4: 다운스트림 SRS 재구성

• 복구 가능성 (Recoverability): 아티팩트로부터 SRS를 재구성하는 사례 연구에서, 소스 원자들은 의미론적으로 복구 가능했습니다 (SBERT 평균: 0.69–0.75).
• 사실적 지원 (Factual Support): 재구성의 AlignScore 중앙값은 0.76에서 0.84 사이였습니다. 그러나 더 낮은 평균값과 넓은 사분위 범위는 컴파일 과정에서의 추상화나 재구문화로 인해 사실적 지원이 의미론적 유사성보다 더 가변적임을 나타냅니다.

RQ5: 정보 손실 및 실패 패턴

• 그래뉼러티(Granularity) 문제: 정보 손실은 생성 실패보다는 주로 증거의 그래뉼러티에 의해 발생합니다.
  • SRS $\to$ 원자: 진술이 암시적이거나, 묶여 있거나, 문맥 의존적일 때 손실이 발생합니다.
  • 원자 $\to$ 아티팩트: 유효한 원자가 제약된 아티팩트 템플릿을 채우기에 너무 좁은 범위를 가질 때, 혹은 지원되지 않는 내용을 추가하지 않고는 템플릿을 채울 수 없을 때 손실이 발생합니다.
• 정제 패턴: 가장 빈번한 정제 작업은 "재작성(Rewrite)"과 "제거(Remove)"(묶임 현상이나 약한 표현 해결)였으며, "분할(Split)"은 밀집된 섹션에서 흔히 나타났습니다. "병합(Merge)"과 "추가(Add)"는 드물었습니다.

5. 주요 기여

1. 경험적 특성화: 본 연구는 레거시 SRS의 LLM 기반 원자화 특성을 규명하며, 높은 수준의 원자적 충실성이 상당한 수준의 소스 커버리지 변동과 공존할 수 있음을 입증했습니다.
2. 단계별 분석: SRS $\to$ 원자 $\to$ 아티팩트 변환 과정에서의 정보 손실을 세밀하게 분석하여, 이를 증거 그래뉼러티 문제와 환각 현상으로 구분하였습니다.
3. 라우팅 신뢰성: LLM의 의미론적 라우팅(특히 상위 수준 태그)이 세밀한 요구사항 분류보다 더 신뢰할 수 있음을 보여주었으며, Claude가 높은 인간 일치도를 달성함을 확인했습니다.
4. 판별 모델 교정: 291개의 주석이 달린 트리플(triples)을 바탕으로, RE 아티팩트 평가를 위한 LLM 판별 모델 선택에 대한 인간 교정 절차를 제시했습니다.
5. 재현 패키지: 처리된 SRS, 생성된 원자/아티팩트, 프롬프트, 코드북 및 추적성 메타데이터를 포함한 추적 가능한 재현 패키지를 공개합니다.

6. 의의 및 주장

본 논문은 추적 가능한 합성 사전-SRS 아티팩트가 LLM 기반 SRS 생성에 대한 더 세밀한 평가를 지원할 수 있다고 주장합니다. 레거시 문서를 프로비넌스가 연결된 원자적 단위로 분해함으로써, 본 연구는 다음 사이의 중요한 트레이드오프를 드러냅니다:

• 충실성 (Faithfulness): 출력이 소스와 얼마나 일치하는가.
• 정보 보유 (Information Retention): 소스 콘텐츠가 얼마나 보존되는가.
• 아티팩트 완전성 (Artifact Completeness): 환각 없이 출력물이 구조적 요구사항을 충족하는가.

저자들은 LLM이 충실하고 사용 가능한 원자와 근거 있는 아티팩트를 생성할 수는 있지만, 이러한 변환이 무손실(lossless)은 아님을 결론짓습니다. 연구는 주요 병목 현상이 증거의 그래뉼러티에 있음을 강조합니다. 즉, 레거시 SRS에는 깨끗하게 원자 단위로 분해하기 어려운 암시적이거나 묶여 있는 정보가 포함되어 있습니다. 저자들은 본 연구를 생산 준비가 된 SRS 생성 도구가 아니라, 분해, 라우팅, 재구성 단계를 거치면서 정보가 어떻게 변화하는지를 관찰하고 평가하기 위한 실험적 도구로 겸허히 위치시킵니다. 또한, 향후 시스템은 모든 소스 진술을 경직된 템플릿에 강제로 맞추기보다, 부분적으로 지정된 아티팩트를 허용하거나 관련 원자들을 그룹화하는 방식으로 이러한 트레이드오프를 고려해야 한다고 제안합니다.