기술 요약: 요구사항 도출을 위한 OntoAgent

문제 제기

요구사항 도출 인터뷰는 요구사항 공학의 핵심이지만, 여전히 인간 분석가의 경험에 크게 의존하고 있습니다. 이러한 의존성은 상당한 시간 및 교육 비용을 초래하며, 인간의 편향과 의사소통 오해의 위험을 야기합니다. 대규모 언어 모델 (LLM) 이 이 과정을 자동화할 수 있는 길을 제시하지만, LLM 이 구조적 지침 없이 인터뷰어로 작용하는 기존 "자유 형식 (free-form)" 접근 방식은 치명적인 한계를 겪습니다. 실증 연구에 따르면, 이러한 모델은 암시적 요구사항을 발견하는 데 어려움을 겪고, 대화 초기 단계에서 일반적이거나 중복된 질문을 자주 생성하며, 해석 가능성과 제어 가능성이 부족합니다. 결과적으로 요구사항 공간을 체계적으로 탐색하지 못해 요구사항 포착이 불완전해집니다.

방법론: OntoAgent

이러한 한계를 해결하기 위해 저자들은 LLM 을 구조화된 경험 온톨로지 (Experience Ontology) 와 통합한 인터뷰 에이전트인 OntoAgent를 제안합니다. 핵심 설계 원칙은 경험 있는 분석가가 사용하는 구조화된 인지 프레임워크를 명시적으로 모델링하여, 무엇을 물을 것인지 (온톨로지에 의해 안내됨) 와 어떻게 물을 것인지 (LLM 이 생성함) 를 분리하는 것입니다.

이 프레임워크는 두 가지 상호 연관된 단계로 작동합니다:

1. 경험 온톨로지 유도 (Induction)

OntoAgent 는 도메인별 요구사항 텍스트로부터 계층적 3 단계 트리 구조를 자동으로 구성합니다. 이 온톨로지는 구조화된 질문 공간을 제공합니다:

• 측면 (Aspects, 1 단계): 시스템 요구사항의 고수준 추상화 (예: 상호작용, 콘텐츠, 스타일). 이러한 요소는 안정성을 보장하기 위해 도메인 전문가가 제공합니다.
• 차원 (Dimensions, 2 단계): 측면 내의 핵심 기능점 (예: 검색, 표시, 로그인). 이러한 요소는 새로운 차원 생성보다 의미적 병합을 우선시하는 보수적 확장 전략을 가진 LLM 을 사용하여 자동으로 유도됩니다.
• 슬롯 (Slots, 3 단계): 세분화되고 명확화 가능한 요구사항 세부사항 (예: 필터링 옵션, 정렬 규칙). 이러한 요소는 정규화된 항목과 후보 명확화 질문의 튜플로 추출됩니다.

2. 온톨로지 안내 인터뷰

다중 턴 인터뷰 동안 OntoAgent 는 가장 관련성이 높지만 충분히 탐색되지 않은 요구사항 슬롯을 동적으로 선택하기 위해 네 가지 주요 작업을 포함하는 의사결정 루프를 실행합니다:

• ParseUser: 이해관계자의 응답을 해석하여 측면 및 차원 수준 모두에서 가지치기 결정을 지원합니다.
• ScoreOnto: 초기 요구사항 설명을 기반으로 온톨로지 노드에 초기 우선순위 점수를 할당하여 인터뷰가 높은 관련성을 가진 가지에서 시작되도록 합니다.
• ReRankOnto: 업데이트된 대화 기록을 기반으로 후보 슬롯을 동적으로 재평가하고 재배열하여 새로운 맥락에 적응합니다.
• GatePrune: 중복을 줄이기 위해 두 가지 가지치기 메커니즘을 구현합니다:
  • 측면 수준: $N$번의 질문 후 새로운 요구사항이 나오지 않으면 매크로 확인 질문을 트리거합니다. 만약 부정적이라면 해당 가지를 가지치기합니다.
  • 차원 수준: 이해관계자가 명시적으로 차원을 거부하면 즉시 슬롯을 가지치기합니다.
• QuestionGen: 선택된 슬롯과 현재 대화 맥락을 결합하여 자연어 기반의 맥락 인식 도출 질문을 생성합니다.

주요 기여

1. OntoAgent 프레임워크: 인터뷰 경험을 온톨로지로 명시적으로 모델링하고 이를 LLM 과 통합하여 구조화된 질문 생성을 용이하게 하는 인터뷰 에이전트 제안.
2. 경험 온톨로지: 해석 가능하고 구조화된 질문 공간으로 기능하는 3 단계 계층적 트리 (측면, 차원, 슬롯) 개발.
3. 온톨로지 안내 메커니즘: 요구사항 슬롯을 동적으로 선택하고 맥락 인식 질문을 생성하기 위해 네 가지 작업 (ParseUser, ScoreOnto, ReRankOnto, GatePrune) 으로 구성된 의사결정 메커니즘 설계.
4. 종합 평가: 프레임워크의 효과성과 실용적 적용 가능성을 입증하는 광범위한 정량적 및 정성적 평가.

실험 결과

저자들은 ReqElicitGym 환경을 사용하여 101 개의 웹사이트 애플리케이션 시나리오에서 OntoAgent 를 평가하였으며, Non-CoT, CoT, LLMREI-short/long, 그리고 실수 유도 프롬프팅 (Mistake-guided Prompting) 을 포함한 5 가지 베이스라인과 비교했습니다.

• 효과성 (IRE): OntoAgent 는 암시적 요구사항 도출 비율 (IRE) 0.69를 달성하여 최상의 베이스라인 (0.52 인 실수 유도 프롬프팅) 대비 33% 의 상대적 개선을 보였습니다. 이는 암시적 요구사항을 발견하는 데 있어 뛰어난 능력을 입증합니다.
• 효율성 (TKQR): OntoAgent 는 턴 할인 핵심 질문률 (TKQR) 0.59를 달성하여 최상의 베이스라인 대비 21% 의 상대적 개선을 보였습니다. 이는 더 높은 질문 효율성과 대화 초기에 핵심 요구사항을 식별하는 능력을 나타냅니다.
• 절대 실험 (Ablation Studies): 구성 요소의 점진적 추가는 경험 온톨로지가 가장 큰 성능 향상을 제공하며, ScoreOnto, ReRankOnto, GatePrune 이 정렬, 효율성 및 중복 감소를 추가로 정제함을 확인했습니다.
• 강건성: 이 프레임워크는 Claude, Gemini, DeepSeek, Kimi, GLM, Qwen 을 포함한 6 가지 다른 기본 LLM 에 걸쳐 강력한 일반화 능력을 보여주었으며, 기본 모델에 관계없이 경쟁력 있는 성능을 유지했습니다.
• 유형별 분석: OntoAgent 는 상호작용, 콘텐츠, 스타일 요구사항 전반에 걸쳐 균형 잡힌 커버리지를 제공했습니다. 특히, 자유 형식 접근 방식이 종종 간과하는 스타일 요구사항 도출에서 베이스라인을 크게 상회했습니다 (IRE 0.55 대 일부 베이스라인의 <0.01).
• 인간 평가: 이해관계자로 역할을 한 6 명의 참가자를 대상으로 한 연구에서 OntoAgent 는 도출 효과성, 질문 효율성, 적응성 측면에서 베이스라인 대비 유의하게 높은 리커트 척도 점수 (p < 0.05) 를 받았습니다.

중요성과 주장

이 논문은 OntoAgent 가 LLM 의 생성 능력과 경험 있는 분석가의 구조화된 인지 과정 사이의 간극을 성공적으로 메웠다고 주장합니다. 자유 형식 LLM 채팅을 체계적이고 해석 가능한 조사 과정으로 변환함으로써 OntoAgent 는 암시적 요구사항 누락 및 중복 질문이라는 치명적인 문제를 해결합니다.

저자들은 그들의 작업이 자동화된 요구사항 개발을 발전시키기 위한 온톨로지 안내 LLM 에이전트의 중요성을 입증한다고 주장합니다. 그들은 인터뷰 경험을 명시적으로 모델링하는 것이 높은 도출 커버리지와 효율성을 달성하는 데 필수적이며, 그들의 접근 방식은 테스트된 웹 애플리케이션 도역을 넘어 실제 세계의 요구사항 도출 작업에 대한 실용적이고 확장 가능한 솔루션을 제공한다고 결론지었습니다.