기술 요약: LENS – 이해관계자 대화를 통한 잠재적 요구사항의 LLM 기반 발견

문제 정의

이해관계자 인터뷰는 요구사항 도출을 위한 주요 원천이지만, 관련 요구사항의 상당 부분은 암묵적인 상태로 남아 있습니다. 이해관계자들은 종-종 소프트웨어 역량을 명시적으로 표현하기보다는 워크플로우, 운영상의 어려움, 또는 비효율성을 설명하곤 합니다. 최근 연구들이 대화형 데이터에서 요구사항을 추출하기 위해 거대언어모델(LLM)을 활용하는 방안을 탐구해 왔으나, 기존 방식은 주로 명시적으로 진술된 요구사항을 식별하는 데 집중되어 있습니다. 이러한 한계는 **잠재적 요구사항(latent requirements)**을 간과합니다. 잠재적 요구사항이란, 기존 조직의 도구, 워크플로우 및 인프라 맥락에서 이해관계자의 진술을 해석할 때 비로소 드러나는 타당한 자동화 기회를 의미합니다. 과제는 이러한 잠재적 요구사항의 추론을 자동화하는 동시에, 원래의 대화에 대한 추적성을 유지하고 생성된 요구사항이 실행 가능하도록 보장하는 것입니다.

방법론: LENS 접근 방식

저자들은 이해관계자 인터뷰 녹취록을 분석하여 명시적 요구사항과 잠재적 요구사항을 모두 추출하기 위해 설계된 2단계 프레임워크인 LENS(LLM-Enabled Needs Discovery from Stakeholder Interviews)를 제안합니다.

핵심 워크플로우

1. 1단계: 명시적 요구사항 추출:

   • LLM은 인터뷰 녹취록을 분석하여 이해관계자가 명시적으로 진술한 요구사항을 식별합니다.
   • 이를 특정 녹취록 발췌문 및 타임스탬프와 연결된 구조화된 사용자 스토리(user stories) 형태로 추출하여 추적성을 보장합니다.
   • 이 과정에서는 실제 요구사항과 단순한 현재의 수동 프로세스 또는 기존 자동화에 대한 설명을 구분하기 위해 특정 규칙이 적용된 퓨샷 프롬프팅(few-shot prompting)을 활용합니다.

2. 2단계: 잠재적 요구사항 추론:

   • LLM은 동일한 녹취록을 조직적 맥락(구체적으로 사용 가능한 소프트웨어 도구, 인프라 및 자동화 역량에 대한 설명)과 함께 분석합니다.
   • 조직의 도구들을 바탕으로 이해관계자의 고충(pain points)과 비효율성에 대한 설명을 추론함으로써, LLM은 잠재적 요구사항을 도출합니다.
   • 각 추론된 요구사항에 대해 LENS는 다음을 포함하는 구조화된 **근거(rationale)**를 생성합니다:
     • 기저에 깔린 문제점 또는 비효율성.
     • 해당 요구사항이 특정 조직 도구를 사용하여 문제를 어떻게 해결하는지.
     • 조직 관행에 미칠 예상 효과 (예: 시간 절감).

기술적 구현

• 모델: 본 연구에서는 강력한 추론 능력과 넓은 컨텍스트 윈도우를 갖춘 Claude Sonnet 4.5를 사용하였습니다.
• 프롬프트 엔지니어링: 시스템은 다음을 포함하는 프롬프트를 사용합니다:
  • 역할 정의 (추출가 vs 추론가).
  • 명확성, 완전성 및 일관성을 보장하기 위한 13가지 품질 사용자 스토리(QUS) 기준.
  • 실제 의도와 대화상의 노이즈를 구분하기 위한 특정 규칙.
  • 생성을 가이드하기 위한 퓨샷 예시.
  • 다운스트림 통합을 위한 구조화된 출력 형식(JSON).
• 컨텍스트 그라운딩(Context Grounding): 2단계에서는 추론의 기술적 타당성을 확보하기 위해 조직의 도구 목록과 그 역량을 명시적으로 입력값으로 사용합니다.

경험적 평가

저자들은 글로벌 사이버 보안 기업인 eSentire의 산업 현장에서 예비 평가를 수행했습니다.

• 데이터셋: 보안 운영 센터(SOC)의 세미 구조화된 인터뷰 녹취록 12개를 사용하였으며, 이는 분석가 성능 평가 및 보고 워크플로우를 다룹니다. 녹취록은 평균 약 60분 분량이며, 약 8,900 단어와 154회의 화자 턴(speaker turns)을 포함합니다.
• 평가 지표:
  • RQ1 (명시적 추출 정확도): 연구자가 구축하고 도메인 전문가가 검증한 그라운드 트루스(ground-truth) 세트에 대한 정밀도(Precision), 재현율(Recall), F1-스코어를 측정했습니다.
  • RQ2 (잠재적 요구사항의 유용성): eSentire의 두 독립적인 도메인 전문가가 요구사항을 시간 이득(자동화 실행 vs 수동 실행 비교), 참신함(novelty), **실행 가능성(feasibility)**을 기준으로 평가했습니다.

주요 결과

• 명시적 요구사항 (RQ1):
  • 온도(temperature) 설정이 0.7일 때 LENS는 최적의 성능을 보였습니다:
    • 정밀도(Precision): 73%
    • 재현율(Recall): 100%
    • F1-스코어: 84.4%
  • 오탐(False positives)은 주로 LLM이 자동화 의도가 없는 수동 작업 언급, 기존 자동화에 대한 논의, 또는 확인 요청 언어(예: "맞죠?")를 새로운 요구사항으로 오해하여 발생했습니다.
• 잠재적 요구사항 (RQ2):
  • 유용성: 추론된 잠재적 요구사항 중 평균 **75%**가 전문가들로부터 중간 또는 높은 수준의 시간 이득(즉, 유용한 자동화 또는 시간 절감 잠재력)을 제공한다는 평가를 받았습니다.
  • 참신함: 전문가들은 추론된 요구사항이 이해관계자들이 처음에 고려하지 못했던 통찰과 기회를 제공한다고 언급했습니다.
  • 실행 가능성 과제: 전문가 피드백의 약 49%는 근거(rationale)에 구체적인 기술적 세부 사항이 부족함을 지적했습니다. 다른 문제로는 완전히 설명되지 않은 특정 데이터 소스/API에 대한 의존성, 그리고 제안된 도구의 실제 역량과의 간헐적인 불일치 등이 있었습니다.

주요 기여

1. LENS 프레임워크: 조직적 맥락(도구 및 인프라)에 대한 추론을 통해 LLM의 역량을 명시적 요구사항 추출을 넘어 잠재적 요구사항의 발견까지 확장한 새로운 접근 방식입니다.
2. 구조화된 출력: 추적 가능한 사용자 스토리와 구조화된 근거를 생성하며, 이를 특정 녹취록 타임스탬프에 연결합니다.
3. 산업 예비 평가: 사이버 보안 도메인에서의 LLM 성능을 현실적으로 평가하여, 추출 정확도(F1 84.4%)가 높고 잠재적 요구사항 추론에서 상당한 인지적 가치(75%의 시간 절감 잠재력)를 입증했습니다.

의의 및 주장

본 논문은 LENS를 즉시 구현 가능한 기능을 생산하는 도구가 아니라, 추가적인 이해관계자 논의와 반복적인 요구사항 도출을 자극하는 메커니즘으로 규정합니다.

• 초기 단계 산출물: 저자들은 추론된 잠재적 요구사항이 가치 있는 "초기 단계 도출 산출물" 역할을 한다고 주장합니다. 이는 이해관계자가 직접 말하지 못한 비효율성 완화 및 미개척 자동화 잠재력 실현에 관한 대화를 재구성하는 데 도움을 줍니다.
• Human-in-the-Loop (인간 참여형): 본 연구는 전문가 검토의 중요성을 강조합니다. 중간 정도의 평가자 간 일치도와 실행 가능성에 대한 피드백은, LLM이 생성한 잠재적 요구사항이 최종 명세서가 아닌 아이디어의 출발점으로 취급되어야 함을 시사합니다.
• 맥락적 필요성: 결과는 추론된 요구사항의 품질과 실행 가능성이 조직의 도구 및 인프라에 대한 풍부한 설명에 크게 의존한다는 점을 보여줍니다. 이러한 그라운딩이 없다면 LLM의 제안은 그럴듯해 보일 수는 있으나 시스템 제약 조건과 어긋날 수 있습니다.

저자들은 비록 본 연구가 예비적 단계(한 기업과 하나의 도메인으로 제한됨)이지만, LLM이 명시적 니즈의 추출과 잠재적 기회의 발견 모두를 효과적으로 지원할 수 있다는 초기 증거를 제공한다고 결론짓습니다.