기술 요약: 환각 없는 요구사항 재사용을 위한 신경-심볼릭 에이전트

1. 문제 제기

요구사항 공학 (RE) 은 본질적으로 비용이 많이 들고 오류가 발생하기 쉽습니다. 소프트웨어 제품군 (예: 요구사항 작성 및 관리를 위한 객체 지향 방법론, OOMRAM을 통한) 에서 검증된 요구사항을 재사용하는 것은 노력 절감을 위한 전략을 제공하지만, 기존 프레임워크는 정확한 식별자 매칭이라는 치명적인 병목 현상에 직면해 있습니다. 전통적인 OOMRAM 검색은 사용자가 정확한 요구사항 ID 를 지정해야 하므로 자연어 프로젝트 설명으로부터 명세를 자동으로 생성하는 것을 방해합니다.

대형 언어 모델 (LLM) 은 모호한 이해관계자의 비전을 해석하고 이를 요구사항에 매핑할 수 있는 언어적 유연성을 제공합니다. 그러나 LLM 은 존재하지 않는 식별자를 발명하거나, 필수 제약을 무시하거나, 상호 배타적인 옵션을 결합하는 등의 환각에 취약합니다. LLM 을 활용하는 기존 RE 도구는 형식적 정확성 보장이 부족하여 생성된 명세가 논리적 불일치와 구조적 무효성에 노출될 수 있으며, 이는 안전-중요 또는 고도로 규제된 분야에서 특히 위험합니다.

2. 방법론: 신경 - 심볼릭 다중 에이전트 시스템

저자들은 요구사항 재사용을 모델 주도 도출 과정으로 재개념화하는 신경 - 심볼릭 다중 에이전트 아키텍처를 제안합니다. 이 시스템은 형식적 OOMRAM 격자를 결정론적 도메인 모델로 운영화하며, LLM 을 이 모델을 탐색하기 위한 비결정론적 휴리스틱으로만 사용합니다.

핵심 아키텍처

LangGraph를 기반으로 구축된 이 시스템은 AgentState라는 타입이 지정된 상태를 공유하는 네 가지 전문 에이전트를 사용합니다:

1. 내비게이터 (Navigator): 프로젝트 비전과 현재 상태를 기반으로 다음 분별 노드를 선택하여 요구사항 격자의 깊이 우선 탐색을 시뮬레이션합니다.
2. 인터프리터 (Interpreter, LLM): 자연어 비전을 해석하고 현재 노드에 대한 하위 요구사항 ID 집합을 제안하는 비결정론적 에이전트입니다 (llama3.1:8b 사용, 온도 0). 구조화된 JSON 을 출력합니다.
3. 검증기 (Validator, 심볼릭): 런타임 가드레일 역할을 하는 결정론적 알고리즘 구성 요소 (순수 Python, LLM 없음) 입니다. 격자 스키마의 불만족 가능성 제약 조건 ($\Phi$) 에 대해 제안된 모든 선택을 확인합니다. 다음을 강제합니다:
   • 핵심 요구사항: 모든 필수 노드가 선택되어야 합니다.
   • 단일 어댑터 (SA/XOR): 정확히 하나의 자식이 선택되어야 합니다.
   • 다중 어댑터 (MA/OR): 최소 한 개의 자식이 선택되어야 합니다.
   • 구조적 무결성: 고아 노드가 없어야 합니다 (부모 없이 자식을 선택할 수 없음).
   • 메커니즘: 위반이 감지되면 검증기는 제안을 거부하고 인터프리터에 오류 로그를 반환하여 수정을 강요합니다. 이 루프는 제약 조건이 충족될 때까지 계속됩니다.
4. 스크라이브 (Scribe): 최종 검증된 요구사항 ID 집합을 포맷팅된 명세로 컴파일합니다.

주요 기술 전략

• 서브그래프 탐색: 대규모 산업용 격자를 처리하고 "중간에서 길을 잃는" 추론 실패를 방지하기 위해, 시스템은 각 단계에서 인터프리터의 컨텍스트를 격자의 국소화된 부분집합 (프론티어) 으로 제한합니다. 이는 결정 지점 수에 따라 일정한 컨텍스트 크기 ($O(1)$) 와 선형 확장성 ($O(N)$) 을 보장합니다.
• 시맨틱 라우팅: 초기 라우터는 입력 비전 텍스트를 기반으로 적절한 격자 계열 (예: eRecordKeeping, SmartHome) 을 선택하기 위해 문장 변환기 임베딩을 사용하여 수동 선택 없이 다중 도메인 지원을 가능하게 합니다.
• 형식 명세: 시스템은 격자를 방향성 비순환 그래프 (DAG) $L = (V, E, T, \Phi)$로 정의하고 전역 일관성 술어 $\Psi(S)$를 강제하여 최종 선택 집합이 메타모델의 유효한 인스턴스임을 보장합니다.

3. 주요 기여

1. LLM 시대를 위한 OOMRAM 운영화: 정확한 ID 선택을 LLM 기반 자연어 탐색으로 대체한 최초의 작업으로, 현대 RE 에 실용적인 형식적 OOMRAM 격자를 가능하게 합니다.
2. 결정론적 환각 완화: 하드코딩된 가드레일 역할을 하는 완전히 결정론적인 검증기의 도입입니다. 생성 루프 내에서 알고리즘적으로 제약을 강제함으로써 시스템은 휴리스틱 필터링에 의존하는 대신 불법적인 요구사항 조합을 완전히 제거합니다.
3. 재현 가능한 자율 벤치마크: 저자들은 다양한 응용 계열에 걸쳐 신뢰할 수 있는 탐색, 거의 제로에 가까운 제약 위반, 그리고 완전한 구조적 유효성을 입증하는 벤치마크를 제공합니다.
4. 모델 중립적 구현: LangGraph 와 로컬 Ollama 를 기반으로 구축된 오픈소스 프레임워크로, 더 큰 산업용 격자로 확장하고 프라이버시/재현성을 보장하도록 설계되었습니다.

4. 실험적 평가 및 결과

이 시스템은 원래 eRecordKeeping 격자 (약 60 개 요구사항) 와 합성 SmartHome 격자 (약 20 개 요구사항) 에서 추출된 10 개 프로젝트 비전에 대해 자율 시뮬레이션 모드로 평가되었습니다. 코퍼스는 ISO 26262, ISO 20022, TM Forum eTOM 등 실제 표준에 기반한 12 개 계열을 포함하도록 확장되었습니다.

정량적 결과

• 구조적 유효성: 시스템은 모든 테스트된 비전에서 100% 완료 및 100% 구조적 유효성을 달성했습니다.
• 제약 위반: 최종 제약 위반률은 **0.2%**였습니다 (과정 중 1 건의 위반이 감지 및 수정됨). 반면, 검증기를 제거한 제거 연구에서는 평균 5.1 의 위반률과 14% 의 구조적 유효성만 나타났습니다.
• F1 점수: 수동으로 제작된 골드 스탠다드에 비해 F1 점수는 0.47 에서 0.81 사이였습니다. 저자들은 이 중간 점수가 실패가 아니라 제품군 내 광범위한 "유효 구성 공간"의 결과라고 주장합니다. 여기서는 여러 합법적인 선택적/대체 선택이 존재합니다.
• 지연 시간: 평균 월클록 지연 시간은 비전당 210 초였으며, 평균 78 회의 LLM 호출이 있었습니다. 검증기는 무시할 수 있는 런타임을 추가했습니다.

정성적 발견

• 의도적 충돌: 시스템은 LLM 이 필수 제약 (예: 보안) 을 위반하여 이해관계자의 욕구 (예: "저렴한 시스템") 를 충족시키려고 시도할 때 발생하는 충돌을 성공적으로 탐색합니다. 검증기는 이를 거부하여 LLM 이 준수하는 대안 (예: 가장 저렴한 유효한 옵션 선택) 을 찾도록 강요합니다.
• 오류 유형론: 사전 검증 환각은 도메인에 따라 다양했습니다 (예: HR/급여의 카디널리티 오류, 통신의 구조적 고아, 스마트 그리드의 제약 무시). 그러나 심볼릭 검증기는 모든 경우에서 최종 오류율을 0% 로 줄였습니다.

5. 중요성 및 주장

이 논문은 RE 자동화의 미래가 LLM 파라미터 확장에 있는 것이 아니라 신경 확률적 추론과 하드코딩된 심볼릭 논리의 조화로운 결합에 있다고 주장합니다.

• 지표의 전환: 저자들은 높은 준수 RE 에서는 정밀도나 F1 점수와 같은 전통적인 NLP 지표보다 **구조적 유효성률 (SVR)**과 필수 회상률이 더 중요한 지표라고 주장합니다. 100% SVR 달성은 시스템이 확률적 생성을 형식 공학 프로세스로 변환함을 증명합니다.
• 신뢰할 수 있는 AI: LLM 의 개방형 언어 이해를 규칙 기반 제약 강제자와 분리함으로써, 시스템은 모호한 비전을 해석할 유연성을 유지하면서 명세 드리프트를 방지하는 신뢰할 수 있는 파이프라인을 제공합니다.
• 확장성: 서브그래프 탐색 전략은 컨텍스트 창이 일정하게 유지되는 한 시스템이 추론 품질을 저하시키지 않고 이론적으로 산업용 격자로 확장될 수 있음을 보장합니다.

이 작업은 LLM 이 의도를 해석하는 데 유용하지만, 구조적 논리에는 근본적으로 신뢰할 수 없으며, 환각 없는 요구사항 재사용을 보장하기 위해 이 작업은 심볼릭 구성 요소로 위임되어야 한다고 결론지었습니다.