🤖 AI

ReqFusion: A Multi-Provider Framework for Automated PEGS Analysis Across Software Domains

이 논문은 여러 대형 언어 모델 (LLM) 공급자를 통합하고 버트랑 메이어의 PEGS 프레임워크를 활용한 프롬프트 기법을 통해 소프트웨어 요구사항의 자동 추출 및 분류 정확도를 높이고 분석 시간을 단축하는 'ReqFusion' 시스템을 제안합니다.

원저자: Muhammad Khalid, Manuel Oriol, Yilmaz Uygun

게시일 2026-03-25

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Muhammad Khalid, Manuel Oriol, Yilmaz Uygun

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🏗️ 1. 문제 상황: "너무 많은 문서, 너무 많은 실수"

소프트웨어를 짓기 전에, 고객이나 회사가 "이건 이렇게 만들어줘, 저건 저렇게 해줘"라고 쓴 문서 (계약서, 제안서, 매뉴얼 등) 가 산처럼 쌓여 있습니다.

기존 방식: 숙련된 엔지니어들이 이 두꺼운 문서들을 하나하나 읽어가며 "이건 기능 요구사항이야, 이건 안전 요구사항이야"라고 손으로 분류합니다.
문제점: 시간이 너무 오래 걸리고, 사람이 피곤해지면 실수 (누락이나 오해) 가 생기기 쉽습니다. 특히 AI 가 혼자서 이 일을 하면, AI 가 없는 것을 있는 것처럼 만들어내는 '환각 (Hallucination)' 현상이 일어나서 엉뚱한 요구사항을 만들어낼 위험이 큽니다.

🤝 2. 해결책: "ReqFusion" - 3 인조 AI 팀과 'PEGS' 지도

ReqFusion 은 이 문제를 해결하기 위해 두 가지 핵심 전략을 사용합니다.

A. 3 인조 AI 팀 (멀티-프로바이더)

하나의 AI 만 믿는 대신, **세 가지 다른 AI (OpenAI 의 GPT, Anthropic 의 Claude, Groq 의 Llama)**를 동시에 고용합니다.

비유: 한 명의 요리사에게 "오늘 메뉴를 짜줘"라고 맡기는 대신, 세 명의 다른 요리사에게 같은 재료를 주고 각자 요리를 시킨 뒤, 세 사람의 의견을 비교해 보는 것과 같습니다.
효과:
- 한 요리사가 실수해도 다른 요리사가 잡아줍니다 (실수 감소).
- 한 요리사가 휴가 가거나 바빠도 다른 요리사가 대신합니다 (안정성).
- 세 사람이 모두 "이건 요구사항이다"라고 동의할 때만 최종 확정합니다.

B. PEGS 지도 (구조화된 질문)

AI 에게 "문서에서 요구사항을 다 찾아줘"라고 막연하게 말하면, AI 는 헷갈려서 중요한 걸 놓치거나 엉뚱한 걸 찾아옵니다. ReqFusion 은 PEGS라는 4 가지 카테고리로 질문을 나눕니다.

비유: 보물찾기를 할 때 "보물 다 찾아!"라고 외치는 대신, **"1. 프로젝트 (누가, 언제), 2. 환경 (어디서, 어떤 법), 3. 목표 (무엇을 이루고 싶나), 4. 시스템 (어떻게 작동할까)"**라는 4 개의 상자를 주고, 각 상자마다 보물을 넣으라고 지시하는 것입니다.
효과: AI 가 어디를 찾아야 할지 명확히 알 수 있어, 요구사항을 훨씬 더 정확하게 찾아냅니다. (논문 결과에 따르면 정확도가 71% 에서 88% 로 크게 향상됨)

📊 3. 실제 성과: "시간은 반으로, 비용은 줄이고"

이 시스템을 실제 산업 현장 (독일의 제조업 제안서 등) 에서 테스트한 결과 놀라운 변화가 있었습니다.

속도: 사람이 하던 일을 AI 가 처리하니 시간이 78%나 단축되었습니다. (예: 10 시간 걸리던 일이 2 시간 만에 끝남)
정확도: AI 가 혼자 할 때보다 3 명이 합심해서 의견을 모으니, 엉뚱한 요구사항을 찾아내는 실수가 34% 에서 8% 로 급감했습니다.
비용: AI API 비용과 인건비를 합쳐도 비용이 47% 절약되었습니다.

🛡️ 4. 왜 이 시스템이 특별한가? (핵심 요약)

안전장치: AI 가 혼자 판단하면 실수할 수 있지만, **여러 AI 가 서로 확인 (합의)**하는 과정을 거치기 때문에 '환각'을 잡아냅니다.
지도 사용: 막연하게 지시하지 않고 PEGS 라는 구체적인 지도를 주어 AI 가 더 똑똑하게 일하게 만들었습니다.
인간과 협업: AI 가 100% 완벽하지는 않으므로, AI 가 확신이 없는 부분은 사람이 최종 확인하도록 설계되어 있습니다.

🚀 결론

이 논문은 **"AI 를 한 명만 쓰는 게 아니라, 여러 AI 를 팀으로 꾸리고, 명확한 규칙 (PEGS) 을 주어 함께 일하게 하면, 소프트웨어 개발의 가장 지루하고 중요한 단계인 '요구사항 분석'을 훨씬 빠르고 정확하게 할 수 있다"**는 것을 증명했습니다.

마치 한 명의 천재보다, 서로 다른 강점을 가진 3 명의 전문가 팀이 서로의 실수를 보완하며 일할 때 더 훌륭한 결과물이 나오는 것과 같은 원리입니다.

논문 요약: ReqFusion - 소프트웨어 도메인 전반의 자동화된 PEGS 분석을 위한 다중 공급자 프레임워크

1. 문제 정의 (Problem)

소프트웨어 개발 과정에서 요구사항 공학 (Requirements Engineering, RE) 은 필수적이지만 노동 집약적이고 오류가 발생하기 쉬운 단계입니다. 기존 연구와 도구들은 다음과 같은 한계를 가지고 있습니다:

비효율성: 수동 요구사항 추출 및 분류는 시간이 많이 소요되며, 이해관계자 간의 오해로 인해 지연이 발생합니다.
AI 의 한계 (할루시네이션): 단일 대규모 언어 모델 (LLM) 을 사용하는 시스템은 종종 사실과 다른 정보 (할루시네이션) 를 생성하거나 일관성이 부족합니다.
구조화 부재: 기존 AI 기반 분석은 종종 비구조화된 프롬프트를 사용하여 요구사항의 맥락 (프로젝트, 환경, 목표, 시스템) 을 충분히 반영하지 못합니다.
검증 부족: 생성된 요구사항을 검증할 수 있는 체계적인 메커니즘이 부족하여 신뢰성이 떨어집니다.

2. 제안 방법론 (Methodology)

이 논문은 ReqFusion이라는 AI 기반 시스템을 제안하며, 다음과 같은 핵심 기술적 요소로 구성됩니다:

다중 공급자 아키텍처 (Multi-Provider Architecture):
- OpenAI GPT-4, Anthropic Claude-3, Groq(Llama) 등 서로 다른 LLM 공급자를 동시에 활용합니다.
- 동시 모드 (Parallel Mode): 모든 공급자가 동일한 문서를 처리하고 결과를 병합하여 지연 시간을 줄입니다.
- 순차 모드 (Sequential Mode): 주 공급자가 실패할 경우 대체 공급자로 자동 전환하여 신뢰성을 확보합니다.
- 합의 메커니즘 (Consensus Mechanism): 여러 모델이 동일한 요구사항을 독립적으로 식별할 경우 신뢰도를 높이고, 불일치 시 인간 검토를 유도하여 할루시네이션을 방지합니다.
PEGS 기반 구조화 프롬프팅 (PEGS-Guided Prompting):
- Bertrand Meyer 가 제안한 PEGS(Project, Environment, Goals, System) 프레임워크를 활용합니다.
- 단순한 "요구사항 추출" 지시 대신, 각 카테고리 (프로젝트, 환경, 목표, 시스템) 에 특화된 구조화된 템플릿을 사용하여 LLM 에게 명확한 의미적 앵커 (Semantic Anchors) 를 제공합니다.
- 이는 LLM 의 검색 공간을 축소하고 각 범주에 대한 유효한 출력을 유도하여 정확도를 높입니다.
시스템 아키텍처:
- React 기반 프론트엔드, FastAPI 게이트웨이, 코어 처리 레이어 (Multi-LLM 오케스트레이터), 데이터 저장소 (PostgreSQL, ChromaDB 등) 로 구성된 4 계층 구조를 가집니다.
- 응답 병합 (Response Merger): 코사인 유사도 (>0.85) 를 기반으로 중복을 제거하고, 신뢰도 투표 (Confidence Voting) 를 통해 충돌을 해결합니다.

3. 주요 기여 (Key Contributions)

ReqFusion 프레임워크 개발: PEGS 방법론을 활용한 자동화된 요구사항 추출 및 분류를 위한 다중 공급자 AI 프레임워크를 최초로 제시했습니다.
구조화된 프롬프팅의 효과 입증: PEGS 기반 프롬프팅이 일반적 프롬프팅 (Generic Prompting) 대비 추출 정확도를 유의미하게 향상시킨다는 것을 아블레이션 연구를 통해 증명했습니다.
할루시네이션 감지 및 검증: 다중 공급자 간의 합의를 통한 런타임 검증 (Runtime Verification) 메커니즘을 도입하여 단일 모델 시스템의 할루시네이션 문제를 해결했습니다.
다양한 도메인에서의 실증 평가: 학술, 산업, 입찰 제안서 등 다양한 도메인의 실제 문서 (18 개 문서, 1,050 개 요구사항) 를 대상으로 한 광범위한 평가를 수행하고 추적성 (Traceability) 을 지원했습니다.

4. 평가 결과 (Results)

정확도 향상 (Ablation Study):
- PEGS 기반 프롬프팅은 일반적 프롬프팅 대비 F1 점수가 0.88 (일반적: 0.71) 로, 0.17 포인트 향상되었습니다.
- 특히 Recall(재현율) 이 0.19 포인트 증가하여, 일반 프롬프트가 놓치기 쉬운 '환경 (Environment)' 및 '목표 (Goals)' 관련 요구사항을 더 잘 발견했습니다.
다중 공급자 효과:
- 단일 모델 (GPT-4: F1 0.81, Claude-3: F1 0.83) 보다 다중 공급자 합의 방식이 F1 0.88로 가장 높은 성능을 보였습니다.
- 할루시네이션 감소: 단일 공급자만 식별한 요구사항의 오검출률 (False Positive Rate) 은 34% 였으나, 다중 공급자 합의 시 8% 로 크게 감소했습니다.
효율성 및 비용:
- 수동 분석 대비 분석 시간 78% 단축 (요구사항당 4.9 분 → 1.1 분).
- 비용 47% 절감 (요구사항당 $0.082 →$ 0.043).
- PEGS 범주 커버리지가 68% 에서 92% 로 향상되었습니다.
오류 분석: '환경 (Environment)' 범주가 가장 낮은 정확도 (F1 0.79) 를 보였으며, 이는 법적/규제적 문맥의 암시적 요구사항 추출의 어려움 때문으로 분석되었습니다.

5. 의의 및 결론 (Significance)

검증과 AI 의 융합: VerifAI 워크숍의 주제인 '검증 기법과 AI 의 결합'을 실현했습니다. 다중 모델 합의를 통한 검증은 AI 지원 소프트웨어 개발의 신뢰성을 높이는 핵심 메커니즘으로 작용합니다.
실용성: 학술적 연구뿐만 아니라 실제 산업용 입찰 문서 (독일어 기준) 와 같은 복잡한 비즈니스 환경에서도 높은 성능을 입증하여 실제 적용 가능성을 보여줍니다.
미래 방향: 추출된 요구사항을 테스트 케이스 생성, 형식적 검증 (Formal Verification) 및 지속적인 검증 (Continuous Verification) 으로 연결하는 완전한 생명주기 추적성 (End-to-End Traceability) 을 위한 기반을 마련했습니다.

이 논문은 AI 기반 요구사항 공학 분야에서 **구조화된 방법론 (PEGS)**과 **다중 모델 검증 (Multi-Provider Consensus)**을 결합함으로써, 기존 AI 시스템의 정확성과 신뢰성 한계를 극복하는 새로운 패러다임을 제시했다는 점에서 의의가 큽니다.