Towards Energy-aware Requirements Dependency Classification: Knowledge-Graph vs. Vector-Retrieval Augmented Inference with SLMs

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 소프트웨어 요구사항 명세 (SRS) 의 지속적인 진화로 인해 요구사항 간의 충돌 (Conflict) 및 의존성을 식별하는 작업이 필수적이지만, 이는 전통적으로 노동 집약적입니다. 최근 대규모 언어 모델 (LLM) 이 이 작업을 자동화하는 데 잠재력을 보였으나, 막대한 계산 자원과 에너지 소비로 인해 환경 부담이 커지고 있습니다.
• 문제:
  1. 에너지 비효율성: 기존 LLM 기반 접근법은 에너지 소비와 탄소 배출이 과도합니다.
  2. SLM 의 한계: 에너지 효율적인 소형 언어 모델 (SLM, 7B~8B 파라미터) 은 사용 가능하지만, 복잡한 소프트웨어 저장소의 맥락을 이해하기 위해 강력한 보강 (Augmentation) 이 필요합니다.
  3. 검색 방식의 차이: 기존 벡터 기반 검색 (VSR) 은 구조적 무관심 (structural blindness) 으로 인해 요구사항 간의 계층적/관계적 의존성을 놓칠 수 있으며, 지식 그래프 기반 검색 (KGR) 은 초기 인덱싱 비용은 높지만 장기적으로 불필요한 문맥 노이즈를 줄여 에너지 효율성을 높일 수 있다는 가설이 존재합니다.
• 목표: SLM 기반 추론을 위해 지식 그래프 기반 검색 (KGR) 과 벡터 기반 의미 검색 (VSR) 을 비교하고, 에너지 소비, 지연 시간, 탄소 배출량을 고려한 지속 가능한 요구사항 엔지니어링 프레임워크를 제안하는 것입니다.

2. 연구 방법론 (Methodology)

이 연구는 5 개의 다양한 도메인 (OpenCOSS, WorldVista, UAV, PURE, IBM-UAV) 의 데이터셋을 사용하여 다음과 같은 실험 설계를 수행했습니다.

• 데이터셋: 안전 필수 시스템, 의료, 항공우주 등 다양한 도메인의 5 개 요구사항 데이터셋 (약 35,000 개의 요구사항 쌍).
• 검색 아키텍처 비교:
  1. KGR (Knowledge-Graph-based Retrieval):
     • spaCy 를 사용하여 요구사항에서 엔티티 (Actor, Action, Object 등) 를 추출하고 Neo4j 지식 그래프에 저장합니다.
     • 쿼리 요구사항과 공유되는 엔티티를 기반으로 그래프를 탐색하여 후보를 찾습니다.
     • 점수 계산: 공유 엔티티 수, 관계 유형 일치도, 그래프 내 최단 경로 거리를 가중치 ($\alpha, \beta, \gamma$) 로 결합하여 후보를 랭킹합니다.
  2. VSR (Vector-based Semantic Retrieval):
     • Sentence-Transformers (all-mpnet-base-v2) 를 사용하여 768 차원 임베딩을 생성하고 Milvus 벡터 데이터베이스에서 코사인 유사도로 검색합니다.
• 분류 모델 및 프롬프트:
  • 모델: DeepSeek-Coder-7B, Meta-Llama-3-8B, Mistral-7B 등 오픈 소스 SLM 사용.
  • 프롬프트 전략: Zero-Shot, Few-Shot, Chain-of-Thought (CoT) 세 가지 방식을 비교하여 정확도와 환경 비용에 미치는 영향을 분석했습니다.
• 평가 지표:
  • 성능: Recall@K(검색 효율), Macro F1-score(분류 정확도).
  • 지속 가능성: 에너지 소비 (Wh), 지연 시간 (s), 탄소 배출량 (gCO2eq).
  • EcoScore: 탄소 배출 단위당 예측 성능 (F1-score) 을 측정하는 새로운 지표 도입.

3. 주요 기여 (Key Contributions)

1. 실증적 비교: 에너지 및 탄소 제약 하에서 SLM 기반 요구사항 의존성 탐지를 위한 KGR 과 VSR 의 첫 체계적 비교 연구 수행.
2. 새로운 KGR 파이프라인: 고차원 임베딩이 놓치는 계층적 의존성을 포착하여 VSR 의 구조적 무관심을 해결하는 새로운 파이프라인 제안.
3. 지속 가능성 분석 프레임워크: 예측 정확도 (F1) 와 환경 비용 (에너지, 탄소) 간의 트레이드오프를 분석하는 3 기둥 (에너지, 지연, 탄소) 프레임워크 제시.
4. 오픈 사이언스: 코드, 프롬프트, 민감도 분석 및 재현 패키지를 오픈 소스로 공개.

4. 주요 결과 (Results)

• RQ1: KGR vs. VSR (환경 지속 가능성):

  • 소규모/중규모 데이터셋 (Pure, OpenCoss, UAV, WorldVista): KGR 이 VSR 대비 에너지 소비 7175%, 탄소 배출 7180% 감소시켰습니다. 검색 성능 (Recall@K) 은 5% 이내로 유사하거나 약간 낮았으나, 환경 비용 대비 효율성이 압도적으로 높았습니다.
  • 대규모 데이터셋 (IBM-UAV): K=20 의 고도 검색 시나리오에서는 VSR 이 KGR 보다 에너지 효율이 약간 더 좋았고 Recall 이 더 높았습니다 (약 2.3% 차이). 이는 밀집된 대규모 코퍼스에서 벡터 인덱싱이 더 효율적임을 시사합니다.
  • 지연 시간: KGR 은 그래프 탐색으로 인해 VSR 대비 약 45~48% 더 많은 지연 시간을 보였습니다.

• RQ2: 프롬프트 전략의 영향:

  • Zero-Shot: 토큰 사용량과 에너지 소비가 가장 적으며, DeepSeek 와 Mistral 모델에서 경쟁력 있는 (때로는 우수한) 정확도를 보였습니다.
  • Few-Shot: 토큰 사용량이 약 2 배 증가하여 탄소 배출이 5~6% 증가했으나, 일관된 정확도 향상은 없었습니다.
  • Chain-of-Thought (CoT): Llama 모델의 정확도를 크게 향상시켰으나 에너지 비용이 증가했습니다.
  • 최적 조합: Mistral 모델 + Zero-Shot 프롬프트가 전체적인 지속 가능성 - 성능 균형 (EcoScore) 에서 가장 우수했습니다.

• RQ3: 통합 파이프라인의 효과:

  • KGR/VSR 기반 검색을 통해 후보 쌍을 51.8% 줄임으로써, 전체적인 에너지 소비와 탄소 배출을 약 51.8% 절감했습니다.
  • 이는 모델 실행 전 불필요한 검색 공간을 제거함으로써 달성된 것으로, 프롬프트 복잡도 증가 없이 효율성을 높인 사례입니다.

5. 의의 및 결론 (Significance)

• 지속 가능한 RE 의 새로운 패러다임: 대규모 LLM 대신 SLM 과 구조화된 검색 (KGR) 을 결합하면 요구사항 엔지니어링의 환경 발자국을 획기적으로 줄일 수 있음을 입증했습니다.
• 구조적 검색의 우위: 소규모/중규모 데이터셋에서는 벡터 검색보다 지식 그래프 기반 검색이 환경 비용 대비 성능이 훨씬 뛰어납니다. 이는 SLM 이 내부 표현력이 부족할 때 외부 구조적 단서 (지식 그래프) 가 맥락 이해에 필수적임을 보여줍니다.
• 설계 지침: 지속 가능한 NLP 시스템 설계는 추론 단계의 토큰 확장 (프롬프트 복잡화) 보다 검색 단계의 불필요한 계산 제거 (Search-space reduction) 에 초점을 맞춰야 함을 시사합니다.
• 재현성: 오픈 소스 도구와 구체적인 측정 방법론을 제공하여 'Green AI' 연구의 표준을 제시했습니다.

이 연구는 요구사항 충돌 탐지와 같은 복잡한 RE 작업에서 정확도, 비용, 환경 영향을 동시에 고려한 균형 잡힌 솔루션을 제공하며, 에너지 효율적인 소프트웨어 공학의 미래를 위한 중요한 실증적 근거를 마련했습니다.