Benchmarking Requirement-to-Architecture Generation with Hybrid Evaluation

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 대규모 언어 모델 (LLM) 의 발전으로 소프트웨어 공학 작업 자동화 가능성이 높아졌으나, 요구사항 문서 (PRD) 를 바탕으로 소프트웨어 아키텍처 설계 (시스템 다이어그램 등) 를 생성하는 작업은 여전히 주요 병목 현상입니다.
• 문제점:
  1. 데이터셋 부재: 실제 PRD 와 전문가가 작성한 아키텍처 다이어그램 (PlantUML 등) 을 매칭한 전용 벤치마크가 부족합니다. 기존 벤치마크는 인공적으로 정리된 간단한 자연어 설명에 의존하거나, 코드 생성 수준에 머무르고 있습니다.
  2. 평가의 한계: 생성된 아키텍처의 정확성을 평가하는 데 기존 텍스트 기반 지표 (BLEU, ROUGE) 는 구조적 유효성을 포착하지 못하며, 'LLM-as-a-Judge' 방식은 편향과 환각 (Hallucination) 문제로 인해 복잡한 토폴로지를 평가하기에 부적합합니다.
  3. 현실적 요구사항의 복잡성: 실제 요구사항은 불완전하고 모호하며, 비기능적 요구사항과 기술적 제약이 혼재되어 있어 LLM 이 이를 구조화하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 **R2ABench (Requirement-To-Architecture Benchmark)**를 제안하고, 이를 평가하기 위한 하이브리드 평가 프레임워크를 구축했습니다.

가. R2ABench 데이터셋 구성

• 구성: 17 개의 실제 소프트웨어 프로젝트 (9 개 Python, 8 개 Java) 를 기반으로 구성되었습니다.
• 데이터: 각 프로젝트는 **Product Requirements Document (PRD)**와 **전문가 검증 PlantUML 참조 코드 (Ground Truth)**로 이루어져 있습니다.
• PRD 구조: 시스템 소개, 핵심 목표, 기능적 특징, 기술적 제약, 비기능적 요구사항, 아키텍처 설명 등 6 가지 섹션으로 표준화되었습니다.
• 실험 설계:
  • Full: 전체 PRD 입력.
  • -Arch: 아키텍처 설명 섹션 제거 (추론 능력 평가).
  • Min: 핵심 목표와 기능적 특징만 남김 (극단적 정보 부족 상황 평가).

나. 하이브리드 평가 프레임워크 (3 단계)

생성된 PlantUML 코드를 참조 그래프와 비교하여 다음 3 가지 층위에서 평가합니다.

1. 구조적 그래프 지표 (Structural Graph Metrics):
   • 구문 유효성 (SV): PlantUML 엔진이 렌더링 가능한지 확인.
   • 의미적 유효성: 노드 F1 점수 (구성 요소 식별), 엣지 F1 점수 (관계성 정확도), 레이어 정확도.
   • GED-Accuracy: 그래프 편집 거리 (Graph Edit Distance) 를 정규화하여 전체 토폴로지 유사도 측정.
2. 다차원 점수화 (Multi-dimensional Scoring):
   • LLM 을 심사관 (Judge) 으로 활용하여 완전성, 정확도, 합리성, 구조적 가독성을 1~5 점으로 평가.
3. 아키텍처 안티패턴 감지 (Architecture Anti-pattern Detection):
   • Orphan Ratio: 연결되지 않은 고립된 컴포넌트 비율.
   • God Component Ratio: 지나치게 많은 연결을 가진 '신 (God)' 컴포넌트 비율 (책임 집중 현상).

3. 주요 기여 (Key Contributions)

1. R2ABench 벤치마크 도입: 비정형 PRD 에서 아키텍처 다이어그램 생성 능력을 평가하기 위한 최초의 표준화된 벤치마크와 데이터셋을 공개했습니다.
2. 종합적 평가 프레임워크 개발: 정량적 그래프 지표, LLM 기반 의미 평가, 안티패턴 감지를 결합한 다층적 평가 체계를 제시했습니다.
3. 포괄적 실증 연구: 최신 LLM 과 에이전트 워크플로우 (MetaGPT, OpenHands 등) 의 성능을 분석하고, 요구사항의 정보 밀도가 생성 결과에 미치는 영향을 심층적으로 규명했습니다.

4. 실험 결과 및 발견 (Results & Findings)

RQ1: LLM 및 에이전트 성능

• 구성 요소 추출 vs 관계 추론: LLM 은 구성 요소 (노드) 를 식별하는 능력은 양호하지만 (F1 약 0.5~0.6), 컴포넌트 간의 관계 (엣지) 를 추론하는 능력은 현저히 낮습니다 (F1 < 0.2).
• 코드 특화 모델의 우위: 일반 모델보다 코드에 특화된 모델 (예: Qwen3-coder) 이 구조적 연결성 추론에서 더 우수한 성능을 보였습니다.
• 에이전트 프레임워크의 한계: MetaGPT 나 OpenHands 같은 에이전트 프레임워크를 도입한다고 해서 성능이 일관되게 향상되지 않았습니다. 오히려 성능 변동성이 커지거나 (Instability), 기존 모델의 생성 능력을 저하시키는 경우가 많았습니다.

RQ2: PRD 정보 완전성의 영향

• 정보 부족의 역설: 아키텍처 설명이나 기술적 제약이 제거되어 정보가 희소해져도 (Min 설정), 구성 요소 추출 능력은 거의 영향을 받지 않았습니다. 오히려 핵심 기능에 집중하여 완전성 점수가 높아지기도 했습니다.
• 구조적 붕괴: 반면, 정보 부족은 아키텍처 토폴로지의 심각한 파편화를 초래했습니다. 명시적 제약이 없으면 LLM 은 데이터 흐름을 추론하지 못해 추출된 컴포넌트들이 고립된 섬 (Orphan) 으로 남게 됩니다.

RQ3: 오류 패턴 분석

• E1 (생략): 세부 하위 노드를 과도하게 추상화하여 생략.
• E2 (환각): PRD 에 없는 인프라 (예: 로그 집계기, 특정 OS) 나 비즈니스 개념을 과도하게 구체화하여 삽입.
• E3 (경계 오류): 컴포넌트를 잘못된 아키텍처 레이어에 배치.
• E4 (관계 모델링 실패): 정적 요구사항을 동적 데이터 흐름으로 변환하는 데 실패하여 연결이 끊기거나 방향이 반전됨.
• E5 (구문 오류): 복잡한 중첩 구조에서 PlantUML 렌더링 실패.

5. 의의 및 결론 (Significance & Conclusion)

• 기술적 통찰: LLM 은 아키텍처의 '전체적인 형태'와 '구문'은 잘 파악하지만, 구성 요소 간의 복잡한 관계와 의존성을 추론하는 데 근본적인 어려움이 있음을 증명했습니다.
• 실무적 시사점:
  • 아키텍처 생성 작업에는 코드 특화 모델이 일반 모델보다 유리할 수 있습니다.
  • 현재로서는 에이전트 프레임워크가 아키텍처 생성 태스크에서 일관된 개선을 보장하지 않으므로 신중한 적용이 필요합니다.
  • 정보의 완전성이 아키텍처의 구조적 일관성에 결정적임을 보여줌으로써, 자동화 시스템 설계 시 명확한 제약 조건 제공의 중요성을 강조했습니다.
• 향후 방향: R2ABench 는 LLM 기반 소프트웨어 아키텍처 자동화의 발전을 위한 표준적인 평가 기반을 제공하며, 향후 더 다양한 언어와 프로젝트로 확장될 예정입니다.

이 논문은 소프트웨어 공학 분야에서 LLM 의 실제 적용 가능성을 검증하고, 그 한계를 명확히 규명함으로써 향후 연구 방향을 제시한다는 점에서 중요한 의의를 가집니다.