[기술 요약] MermaidSeqBench: 자연어 기반 Mermaid 시퀀스 다이어그램 생성 평가를 위한 벤치마크

1. 문제 정의 (Problem Statement)

최근 대규모 언어 모델(LLM)은 자연어(NL) 설명을 바탕으로 소프트웨어 공학에서 필수적인 Mermaid 시퀀스 다이어그램과 같은 구조화된 다이어그램을 생성하는 데 뛰어난 능력을 보여주고 있습니다. 그러나 다음과 같은 심각한 문제점이 존재합니다:

• 평가 벤치마크의 부재: LLM이 생성한 다이어그램의 정확성(구문, 논리, 구조 등)을 체계적으로 측정할 수 있는 공개된 데이터셋이나 표준화된 평가 프레임워크가 부족합니다.
• 신뢰성 문제: 시퀀스 다이어그램은 시스템 아키텍처 및 DevOps 문서화에 핵심적인 역할을 하므로, 미세한 구문 오류나 논리적 결함이 발생할 경우 실제 소프트웨어 공학 워크플로우에서 치명적인 결과를 초래할 수 있습니다.
• 기존 방식의 한계: 기존의 PlantUML 관련 연구나 단순 시각화 확인 방식은 Mermaid 문법에 특화되어 있지 않거나 확장성이 떨어집니다.

2. 연구 방법론 (Methodology)

본 논문은 LLM의 생성 능력을 정밀하게 측정하기 위해 MermaidSeqBench라는 평가 파이프라인을 제안합니다.

A. 데이터셋 구축 (Dataset Construction)

총 132개의 샘플로 구성된 데이터셋을 세 단계의 하이브리드 방식으로 구축했습니다:

1. 초기 시드(Initial Seeds): 전문가(SME)가 직접 작성하고 검증한 10개의 고품질 Mermaid 시퀀스 다이어그램.
2. 합성 확장(Synthetic Expansion): Mistral-Large-Instruct 모델을 사용하여 문맥 기반 프롬프팅(In-context prompting)을 통해 다이어그램 흐름을 대량으로 생성하고, 전문가가 다시 검증.
3. 규칙 기반 변형(Rule-Based Variation): 결정론적 규칙을 적용하여 제어 흐름(alt, else, end 블록의 재배치)과 참여자(Participant) 명칭을 변경함으로써 데이터의 다양성과 커버리지를 4배 확장.

• 각 샘플은 목적(Purpose), 주요 구성 요소(Main Components), 상호작용(Interactions)이 포함된 구조화된 자연어 설명과 쌍을 이룹니다.

B. 평가 방법 (Evaluation Method: LLM-as-a-Judge)

단순한 텍스트 일치 여부를 넘어, LLM-as-a-Judge 방식을 도입하여 6가지 세부 지표를 0.0~1.0 점수로 평가합니다:

• Syntax (구문): MermaidJS 문법 규칙 준수 여부.
• Mermaid Only (순수성): 부가 설명 없이 순수 코드만 생성했는지 여부.
• Logic (논리): 요청-응답 쌍의 일치 및 논리적 흐름의 타당성.
• Completeness (완전성): 설명된 모든 참여자와 상호작용을 포함했는지 여부.
• Activation Handling (활성화 처리): activate/deactivate 구문의 적절한 사용.
• Error & Status Tracking (오류 및 상태 추적): 에러 케이스 및 상태 변화의 명확한 표현.

3. 주요 기여 및 결과 (Key Contributions & Results)

주요 기여

• 최초의 전용 벤치마크: Mermaid 시퀀스 다이어그램 생성을 위해 설계된 최초의 공개 벤치마크 및 데이터셋 제공.
• 정밀한 평가 프레임워크: 단순 구문 체크를 넘어 논리, 활성화 상태, 에러 처리 등 소프트웨어 공학적 관점의 다각도 평가 체계 구축.
• 오픈 소스화: 연구의 재현성을 위해 코드와 데이터셋을 모두 공개.

실험 결과

1. 모델 규모에 따른 성능 차이(Scaling Effects): Llama, Qwen, Granite 등 다양한 모델군에서 모델의 파라미터 크기가 커질수록 모든 지표에서 성능이 일관되게 향상됨을 확인했습니다. 특히 3B에서 14B 모델로 넘어갈 때 논리 및 완전성 측면에서 큰 도약이 관찰되었습니다.
2. 모델군별 특성:
   • Llama & Qwen: 구문, 논리, 활성화 처리 등 대부분의 지표에서 높은 점수를 기록하며 우수한 성능을 보였습니다.
   • Granite: 구문 및 순수성 면에서는 강점을 보였으나, 활성화 처리(Activation Handling) 등 복잡한 논리 구현에서는 상대적으로 낮은 점수를 기록했습니다.
3. 평가 모델(Judge)의 영향: DeepSeek-V3(671B)는 전반적으로 관대한 점수를 주는 반면, GPT-OSS(120B)는 특히 소형 모델에 대해 더 엄격한 기준을 적용하는 경향을 보여, 다중 Judge를 통한 교차 검증의 중요성을 입증했습니다.

4. 의의 (Significance)

본 연구는 LLM을 실제 소프트웨어 엔지니어링 환경(DevOps, 시스템 설계 등)에 배치하기 위해 반드시 필요한 **'신뢰성 검증 표준'**을 제시했다는 점에서 큰 의의가 있습니다. MermaidSeqBench는 향후 구조화된 다이어그램 생성 연구의 기초가 될 것이며, 모델의 약점을 파악하여 더 정교한 다이어그램 생성 모델을 개발하는 데 중요한 지표를 제공합니다.