Towards Standardized Evaluation in Automated Domain Modeling: Introducing a Benchmark

기술 요약: 자동화된 도메인 모델링의 표준화된 평가를 향하여: 벤치마크 도입

문제 정의
자연어 설명을 UML 클래스 다이어그램으로 변환하는 자동화된 도메인 모델링은 모델 주도 소프트웨어 공학의 핵심 구성 요소이다. 이 분야는 휴리스틱 규칙 기반 방식에서 대규모 언어 모델(LLM) 기반 전략으로 전환되었으나, 문헌상에는 비교 평가를 위한 표준화된 프레임워크가 부족하다. 기존의 접근 방식들은 일반적으로 공개된 아티팩트 없이 개인적이고 사례 특화적이거나 산업적인 데이터셋을 사용하여 성능을 평가하며, 다양하고 통일되지 않은 메트릭을 사용한다. 이러한 공통 참조 세트와 결정론적 평가 메트릭의 부재는 건전한 경쟁과 모델링 작업에서의 생성형 AI 품질에 대한 견고한 평가를 저해한다.

방법론
본 논문은 데이터, 태스크, 메트릭의 세 가지 축을 중심으로 구조화된 벤치마크를 도입하여 이 간극을 메우고자 한다.

• 데이터 축: 벤치마크는 두 개의 커뮤니티 큐레이션 코퍼스에서 추출한 53개의 레코드로 구성된다:

  • DS-1: Text2UML 프로젝트(Calamo et al., 2025)에 의해 배포된 Verbruggen et al. (2025)의 "Golden UML Modelset"에서 가져온 45개 레코드 세트이다. 이 세트는 레코드당 평균 9.4개의 클래스와 13.0개의 속성을 포함한다.
  • DS-2: 교육 분야의 인간 전문가들이 작성한 Chen et al. (2023a, b)의 8개 레코드 참조 아카이브이다. 이 세트는 더 밀도가 높으며, 레코드당 평균 14.4개의 클래스와 10.3개의 속성을 포함한다.
  • 각 레코드는 자연어 텍스트 설명과 그에 대응하는 참조 PlantUML 클래스 다이어그램(그라운드 트루스)으로 구성된다. 전체 데이터셋은 총 540개의 클래스, 667개의 속성, 184개의 열거형(enums), 710개의 관계를 포함한다.

• 태스크 축: 태스크는 후보 전략이 주어진 자연어 설명으로부터 PlantUML 클래스 다이어그램을 생성하는 것을 요구한다.

• 메트릭 축: 벤치마크는 Seibert 연구(2026)에서 선택된 metrik-4 구현(Triandini et al.)을 기반으로 한 결정론적 비교기를 채택한다. 이 메트릭은 생성된 모델을 참조 모델과 비교하여 세 가지 요소 유형(클래스, 속성, 연관 관계)에 대한 F1 점수(0에서 1 사이)의 3-튜플을 반환한다. metrik-4의 선택은 다른 네 가지 후보 메트릭과 비교했을 때 요소 유형 전반에 걸쳐 인간 전문가의 평가와 우수한 상관관계를 보였기 때문이다.

• 후보 전략: 벤치마크는 세 가지 오픈 소스 전략을 평가한다:

  1. spaCy 의존 구문 분석을 사용하는 결정론적 규칙 기반 파이프라인 (Abelnabi et al., 2023).
  2. 중간 DSL을 먼저 추출한 다음 이를 PlantUML로 변환하는 2단계 제로샷 LLM 전략 (Chen et al., 2023a, b).
  3. PlantUML을 직접 생성하는 1단계 제로샷 LLM 전략 (Calamo et al., 2025).
     이 전략들은 비결정성을 고려하기 위해 여러 차례의 실행을 거쳐 두 가지 LLM(GLM-5.1 및 Kimi K2)을 사용하여 테스트되었다.

주요 결과
두 데이터셋 전체에 걸쳐 요약된 평가 결과는 다음과 같다:

• 성능: DS-1과 DS-2 모두에서, LLM 기반 후보들은 모든 요소 유형(클래스, 속성, 관계)에 대해 규칙 기반 베이스라인보다 일관되게 우수한 성능을 보였다. 절대적인 격차는 0.15에서 0.47 포인트 사이였다.
• 최고 성능 모델:
  • DS-1의 경우, Chen et al. 전략과 GLM-5.1의 조합이 클래스(0.746) 및 속성(0.780)에서 가장 높은 점수를 기록했으며, Calamo et al. 전략과 GLM-5.1의 조합이 관계(0.701)에서 앞섰다.
  • DS-2의 경우, Calamo et al. 전략과 GLM-5.1의 조합이 클래스(0.655) 및 관계(0.689)에서 최고 점수를 달성했으며, Chen et al.과 GLM-5.1의 조합이 속성(0.650)에서 앞섰다.
• 안정성 및 실패율:
  • 규칙 기반 접근 방식은 제로 분산과 제로 검증 실패를 보이는 결정론적 특성을 가졌다.
  • LLM 기반 접근 방식은 교차 실행 표준 편차를 나타냈으며, 이는 작은 규모의 데이터셋인 DS-2에서 (DS-1 대비 최대 6.9배까지) 현저히 높게 나타나 단일 레코드 노이즈에 대한 민감도를 입증했다.
  • 검증 실패율(생성된 PlantUML을 파싱할 수 없는 경우)은 일반적으로 낮았으나, 특히 Kimi K2를 사용한 Chen et al. 전략의 경우 DS-2에서 더 높게 나타났다(25.0% 실패율).

의의 및 기여
본 논문의 주요 기여는 자동화된 도메인 모델링 접근 방식의 비교 평가를 가능하게 하는 표준화된 벤치마크를 도입한 것이다. 두 개의 서로 다른 커뮤니티 큐레이션 데이터셋을 단일한 재현 가능한 메트릭 인터페이스와 결합함으로써, 본 벤치마크는 이 분야의 파편화 문제를 해결한다. 저자는 재사용을 장려하고 향후 연구를 지원하기 위해 FAIR4RS 권고 사항에 따라 본 벤치마크를 연구 아티팩트로 공개함을 강조한다. 본 연구는 도메인 모델링 문제를 확정적으로 해결한다고 주장하는 것이 아니라, 휴리스틱 및 LLM 기반 방법론 모두에서 미래의 발전을 엄격하게 평가할 수 있는 데 필요한 인프라를 제공하는 데 목적이 있다.