기술 요약: 대규모 언어 모델(LLM)의 비즈니스 프로세스 모델링 역량 평가

문제 정의

비즈니스 프로세스 모델 및 표기법(BPMN) 모델을 생성하는 작업은 도메인 지식과 모델링 관례 모두에 대한 전문성을 요구하는 인지적으로 까다로운 과업이다. 대규모 언어 모델(LLM)은 자연어로부터 구조화된 산출물을 생성하는 잠재력을 보여주었으나, 고품질 BPMN 모델을 생성하는 능력에 대한 체계적인 평가는 부족한 실정이다. 기존의 평가 방식은 "LLM-as-a-judge(판단자로서의 LLM)" 접근 방식에 의존하거나 구문적(syntactic), 실용적(pragmatic), 의미적(semantic) 정확성과 같은 확립된 모델 품질 차원을 고려하지 못하는 경우가 많다. 또한, 실제 배포를 위한 핵심 요구사항인 생성된 XML 파일의 유효성(validity)이 오픈 소스 LLM 전반에 걸쳐 엄격하게 벤치마킹되지 않았다.

방법론

BEF4LLM 프레임워크

저자들은 SIQ(구문, 실용, 의미 품질) 프레임워크를 확장한 새로운 평가 프레임워크인 BEF4LLM(BPMN Evaluation Framework for LLMs)을 도입한다. 기존 방식과 달리, BEF4LLM은 네 번째 차원인 **유효성(Validity)**을 포함한다. 이 프레임워크는 다음 4가지 차원에 걸친 39개의 지표로 구성된다:

1. 유효성 ($Q_{val}$): 생성된 BPMN-XML 파일이 파싱 가능하며 BPMN 2.0 XSD 스키마를 준수하는지 확인하는 이진 측정값(0 또는 1).
2. 구문 품질 ($Q_{syn}$): BPMN 모델링 규칙 준수 여부를 평가하는 16개 지표 (예: 시작/종료 이벤트 존재 여부, 올바른 게이트웨이 매칭, 시퀀스 플로우 규칙 등).
3. 실용 품질 ($Q_{prag}$): 크기, 밀도, 커넥터 상호작용, 분할 가능성, 동시성 등을 포함하여 이해도와 복잡성을 평가하는 15개 지표. 이들은 경험적으로 검증된 임계값을 사용하여 정규화된다.
4. 의미 품질 ($Q_{sem}$): 자연어(레이블 유사성), 그래프 구조(편집 거리), 동작(인과적 발자국) 측면에서 생성된 모델과 정답(ground-truth) 모델 간의 유사성을 측정하는 7개 지표.

각 차원의 점수는 총 프로세스 품질 점수($Q_{qual}$)와 유효성을 포함한 총점($Q_{total}$)으로 집계된다.

실험 설정

• 데이터셋: Camunda, LRE 등 5개의 공개 데이터셋에서 추출한 105개의 텍스트-BPMN 쌍으로 구성된 큐레이션된 데이터셋을 사용하여 고품질의 정답(ground truth)을 확보하였다.
• 모델: Llama 3, Qwen 2.5/3, Deepseek R1, Phi 4, Falcon 3 계열을 포함한 17개의 오픈 소스 LLM. 모델은 크기(Small $\le$7B, Medium 7B–14B, Large >14B)별로 분류되었다.
• 절차:
  1. 프롬프팅: 시스템 프롬프트(원샷 예시)와 모델링 프롬프트를 사용하여 LLM이 BPMN-XML을 생성하도록 지시하였다.
  2. 정제(Refinement): 초기 출력이 유효하지 않은 경우, 특정 XML 오류를 수정하기 위해 정제 프롬프트를 전송하였다.
  3. 실행: 지시 준수 능력을 유지하면서 미세한 변동을 허용하기 위해 온도를 0.1로 설정하여 샘플당 5회 실행하였다.
  4. 필터링: 통계적 견고성을 보장하기 위해 평균적으로 유효한 BPMN-XML을 30개 미만으로 생성하는 LLM은 최종 분석에서 제외하였다.
• 통계 분석: 결측치 처리와 서수 점수를 다루기 위해 Bonferroni 교정을 적용한 비모수 검정(전역 차이를 위한 Skillings-Mack, 쌍별 비교를 위한 Wilcoxon signed-rank)을 사용하였다.
• 인간 벤치마크: 비교를 위한 베이스라인을 구축하기 위해 5명의 전문가가 9개의 텍스트 설명을 직접 모델링하였다.

주요 기여

1. BEF4LLM 프레임워크: 유효성을 구문, 실용, 의미 품질과 함께 핵심 차원으로 통합하여, BPMN 모델링에서의 LLM을 평가하기 위해 특별히 설계된 최초의 프레임워크이다.
2. 대규모 벤치마크: 105개의 텍스트-BPMN 쌍에 대해 17개의 오픈 소스 LLM을 광범위하게 평가하여, 프로세스 모델링 분야의 현재 LLM 현황에 대한 첫 번째 종합적인 관점을 제공한다.
3. 통계적 통찰: 모델 패밀리와 크기에 따른 성능 차이를 상세히 분석하여, 파라미터 수가 전체 모델링 품질과 선형적으로 상관관계가 있지는 않음을 밝혀냈다.
4. 인간 비교: 상위 성능을 보이는 LLM을 인간 모델링 전문가와 직접 벤치마킹하여 수렴 및 발산 영역을 강조하였다.

결과

비교 성능

• 구문 품질: LLM은 일반적으로 우수한 성능을 보였으며, 점수는 일관되게 0.75 이상이었다. Falcon 3 10b가 가장 높은 구문 점수(0.9082)를 기록했으나, Llama 3.3 70b가 모든 차원에서 가장 일관된 최상위 성능을 보였다.
• 실용 품질: 점수가 대체로 높았으며(대부분 >0.8), 이는 생성된 모델이 종종 이해하기 쉽다는 것을 나타낸다. Qwen 2.5 14b가 가장 높은 점수(0.8907)를 받았다.
• 의미 품질: 모든 모델에서 가장 취약한 차원이었다(점수 ~0.5–0.57). Qwen 2.5 32b와 Llama 3.3 70b가 이 카테고리를 주도했다.
• 유효성: 주요 병목 구간이다. Llama 3.3 70b만이 90% 이상의 유효율(97.33%)을 달성했다. 많은 작은 모델들이 유효한 XML을 생성하는 데 자주 실패했다.
• 전체: 유효성을 제외했을 때, Llama 3.3 70b가 가장 높은 총 프로세스 품질($Q_{qual}$ = 0.8143)을 달로 달성했다. 유효성을 포함했을 때($Q_{total}$), 이 모델은 여전히 선두를 유지했으나 다른 모델들은 크게 하락했다.

모델 크기의 영향

연구 결과 "클수록 항상 더 좋은 것은 아니다"라는 사실이 밝혀졌다.

• 스케일링 효과: 파라미터 수를 늘리면 일반적으로 구문 및 의미 품질은 개선되었으나(3~5 퍼센트 포인트), 실용 품질은 오히려 저하되는 경향을 보였다(약 2 포인트). 더 큰 모델은 더 복잡하고 덜 조직화된 프로세스를 생성하는 경향이 있었다.
• 아키텍처 의존성: Qwen 3 제품군은 크기가 14B에서 30B로 증가할 때 의미 품질이 저하되다가, 235B로 도약하면서 다시 회복되지만 실용 품질은 더욱 저하되는 진동하는 결과를 보여주었다.
• 결론: 파라미터 수는 전체 BPMN 품질의 좋은 대리 지표가 아니다. 작은 모델(예: Llama 3 8b, Qwen 2.5 14b)이 종종 품질과 계산 비용 사이에서 더 나은 균형을 제공한다.

인간 전문가와의 비교

• 유사한 점수: LLM과 인간 전문가는 유사한 범위의 점수를 달성했다.
• 강점/약점: LLM은 구문적 및 실용적 품질(구조적 오류가 적고 포맷팅이 우수함)에서 인간을 능가했다. 그러나 인간은 의미적 품질(0.5152 대 상위 LLM의 약 0.50)에서 LLM을 크게 앞질렀으며, 이는 텍스트의 의도된 의미와 더 잘 일치함을 나타낸다.
• 일관성: 인간의 모델은 LLM 출력에서 보이는 높은 변동성에 비해 품질 점수의 변동성이 낮았다.

의의 및 주장

본 논문은 BEF4LLM이 단순한 "LLM-as-a-judge" 메트릭을 넘어 BPMN 모델링에서 LLM을 평가하기 위한 표준화된 절차를 제공한다고 주장한다. 연구 결과는 현재의 오픈 소스 LLM이 구조적, 가독성 측면에서는 인간 전문가와 대등한 수준에 도달했으나, 깊은 의미적 정렬(semantic alignment)과 결정적으로 유효하고 파싱 가능한 XML 파일을 생성하는 데 여전히 어려움을 겪고 있음을 시사한다.

저자들은 유효성이 실제 배포를 위한 주요 장애물임을 강조한다. 이들은 이 작업을 위해 지시어 튜닝(instruction-tuned)된 변체들이 필수적이며, 향후 개발은 의미적 정확성을 위한 미세 조정(fine-tuning)과 더 압축된 표현을 통한 토큰 사용량 감소에 집중해야 한다고 주장한다. 본 연구는 AI 기반 프로세스 설계가 프로세스 모델링의 진입 장벽을 낮출 수 있지만, LLM에 의한 완전 자동화되고 문맥을 인식하는 BPM이 현실이 되기 전까지 상당한 과제가 남아있음을 결론짓는다.