Class Model Generation from Requirements using Large Language Models

이 논문은 GPT-5 등 최신 대규모 언어 모델 (LLM) 을 활용하여 자연어 요구사항으로부터 UML 클래스 다이어그램을 자동 생성하고, 인간 전문가와 LLM 을 활용한 이중 검증 프레임워크를 통해 그 정확성과 신뢰성을 평가한 연구입니다.

핵심

이 논문은 **"인공지능 (AI) 이 소프트웨어 설계도를 자동으로 그리고, 그 설계도가 잘 만들어졌는지 심사할 수 있을까?"**라는 질문에 답하는 연구입니다.

기존에 소프트웨어를 만들 때는 요구사항 (무엇을 만들어야 하는지) 을 읽은 사람이 직접 복잡한 그림 (UML 클래스 다이어그램) 을 그려야 했습니다. 이는 시간이 많이 들고 전문가의 기술이 필요했죠. 이 연구는 최신 AI(거대 언어 모델) 가 이 일을 대신할 수 있는지, 그리고 AI 가 만든 그림을 AI 가 스스로 평가할 수 있는지를 확인했습니다.

이 내용을 일상적인 비유로 설명해 드릴게요.

---

🏗️ 비유: "요리사 (AI) 와 미식가 (AI 심사위원)"

이 연구를 한 마디로 요약하면, **"요리사 AI 가 손님 (요구사항) 의 주문을 보고 요리를 만들고, 또 다른 미식가 AI 가 그 요리의 맛을 평가하는 실험"**입니다.

1. 요리사 AI 들의 경쟁 (생성 능력)

연구진은 네 명의 유명한 요리사 (GPT-5, Claude, Gemini, Llama) 를 불렀습니다.

• 상황: 손님들이 "저는 매운 고기 요리가 먹고 싶어요"라고 말하면 (자연어 요구사항), 요리사들은 그 말만 듣고 구체적인 레시피와 재료 배합도 (UML 설계도) 를 그려냅니다.
• 결과:
  • GPT-5가 가장 뛰어난 요리사였습니다. 손님의 말을 가장 잘 이해하고, 재료 (클래스) 와 조리법 (관계) 을 가장 정확하게 그림으로 그렸습니다.
  • Claude는 그다음으로 좋았고, Llama는 아직 요리 실력이 부족해 자주 실수를 했습니다.
  • 특히 '심장 박동 조절기 (Pacemaker)'처럼 매우 복잡하고 전문적인 메뉴를 주문했을 때는 모든 요리사가 조금 헷갈려 했지만, 그래도 기본적인 뼈대는 잘 잡아냈습니다.

2. 미식가 AI 들의 심사 (평가 능력)

그런데 여기서 의문이 생깁니다. "요리사가 만든 요리를 누가 평가할까? 전문가 (사람) 가 매번 맛을 볼 수는 없잖아?"

• 해결책: 연구진은 두 명의 **미식가 AI(Grok, Mistral)**를 고용했습니다. 이 미식가들은 직접 요리를 하지 않고, 네 명의 요리사가 그린 '설계도'를 보고 점수를 매깁니다.
• 심사 기준:
  1. 완성도: 주문한 모든 재료가 들어갔는가?
  2. 정확성: 맛이 논리적으로 맞는가?
  3. 규칙 준수: 요리 규칙 (UML 표준) 을 지켰는가?
  4. 이해 용이성: 다른 사람도 이 레시피를 보고 따라 할 수 있는가?
  5. 용어 일치: 손님이 쓴 말과 레시피의 단어가 같은가?

3. 놀라운 발견: AI vs 인간

가장 흥미로운 부분은 미식가 AI 들과 실제 인간 전문가 (소믈리에) 의 평가가 얼마나 비슷한지를 비교한 것입니다.

• 결과: 미식가 AI 들이 매긴 점수와 인간 전문가가 매긴 점수가 놀라울 정도로 비슷했습니다.
• 의미: AI 가 만든 그림을 AI 가 평가해도, 인간이 평가하는 것과 거의 같은 결론을 내린다는 뜻입니다. 마치 "맛있는 요리를 맛있게 먹어본 AI"가 "인간 미식가"와 거의 같은 입맛을 가지고 있는 것과 같습니다.
• 약간의 차이: 다만, '요리의 분위기 (이해 용이성)'나 '단어의 뉘앙스 (용어 일치)' 같은 주관적인 부분에서는 AI 간에 약간의 의견 차이가 있기도 했습니다.

---

💡 이 연구가 우리에게 주는 메시지

1. 자동화의 가능성: 이제 소프트웨어 설계 같은 복잡한 일도 AI 가 대신할 수 있습니다. 사람이 직접 그림을 그리는 대신, AI 가 초안을 만들어주면 됩니다.
2. 신뢰할 수 있는 심사관: AI 가 만든 결과물을 검증할 때도, 또 다른 AI 를 쓸 수 있습니다. 이는 시간과 비용을 크게 아껴줍니다.
3. 인간과 AI 의 협업 (최종 승자): AI 가 1 차 설계와 심사를 담당하고, 복잡한 문제나 최종 결정은 인간 전문가가 맡는 방식이 가장 이상적입니다. AI 가 "이건 괜찮아요"라고 해도, 인간이 "아, 여기는 좀 더 다듬어야 해"라고 최종 확인하는 거죠.

🎯 결론

이 논문은 **"AI 가 소프트웨어의 청사진을 그릴 줄 알고, 그 청사진이 잘 그려졌는지 심사할 줄도 안다"**는 것을 증명했습니다. 앞으로는 AI 가 설계도를 그려주고, 인간이 그 위에 마지막 touches(마무리) 를 더하는 '인간-AI 협업' 시대가 열릴 것입니다. 마치 AI 가 요리사를 도와 재료를 다듬고, 인간 셰프가 최종 맛을 보고 완성하는 것과 같습니다.

기술 요약

1. 문제 정의 (Problem)

소프트웨어 공학에서 요구사항 공학 (RE) 단계는 시스템의 구조와 행위를 시각화하기 위해 UML(통합 모델링 언어) 클래스 다이어그램을 수동으로 작성하는 과정이 필수적입니다. 그러나 이 과정은 다음과 같은 문제점을 내포하고 있습니다:

• 높은 인력 및 시간 비용: 상세한 UML 다이어그램 설계는 전문 지식과 상당한 수작업을 요구합니다.
• 이해 부족 및 오해: 요구사항 엔지니어와 이해관계자 간의 도메인 지식 차이로 인해 오해가 발생하기 쉽습니다.
• 기존 자동화의 한계: 과거 규칙 기반 NLP(자연어 처리) 기술은 유연성이 부족하여 복잡한 도메인 상호작용을 일반화하기 어려웠습니다.
• 검증의 부재: 생성된 모델의 품질을 평가할 때 'Ground Truth(정답)'가 존재하지 않는 경우가 많아, 자동화된 평가 방법론이 부족했습니다.

이 연구는 LLM 이 자연어 요구사항으로부터 UML 클래스 다이어그램을 얼마나 효과적으로 생성할 수 있는지, 그리고 생성된 모델의 품질을 인간 전문가와 유사하게 평가할 수 있는지를 규명하는 것을 목표로 합니다.

2. 연구 방법론 (Methodology)

연구는 8 개의 이질적인 데이터셋 (Lockheed Martin 사이버 - 물리 시스템, 사용자 스토리, Pure Dataset 등) 을 기반으로 진행되었으며, 다음과 같은 단계로 구성되었습니다.

A. 모델 및 데이터셋

• 평가 대상 LLM (생성 모델): GPT-5, Claude Sonnet 4.0, Gemini 2.5 Flash Thinking, Llama-3.1-8B-Instruct.
• 데이터셋: 다양한 도메인 (데이터 관리, 재활용 시스템, 헬스케어, 임베디드 시스템 등) 의 8 개 요구사항 문서.
• 출력 형식: PlantUML 텍스트 코드.

B. 생성 프로세스 (RQ1)

• Chain-of-Thought (CoT) 프롬프팅: 요구사항에서 도메인 엔티티, 속성, 연관 관계를 단계별로 추출하도록 프롬프트를 설계하여 PlantUML 코드를 생성하게 함.
• 생성 품질 평가: 생성된 다이어그램을 5 가지 품질 차원 (완전성, 정확성, 표준 준수, 가독성, 용어 정렬) 에 따라 평가.

C. 평가 프레임워크 (LLM-as-a-Judge)

Ground Truth 가 없는 상황에서 모델 간 성능을 비교하기 위해 LLM-as-a-Judge 방식을 도입했습니다.

• 심사관 LLM: Grok 과 Mistral Small 3.1 24B 두 개의 독립적인 모델을 심사관으로 선정.
• 평가 방식: 쌍대 비교 (Pairwise Comparison) 를 통해 어떤 모델이 더 나은 다이어그램을 생성했는지 판단.
• 통계적 분석:
  • Spearman 순위 상관 계수 (ρ): 두 심사관 간의 순위 일치도 측정.
  • Cohen's Kappa (κ): '수용 가능/불가능' 이진 분류에 대한 일치도 측정.
  • Cohen's d: 평가 점수 차이의 효과 크기 (Effect Size) 측정.
  • Wilcoxon 부호 순위 검정: 점수가 중립점 (3 점) 보다 통계적으로 유의미하게 높은지 검증.

D. 인간 전문가 검증 (RQ2)

• Human-in-the-Loop (HITL): RQ1 에서 가장 성능이 좋았던 모델 (GPT-5) 의 결과를 두 명의 소프트웨어 공학 전문가가 동일한 5 가지 기준에 따라 절대 점수 (1~5 점) 로 평가.
• 정렬 분석: LLM 심사관의 평가 결과와 인간 전문가의 평가 결과 간의 일치도를 정량적으로 분석.

3. 주요 기여 및 결과 (Key Contributions & Results)

A. 생성 능력 (RQ1 결과)

• 성능 순위: GPT-5가 모든 데이터셋에서 일관되게 가장 높은 순위를 차지했으며, 그 뒤를 Claude Sonnet 4.0 이 이었습니다. Llama-3.1 은 가장 낮은 성능을 보였습니다.
• 품질: LLM 은 도메인 엔티티와 관계를 추출하여 구조적으로 일관된 UML 다이어그램을 생성할 수 있었습니다.
• 오류 분석: 주요 구조적 오류는 잘 파악했으나, 복잡도가 높은 도메인 (예: Pacemaker) 이나 미묘한 연관 관계 (Multiplicity) 에서 오류가 발생했습니다.

B. 평가 능력 및 LLM 심사관 신뢰성

• 심사관 간 일치도: Grok 과 Mistral 두 심사관 간의 순위 상관 계수 (ρ) 는 8 개 데이터셋 중 7 개에서 0.8~1.0으로 매우 높았으며, Kappa 계수 (κ) 는 0.773으로 '상당한 일치 (Substantial Agreement)'를 보였습니다.
• 통계적 유의성: 두 심사관 모두 생성된 다이어그램을 '수용 가능한 품질' 이상으로 평가했으며, 통계적으로 유의미한 점수 차이를 보였습니다.

C. 인간 - LLM 정렬 (RQ2 결과)

• 인간 전문가 평가: 인간 전문가들 간에도 Kappa 계수 0.684로 상당한 일치를 보였으며, GPT-5 가 생성한 다이어그램은 전반적으로 높은 품질을 인정받았습니다.
• LLM 과 인간의 일치: LLM 심사관과 인간 전문가 간의 평가 결과도 높은 정렬을 보였습니다 (Kappa 0.722).
  • 일치 영역: 용어 정렬 (Terminological alignment) 과 가독성 (Understandability) 에서 가장 높은 일치를 보였습니다.
  • 차이 영역: 완전성 (Completeness) 과 정확성 (Correctness) 에서 LLM 이 인간보다 약간 높은 점수를 주는 경향이 있었으나, 효과 크기 (Cohen's d) 는 대체로 작았습니다.
  • 주관성: '이해 가능성'과 '용어 정렬' 기준에서 인간과 LLM 간의 해석 차이가 가장 컸습니다.

4. 연구의 의의 및 결론 (Significance & Conclusion)

1. 자동화 워크플로우의 실현 가능성: LLM 은 UML 클래스 다이어그램을 생성하는 도구일 뿐만 아니라, **신뢰할 수 있는 자동 평가자 (Evaluator)**로도 기능할 수 있음을 입증했습니다.
2. Ground Truth 없는 환경에서의 평가: 정답이 없는 실제 소프트웨어 공학 환경에서도 LLM 기반의 쌍대 비교와 심사관 방식이 인간 전문가의 평가와 높은 정합성을 가진다는 것을 통계적으로 증명했습니다.
3. 인간 - AI 협업 모델 제안: LLM 이 초기 모델 생성과 1 차 평가를 수행하고, 인간 전문가가 복잡한 도메인이 포함된 최종 검증 단계를 담당하는 하이브리드 협업 프레임워크의 타당성을 제시했습니다.
4. 실용적 통찰: GPT-5 와 같은 최첨단 모델은 다양한 도메인에서 강력한 성능을 보이지만, 의료 기기 (Pacemaker) 와 같은 고도화된 도메인에서는 여전히 인간의 개입이 필요함을 시사합니다.

결론적으로, 본 논문은 대규모 언어 모델이 요구사항 공학 및 시스템 설계 단계에서 단순한 생성 도구를 넘어, 품질 보증 및 평가 프로세스까지 자동화할 수 있는 핵심 기술로 자리 잡을 수 있음을 보여주는 중요한 실증 연구입니다.