Large Language Models for Analyzing Enterprise Architecture Debt in Unstructured Documentation

논문 개요: 비정형 문서 내 엔터프라이즈 아키텍처 부채 (EA Debt) 분석을 위한 대규모 언어 모델 (LLM) 활용

이 연구는 조직의 IT 환경에서 발생하는 비효율성과 설계 결함인 **엔터프라이즈 아키텍처 부채 (Enterprise Architecture Debt, EA Debt)**를 조기에 발견하기 위해, 대규모 언어 모델 (LLM) 을 활용하여 **비정형 문서 (Unstructured Documentation)**에서 **EA 냄새 (EA Smells)**를 자동으로 탐지하고 정량화하는 방법을 제안합니다.

1. 문제 정의 (Problem Statement)

• EA 부채의 심각성: EA 부채는 최적화되지 않은 설계 결정, 구식 기술, 정렬되지 않은 구성 요소로 인해 발생하며, 조직의 민첩성과 유지보수성을 저해합니다.
• 기존 방법의 한계:
  • 현재 EA 냄새 탐지는 주로 워크숍, 인터뷰, 전문가 평가를 통해 수동으로 이루어지며, 시간과 비용이 많이 듭니다.
  • 기존 자동화 접근법은 아키텍처 모델 (ArchiMate 등) 이나 지식 그래프와 같은 정형화된 아티팩트에 국한되어 있습니다.
  • 조직의 중요한 설계 결정, 제약 조건, 진화 과정은 정책 문서, 회의록, 프로세스 설명서 등 비정형 텍스트에 담겨 있어, 기존 자동화 도구로는 이를 분석하기 어렵습니다.
• 연구 목표: LLM 을 사용하여 비정형 문서에서 EA 냄새를 자동으로 탐지하고, 데이터 보호 (On-premise) 와 하드웨어 제약 (CPU 만 사용) 환경에서도 실용적인지 평가하는 것입니다.

2. 방법론 (Methodology)

이 연구는 디자인 사이언스 리서치 (Design Science Research, DSR) 접근법을 따르며, 다음과 같은 단계를 거쳤습니다.

• 범위 및 요구사항 정의:
  • 대상: 비즈니스 레이어 (프로세스, 목표, 역할 등) 에 해당하는 12 가지 EA 냄새 (예: 모호한 관점, 빅뱅 아키텍처, 임시 해결책 등).
  • 기능적 요구사항: Word/PDF 파일 처리, EA 냄새 탐지, 추천 사항 생성, 데이터 보호.
  • 비기능적 요구사항: Windows 16GB RAM 환경 (CPU 만 사용) 에서 실행 가능해야 함.
• 아티팩트 (Prototype) 설계 및 개발:
  • 모델 선택: 데이터 보호 요구사항으로 인해 외부 API(GPT-4 등) 를 배제하고, LLaMA-3.2-3B-Instruct (오픈 소스, 3B 파라미터) 를 선택하여 온프레미스 환경에서 실행합니다.
  • 학습 전략: **LoRA (Low-Rank Adaptation)**를 활용한 파라미터 효율적 미세 조정 (PEFT) 과 Few-shot learning을 결합하여 학습 효율성을 높였습니다.
  • 데이터셋: 8 개의 비즈니스 도메인 (주문 - 현금, 구매 - 지급 등) 에서 12 가지 냄새를 포함하도록 960 개의 합성 데이터 (양성/음성 50:50) 를 생성하여 학습시켰습니다.
  • 파이프라인: 문서 ingestion → 전처리 (토큰화, 청킹) → LLM 기반 냄새 탐지 및 근거 추출 → 보고서 생성.
• 평가 프로토콜:
  • 비교 대상: 개발된 온프레미스 LLaMA 모델 (Model A) 과 OpenAI 의 커스텀 GPT (Model B, 벤치마크) 를 비교합니다.
  • 테스트 데이터: 30 개의 합성적이지만 현실적인 비즈니스 문서 (Ground Truth 포함).
  • 실험 조건: 단일 문서 처리, 10 개 문서 배치, 30 개 문서 배치 처리 등 3 가지 시나리오로 수행.

3. 주요 기여 (Key Contributions)

1. 문제 분석 및 요구사항 정의: 비정형 엔터프라이즈 문서 내 EA 냄새 탐지를 위한 LLM 기반 시스템의 기능적/비기능적 요구사항을 체계화했습니다.
2. 아티팩트 구현: 제한된 하드웨어 (CPU, 16GB RAM) 환경에서 실행 가능한 미세 조정된 LLM 프로토타입을 설계하고 구현했습니다.
3. 실증적 평가: 합성 비즈니스 문서를 사용하여 온프레미스 모델과 클라우드 기반 GPT 모델의 성능 (정확도, 처리 시간, 확장성) 을 비교 분석했습니다.

4. 결과 (Results)

• 성능 비교 (Model A vs. Model B):
  • 정밀도 (Precision): 커스텀 GPT(Model B) 가 0.88~0.89로 매우 높았으나, 온프레미스 LLaMA(Model A) 는 0.19~0.26으로 낮았습니다.
  • 재현율 (Recall): Model A 는 높은 민감도로 많은 냄새를 탐지했으나 (False Positive 많음), Model B 는 보수적으로 작동하여 재현율은 낮았습니다 (0.22~0.25).
  • 오류 유형: Model A 는 냄새를 과탐지하고 일반화된 설명을 생성하는 경향이 있었으며, Model B 는 배치 처리 시 문서 간 문맥 누출 (Context Leakage) 이 발생했습니다.
• 처리 시간 및 확장성:
  • Model B 는 문서 1 개당 약 2 초, 10 개 배치당 2 초로 매우 빠릅니다.
  • Model A 는 문서 1 개당 약 120 초, 10 개 배치당 약 17 분이 소요되며, 30 개 배치 처리가 가능하지만 속도가 느립니다.
• 적응성: Model B 는 새로운 문맥을 제공받을 때 이전 결과를 수정하는 능력이 있었으나, Model A 는 배치 처리 시 문서 간 연결성을 파악하지 못했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실무적 시사점:
  • LLM 은 EA 부채 탐지를 위한 트리지 (Triage) 신호로 활용될 수 있으나, 최종 진단 도구로는 부적합합니다. 전문가의 검증이 필수적입니다.
  • 데이터 보호가 중요한 환경에서는 온프레미스 모델이 정확도는 낮지만 데이터 유출 위험을 줄이는 대안이 될 수 있습니다.
  • 하이브리드 접근법 필요: 비정형 텍스트 분석과 정형화된 아키텍처 모델 (ArchiMate, 지식 그래프) 을 결합하여 정확도를 높여야 합니다.
• 한계 및 향후 연구:
  • 현재 연구는 합성 데이터에 의존하여 실제 문서의 복잡성을 완전히 반영하지 못했습니다.
  • 향후 연구에서는 더 다양하고 대규모의 데이터셋, 다중 평가자 (Multi-rater) 를 통한 라벨링 품질 향상, 그리고 비정형 문서를 지식 그래프로 변환 후 분석하는 파이프라인 구축이 제안됩니다.

요약하자면, 이 연구는 LLM 이 비정형 문서에서 EA 냄새를 탐지할 수 있는 기술적 가능성을 입증했으나, 온프레미스 환경의 제약으로 인해 현재로서는 정밀도가 낮아 보조 도구 (Decision Aid) 로서의 역할에 머무르고 있음을 보여주었습니다. 향후 데이터 품질 향상과 하이브리드 아키텍처 도입을 통해 EA 거버넌스 프로세스의 효율성을 높일 수 있을 것으로 기대됩니다.