Using LLMs to Evaluate Architecture Documents: Results from a Digital Marketplace Environment

기술 요약: LLM을 이용한 아키텍처 문서 평가 – 디지털 마켓플레이스 환경에서의 결과

문제 정의
소프트웨어 개발은 생성형 AI에 대한 의존도가 높아지고 있으나, AI 출력물의 품질은 근본적으로 입력값의 품질에 달려 있습니다. 소프트웨어 아키텍처 문서와 같은 초기 단계의 산출물은 다운스트림 구현을 위한 핵심적인 입력값입니다. 이러한 문서에 결함, 모호성 또는 누락된 정보가 있을 경우, 개발 생명주기 후반부에 비용이 많이 드는 수정 주기가 발생할 수 있습니다. 기존의 아키텍처 문서 평가 방법(예: ATAM, SAAM, 수동 체크리스트)이 존재하지만, 이는 시간이 많이 소요되고 확장하기 어렵습니다. 저자들은 대규모 언어 모델(LLM)이 특히 스마트 시티 솔루션을 위한 디지털 마켓플레이스 맥락 내에서 아키텍처 문서의 품질을 효과적으로 평가하고 인간 소프트웨어 아키텍트와 비교 가능한 피드백을 제공할 수 있는지 조사합니다.

방법론
본 연구는 "Deutschland Digital" 마켓플레이스의 오픈 소스 솔루션 평가를 지원하기 위해 개발된 LLM 기반 시스템인 "Quasar" 도구 내에서 수행되었습니다. 연구는 문서 완성도가 서로 다른 두 가지 특정 오픈 소스 프로젝트에 초점을 맞췄습니다:

1. 프로젝트 1: 포괄적인 문서(Markdown, PDF, 이미지를 포함한 266개 파일)를 갖춘 솔루션.
2. 프로젝트 2: 기본적인 문서(11개의 Markdown 파일과 25개의 이미지)를 갖춘 솔루션.

시스템 아키텍처 및 구현:

• 입력 처리: 시스템은 다양한 문서 형식(PDF, DOCX, Markdown, 이미지)을 수용합니다. 변환기(Docing 사용)는 이를 읽기 가능한 형식으로 변환합니다.
• 평가 로직: 시스템은 특정 기준이 사전 정의된 프롬프트에 따라 평가되는 가중치 기반 품질 모델을 채택합니다.
• LLM 통합: "Quasar" 백엔드는 평가 로직을 특정 모델 벤더로부터 분리하기 위해 "LLM 클라이언트" 컴포넌트를 활용합니다. 본 연구를 위해 저자들은 NVIDIA Tesla V100 GPU 상에서 로컬로 호스팅된 Qwen2(텍스트와 다이어그램을 모두 처리할 수 있는 멀티모달 모델)와 Llama3.1(텍스트 전용 모델)을 사용했습니다.
• 절차: 두 명의 소프트웨어 아키텍트가 25개의 사전 정의된 문장(0~4점 척도)을 기준으로 두 프로젝트를 수동으로 평가했습니다. 동시에 Quasar는 일관성과 인간 전문가와의 일치도를 평가하기 위해 동일한 25개 프롬프로 각 프로젝트를 세 번씩 평가했습니다.

주요 기여

1. 도구 개발: 다양한 문서 형식을 수용하고 LLM 분석을 통해 품질 점수를 생성할 수 있는 모듈형 도구인 "Quasar"를 제작했습니다.
2. 경험적 비교: 두 가지 뚜렷한 문서 시나리오(포괄적 vs. 희소함)에 걸쳐 LLM 기반 평가와 인간 전문가 평가를 직접 비교했습니다.
3. 맥락적 분석: 입력 산출물의 품질과 밀도가 LLM 평가의 신뢰성에 어떻게 영향을 미치는지 조사했습니다.

결과
연구는 입력 품질과 LLM 성능 사이의 관계에 관한 유의미한 결과를 도출했습니다:

• 일관성 (RQ 1.2):
  • 프로젝트 1 (고품질 입력): 세 번의 자동 실행 결과는 대체로 일관되었습니다.
  • 프로젝트 2 (저품질 입력): 실행 결과는 낮은 일관성을 보였습니다. 세 차례의 사례에서 모델은 모든 실행 과정에서 특정 문장에 대한 결과를 생성하지 못했습니다.
• 인간과의 일치도 (RQ 1.3):
  • 프로젝트 1: 강한 상관관계가 나타났습니다. 두 개의 문장은 정확히 일치했으며, 36%의 평가가 최대 15% 이내의 차이를 보였습니다. 평균 편차는 27%였습니다.
  • 프로젝트 2: 뚜렷한 상관관계가 성립되지 않았습니다. 평균 편차는 43%였으며, 이는 LLM이 희소한 문서에 대해 인간의 판단을 신뢰성 있게 복제할 수 없음을 나타냅니다.
• 노력 (RQ 1.1):
  • 데이터셋이 작은 경우(프로젝트 2의 경우 인간 22분 vs. Quasar 14분; 프로젝트 1의 경우 인간 60분 vs. Quasar 68분) 처리 시간은 인간과 기계 간에 유사했습니다. 저자들은 더 큰 데이터셋의 경우 자동화된 솔루션이 더 빠를 것으로 예상한다고 언급했습니다.

의의 및 주장
본 논문은 LLM이 유망한 지원 도구라고 주장하지만, 그 효용성은 입력 산출물의 품질에 매우 조건적임을 강조합니다.

• 입력 의존성: 핵심 발견은 아키텍처 문서의 품질과 구조가 좋을수록 LLM의 평가가 인간 전문가와 비교했을 때 더 일관되고 정확하다는 것입니다. 반대로, 정보 밀도가 낮으면 상당한 편차와 환각(hallucination)이 발생합니다.
• AI의 역할: 저자들은 LLM을 인간 전문가의 대체재가 아니라, 문서 품질에 대한 초기 인상을 제공하여 전문가의 시간을 절약할 수 있는 "초기, 경량 품질 보증" 메커니즘으로 위치시킵니다.
• 한계점: 저자들은 본 연구가 작은 표본 크기(두 개의 프로젝트, 두 명의 전문가)와 사용된 특정 모델에 의해 제한된다는 점을 명시적으로 밝힙히고 있습니다. 현재의 결과만으로는 일반화가 불가능하며, 저품질 입력에서 관찰된 "불일치"는 기술을 광범위하게 일반화하기 전에 추가적인 분석이 필요하다고 경고합니다.
• 향 향후 전망: 저자들은 향-후 반복 연구에서 더 큰 컨텍스트 윈도우(예: Google Gemini), 파일 간의 맥락을 유지하기 위한 검색 증강 생성(RAG), 그리고 도메인 특화 지식 향상을 위한 미세 조정(fine-tuning)을 활용해야 한다고 제안합니다. 또한 이러한 기능들을 독립적인 서비스가 아닌 아키텍트의 일상적인 도구(예: Enterprise Architect, draw.io)에 직접 통합하는 것을 구상하고 있습니다.