기술 요약: 소프트웨어 설계에서 LLM 활용: GitHub 실증 연구 및 실무자 설문 조사

문제 제기

대규모 언어 모델(LLM) 은 코드 생성 및 버그 수정과 같은 코드 수준 작업에서 소프트웨어 공학 분야에서 상당한 잠재력을 입증해 왔으나, 소프트웨어 설계 분야에서의 적용은 아직 충분히 탐구되지 않았습니다. 소프트웨어 설계는 고수준 추상화, 아키텍처 트레이드오프, 그리고 풍부한 프로젝트별 맥락을 포함하므로 코드보다 명세화와 평가가 더 어렵습니다. 기존 문헌은 주로 기능 시연이나 소규모 예제에 초점을 맞추고 있어, 실제 환경에서 개발자들이 설계를 위해 LLM 을 어떻게 활용하는지에 대한 실증적 증거가 부족합니다. 따라서 다음과 같은 중요한 질문들이 여전히 답을 찾지 못하고 있습니다: 개발자들은 LLM 으로 어떤 구체적인 설계 문제를 해결하려 시도하는가? 그들은 설계 질문을 어떻게 반복적으로 구성하고 정제하는가? 인식된 이점과 마찰은 어디에서 발생하는가?

방법론

저자들은 소프트웨어 설계에서의 LLM 활용을 실증적으로 조사하기 위해 채굴 연구와 실무자 설문 조사를 결합한 혼합 방법론 연구를 수행했습니다.

1. 채굴 연구

• 데이터 소스: 연구자들은 2023 년 5 월부터 2025 년 1 월까지 GitHub 의 코드, 커밋, 이슈, 풀 리퀘스트, 토론을 아우르는 3,217 개의 공유된 ChatGPT 대화 링크를 수집했습니다.
• 필터링: 중복 및 비영어 콘텐츠를 제거한 후, 포함/제외 기준 (예: 순수 구문 디버깅 또는 비즈니스 로직 제외, 아키텍처 패턴, 설계 패턴, 컴포넌트 종속성 포함) 에 따라 대화를 수동으로 라벨링했습니다.
• 최종 데이터셋: 291 개의 대화가 소프트웨어 설계와 관련된 것으로 분류되었습니다.
• 분석: 팀은 데이터 항목 (작업 유형, 대화 라운드, 프롬프트 목적, 설계 수준) 을 추출하고 등장하는 범주를 도출하기 위해 개방형 코딩과 상수 비교 방법을 사용했습니다.

2. 설문 조사 연구

• 참가자: 소프트웨어 개발에서 LLM 사용 경험이 있는 65 명의 소프트웨어 실무자 (GitHub 에서 34 명, LinkedIn 전문 그룹에서 31 명).
• 도구: 채굴 연구의 결과를 검증하고 인식된 이점과 한계를 탐구하기 위해 설계된 설문지. 이는 폐쇄형, 반개방형, 개방형 질문을 포함했습니다.
• 분석: 정량적 데이터에는 기술 통계가 사용되었고, 이점 및 한계에 관한 정성적 응답에는 개방형 코딩과 상수 비교가 적용되었습니다.

주요 기여

본 논문은 오픈소스 대화 데이터와 실무자 관점 모두에서 소프트웨어 설계에서의 LLM 사용을 근거 기반으로 처음 규명한 연구입니다. 본 연구는 다음과 같습니다:

1. ChatGPT 가 지원하는 9 가지 고유한 소프트웨어 설계 작업 범주를 식별합니다.
2. 상호작용 패턴을 규명하여, 설계 작업은 일회성이 아니라 반복적이고 다중 턴 대화에 의해 이루어짐을 보여줍니다.
3. LLM 이 가장 빈번하게 적용되는 설계 수준을 정량화합니다.
4. 개발자들이 인식하는 7 가지 주요 이점과 6 가지 주요 한계를 목록화하여, 효율성 향상과 통합 비용 간의 긴장 관계를 부각시킵니다.

주요 결과

RQ1: 지원되는 설계 작업

본 연구는 9 가지 범주의 설계 작업을 식별했습니다. 채굴 연구 (376 개 작업 식별) 에서의 분포는 다음과 같습니다:

• 인터페이스 및 프로토콜 설계: 19.4% (가장 빈번함; 예: API 명세, REST 엔드포인트).
• 설계 패턴 활용: 16.5% (예: 전략/팩토리 패턴 적용).
• 아키텍처 설계: 13.8% (예: 마이크로서비스 대 모놀리식, 컴포넌트 분해).
• 데이터 모델 설계: 11.4% (예: 데이터베이스 스키마, 엔티티 관계).
• 코드 리팩토링: 10.4%.
• 보안 설계: 9.0%.
• 성능 최적화: 8.2%.
• 사용자 인터페이스 설계: 6.1%.
• 컴포넌트 종속성 최적화: 5.1%.
  설문 조사 결과는 이러한 범주의 관련성과 포괄성을 확인했습니다.

RQ2: 사용 패턴

• 대화 라운드: 상호작용은 반복적입니다. 평균 대화는 6.18 라운드였으며, 단일 턴에서 68 라운드까지 다양했습니다.
• 프롬프트 목적: 개발자들은 주로 설계에 대한 지식 조회(32.18%) 와 설계를 위한 코드 생성(30.32%) 을 위해 LLM 을 사용하며, 이어 설계 솔루션 추천(23.67%) 과 설계 솔루션 검증(13.83%) 순입니다.
• 설계 수준: 대부분의 작업은 상세 설계 수준(53.99%) 에서 발생하며, 이어 아키텍처 수준(29.79%) 과 코드 관용구 수준(16.22%) 순입니다.

RQ3: 인식된 이점

개발자들은 7 가지 주요 이점을 보고했습니다:

1. 더 효과적인 검색 엔진: LLM 은 설계 지식에 있어 기존 검색 엔진보다 우수하다고 여겨집니다 (응답자의 38.46%).
2. 설계 결함의 조기 발견: 논리적 불일치와 오류를 식별할 수 있는 능력 (33.84%).
3. 오버헤드 감소: 초기 설계 작업 시간을 절약하여 코딩에 집중할 수 있음 (29.23%).
4. 빠른 프로젝트 온보딩: 새로운 개발자가 프로젝트 역사와 근거를 이해하는 데 도움 (26.15%).
5. 혁신적인 아이디어: 때때로 창의적인 제안 제공 (26.15%).
6. 기술 선택: 새로운 기술 스택 선택 지원 (13.85%).
7. 개념 해석: 팀 내 용어에 대한 공유된 이해를 용이하게 함 (10.77%).

RQ4: 인식된 한계

6 가지 주요 한계가 식별되었습니다:

1. 긴 출력: 응답이 종종 너무 길고 읽기 어려움 (49.23%).
2. 실행 불가능한 코드: 생성된 코드는 종종 수동 수정이 필요하거나 프로토타입으로 실행되지 않음 (43.07%).
3. 환각된 결과: 관련 없거나 사실적으로 잘못된 콘텐츠가 실용적 가치를 저하시킴 (32.31%).
4. 불명확한 요구사항 표현: 자연어를 통한 요구사항 전달의 어려움이 낮은 품질의 출력을 초래함 (27.69%).
5. 제한된 소스 파일 업로드: 프로젝트 파일 업로드 시 구조적 손실로 인해 맥락 이해가 방해받음 (16.92%).
6. 맥락 의존성: 출력은 누락되거나 모호한 맥락에 매우 민감함 (12.30%).

중요성 및 주장

본 논문은 코드 수준 작업을 넘어 소프트웨어 설계 단계를 조사함으로써 실증적 소프트웨어 공학 연구의 중요한 간극을 메우겠다고 주장합니다. 저자들은 그들의 발견이 설계 분야에서 LLM 채택의 현재 상태에 대한 기초적인 이해를 제공하며, 인식된 이점과 한계 간의 긴장 관계를 드러낸다고 주장합니다.

본 연구는 LLM 이 현재 완전 자동화된 설계 의사결정자라기보다는 설계 공간 탐색, 개념 명확화, 그리고 후보 솔루션 초안 작성과 같은 탐색 도구로 가장 효과적이라고 결론 내립니다. 저자들은 LLM 이 설계의 초기 단계를 가속화하지만, 환각, 맥락 민감성, 그리고 엄격한 검증 필요성과 같은 문제로 인해 검증, 통합, 최종 의사결정에 대한 책임은 여전히 인간 전문가에게 있음을 강조합니다. 이 연구는 종단 연구, 구조화된 맥락 관리를 위한 개선된 도구 개발, 그리고 전문 소프트웨어 설계 관행에 LLM 을 더 잘 통합하기 위한 기술 개발에 대한 향후 연구의 기초를 마련합니다.