LLM-Assisted Empirical Software Engineering: Systematic Literature Review and Research Agenda

"LLM 지원 실증 소프트웨어 공학: 체계적 문헌 검토 및 연구 의제"에 대한 상세한 기술적 요약입니다.

1. 문제 제기

실증 소프트웨어 공학 (ESE) 은 데이터 규모, 방법론적 복잡성, 그리고 재현성 측면에서 증가하는 도전에 직면해 있습니다. 대규모 언어 모델 (LLM) 이 코드 생성과 같은 소프트웨어 공학 작업에 강력한 도구로 부상했지만, 데이터 수집, 분석, 종합과 같은 연구 과정 자체를 지원하는 방법론적 도구로서의 LLM 적용은 여전히 파편화되어 있습니다.

현재 문헌은 다음과 같은 사항에 대한 체계적 종합이 부족합니다:

• LLM 이 지원하는 구체적인 ESE 연구 작업 및 수명 주기 단계는 무엇인가?
• LLM 은 어떻게 실증 워크플로우에 통합되는가 (자동화 대 증강)?
• 보고된 이점, 한계 및 위험 (예: 환각, 편향) 은 무엇인가?
• 연구들이 재현성을 위해 필요한 세부 사항 (프롬프트, 구성, 검증) 을 어느 정도 보고하고 있는가?

이러한 종합이 없으면 연구자들은 LLM 지원 워크플로우의 신뢰성을 비판적으로 평가하거나 책임 있는 채택을 위한 지침을 수립할 수 없습니다.

2. 방법론

저자들은 소프트웨어 공학의 2 차 연구를 위한 확립된 가이드라인에 따라 **체계적 문헌 검토 (SLR)**를 수행했습니다.

• 범위 및 기간: 2020 년부터 2025 년까지 출판된 동료 검토 논문.
• 발행처: ICSE, FSE, MSR, ESEM 등의 컨퍼런스 및 TSE, EMSE, IST 등의 저널을 포함한 12 개 주요 소프트웨어 공학 발행처 (CORE A*/A 등급).
• 검색 전략: 제목/초록 키워드만으로는 방법론적 LLM 사용을 포착하기 어렵기 때문에, 저자들은 다음 단계를 따랐습니다:
  1. 12 개 발행처의 전체 회의록 (8,641 편) 을 다운로드.
  2. 전체 텍스트 키워드 필터링 적용 (예: "LLM", "Generative AI", "ChatGPT", "Prompt").
  3. 포함/제외 기준에 따라 1,882 편의 논문을 수동으로 선별.
• 선정 기준:
  • 포함: LLM 이 ESE 연구 작업 (선별, 코딩, 종합) 을 지원하거나 자동화하는 연구, 또는 ESE 맥락 내에서 LLM 을 실증적으로 조사한 연구.
  • 제외: 실증 연구 구성 요소 없이 일반 소프트웨어 개발 (예: 코드 생성 도구) 에만 LLM 을 사용하는 연구.
• 최종 데이터셋: 심층 분석을 위해 50 개의 주요 연구가 선정되었습니다.
• 데이터 분석:
  • 정성적: 작업에 대한 기술적 코딩, 이점/한계에 대한 주제 분석, 연구 수명 주기 단계 매핑.
  • 정량적: 작업, 모델, 보고 관행의 빈도 분석.
  • 재현성 평가: 9 가지 투명성 가이드라인 (예: 모델 버전, 프롬프트, 인간 검증 보고) 에 따라 평가.

3. 주요 기여

1. LLM 지원 작업 분류체계: LLM 이 지원하는 69 개의 고유한 작업을 식별하고 기능적 역할 (예: 의미 분류기, 기준 기반 선별기, 평가자) 로 추상화.
2. 수명 주기 매핑: LLM 이 ESE 연구 수명 주기 (기획, 데이터 수집, 처리, 분석, 보고) 전반에 어떻게 분포되어 있는지 분석.
3. 통합 패턴: LLM 관여 모드인 자동화, 증강, 의사결정 지원, 평가의 특성화.
4. 이점 및 한계 종합: 보고된 이점 (효율성, 확장성) 과 위험 (환각, 프롬프트 민감성, 재현성 문제) 의 주제 지도 작성.
5. 재현성 감사: 보고 관행 평가로 투명성상의 심각한 격차 (예: 누락된 프롬프트 또는 구성 세부 사항) 발견.
6. 연구 의제: 인간-AI 협업, 에이전트 시스템, 표준화된 보고에 중점을 둔 향후 작업 로드맵 제시.

4. 주요 결과

A. 작업 및 역할 (RQ1)

• 주요 역할: LLM 은 주로 분류(17 개 작업), 선별/필터링(14 개 작업), 평가(11 개 작업) 에 사용됩니다.
• 미활용 역할: 복잡한 추론, 교차 도메인 추상화, 통합 분석은 거의 탐구되지 않았습니다.
• 맥락: 작업은 대부분 구조화되고 잘 정의되어 있습니다 (예: 커밋 메시지 분류, 논문 제목 선별).

B. 연구 단계 (RQ2)

• 집중: LLM 사용은 데이터 처리 및 분석 및 종합 단계에 매우 집중되어 있습니다.
• 방법: 소프트웨어 저장소 마이닝 (MSR) 및 통제된 실험/사례 연구에서 가장 널리 사용됩니다.
• 격차: 기획 및 설계 및 보고 단계에서의 채택은 제한적입니다.

C. 통합 모드 (RQ3)

• 자동화 우세: **60.9%**의 작업이 완전히 자동화되었습니다 (LLM 이 최소한의 인간 개입으로 작업을 수행).
• 제한된 협업: **18.8%**만이 증강 (LLM 이 인간을 지원) 이며 **1.5%**만이 의사결정 지원 (LLM 이 인간 선택을 위한 옵션 제안) 입니다.
• 시사점: 현재 LLM 은 인간 추론을 지원하기보다 의사결정 단계를 대체하는 데 사용됩니다.

D. 이점 및 한계 (RQ4)

• 이점: 주로 효율성 향상(수동 노력 감소) 과 확장성(대규모 데이터셋 처리) 으로 인용됩니다. 분석적 성능 (의미 이해) 또한 매우 가치 있게 여겨집니다.
• 한계:
  • 인지/지식: 환각, 분류 오류, 도메인 이해 부족.
  • 입력 민감성: 프롬프트 엔지니어링에 대한 높은 의존성; 프롬프트의 작은 변화가 다른 결과를 낳음.
  • 재현성: 출력의 불일치 및 안정적인 형식 부재.
  • 보고 격차: 많은 연구 (50 개 중 29 개) 가 한계를 보고하지 않았으며, 이점은 연구 내에서 실증적으로 검증되기보다 종종 가정됩니다.

E. 재현성 (RQ5)

• 보고 결함: 모델 버전은 종종 보고되지만, 중요한 세부 사항은 누락됩니다:
  • 프롬프트: 종종 불완전하거나 누락됨.
  • 구성: 온도, 토큰 제한 및 설정 근거가 자주 생략됨.
  • 검증: 인간 검증 절차가 자세히 설명되는 경우는 드묾.
• 결론: 현재의 보고 관행은 LLM 지원 실증 분석을 재현하기에 불충분합니다.

5. 의의 및 연구 의제

의의:
이 논문은 ESE 에서 LLM 을 연구 도구로 보는 최초의 종합적 관점을 제시합니다. 이는 중요한 불일치를 강조합니다. LLM 이 확장성을 위한 변혁적 잠재력을 제공하지만, 현재의 채택은 자동화 중심, 작업 특화, 방법론적 불투명합니다. 투명성 부재는 실증적 발견의 타당성과 재현성을 위협합니다.

제안된 연구 의제:
저자들은 "자동화"에서 "협업"과 "발견"으로의 전환을 제시합니다:

1. 인간-AI 협업: 완전 자동화를 넘어 LLM 이 최종 결정 대신 제안을 제공하는 상호작용형 인간-루프 워크플로우로 이동.
2. 에이전트 AI: 다단계 워크플로우, 도구 사용, 반복적 추론을 계획할 수 있는 에이전트 시스템 탐구.
3. 발견 지원: 가설 생성, 탐색적 분석, 새로운 패턴 발견을 위한 LLM 조사.
4. 수명 주기 확장: 기획 (연구 설계) 및 보고 단계로 LLM 지원 확장.
5. 표준화: 재현성을 보장하기 위해 프롬프트, 구성, 검증을 포함한 엄격한 보고 가이드라인 수립 및 시행.
6. 다양화: 단일 모델 계열 (예: ChatGPT) 에 대한 의존도를 줄여 외부 타당성 향상.

요약하자면, 이 논문은 LLM 지원 ESE 가 성숙하기 위해서는 커뮤니티가 LLM 을 단순한 자동화 도구로 취급하는 것을 넘어, 소프트웨어 공학의 과학적 방법론에 LLM 을 책임 있게 통합하는 엄격하고 투명하며 협업적인 프레임워크를 개발해야 한다고 주장합니다.