Guidelines for Empirical Studies in Software Engineering involving Large Language Models

1. 문제 정의 (Problem)

소프트웨어 공학 (SE) 연구 및 실무에서 대규모 언어 모델 (LLM) 의 사용이 보편화되었으나, 이를 활용한 실증적 연구의 재현성 (Reproducibility) 과 재현 (Replicability) 이 심각한 위협을 받고 있습니다. 주요 문제는 다음과 같습니다:

• 비결정성 (Non-determinism): 동일한 프롬프트라도 실행마다 다른 결과가 나올 수 있으며, 미세한 설정 변경이 결과에 큰 영향을 미칩니다.
• 불투명한 모델 진화: 상용 모델은 버전 식별자 이상으로 진화하며, 시간이 지남에 따라 성능이 변할 수 있습니다.
• 데이터 및 세부 사항의 비공개: 오픈 모델조차 훈련 데이터와 파인튜닝 세부 사항이 공개되지 않는 경우가 많습니다.
• 프롬프트 및 설정의 민감성: 프롬프트 포맷팅이나 온도 (temperature) 와 같은 파라미터 설정만으로도 정확도가 수십 퍼센트 포인트 변동할 수 있어, 이를 보고하지 않으면 재현이 불가능합니다.
• 기존 가이드라인의 부재: 기존 실험 연구 가이드라인은 LLM 고유의 이러한 특성들을 다루지 못했습니다.

2. 연구 방법론 (Methodology)

이 연구는 2024 년 ISERN(국제 소프트웨어 공학 연구 네트워크) 회의에서 시작되어 22 명의 연구자가 협력하여 개발되었습니다.

• 협력적 개발 과정: 2 주마다 회의를 통해 연구 유형 분류 체계와 가이드라인을 논의하고 수정했습니다.
• 전문가 검토: 각 연구 유형과 가이드라인별로 최소 2 명의 공저자가 내용을 심화하고, 동료 검토 (Peer Review) 를 거쳤습니다.
• 사례 분석: 각 가이드라인과 연구 유형에 대한 예시 논문들을 학술 데이터베이스에서 수집하고 다수의 저자가 검토하여 편향을 최소화했습니다.
• 품질 평가: SIGSOFT 실증 표준 (Empirical Standards) 의 품질 차원을 기준으로 가이드라인의 종합성, 유용성, 논리적 근거, 기존 연구와의 통합성을 자체 평가했습니다.

3. 주요 기여 (Key Contributions)

A. 연구 유형 분류 체계 (Taxonomy of Study Types)

LLM 이 SE 연구에 관여하는 방식을 7 가지 유형으로 분류하여 컨텍스트를 제공합니다:

1. S1: LLMs as Annotators (주석자): 정성적 데이터 (인터뷰, 요구사항 등) 에 코드를 할당하거나 라벨링하는 역할.
2. S2: LLMs as Judges (심판자): 소프트웨어 아티팩트 (코드 가독성, 표준 준수 등) 의 품질을 평가하거나 솔루션을 순위 매기는 역할.
3. S3: LLMs for Synthesis (종합): 여러 출처의 정보를 통합하여 고차원적 통찰이나 이론을 생성하거나, 합성 데이터 (Synthetic Data) 를 생성하는 역할.
4. S4: LLMs as Subjects (피험자): 인간 행동을 시뮬레이션하여 설문, 인터뷰, 실험의 가상 참여자로 사용하는 역할.
5. S5: Studying LLM Usage (LLM 사용 연구): 개발자가 LLM 도구를 어떻게 사용하는지 관찰하고 분석하는 연구.
6. S6: LLMs for New SE Tools (새로운 도구 개발): LLM 을 통합하여 코드 생성, 디버깅, 테스트 생성 등을 지원하는 새로운 도구 개발.
7. S7: Benchmarking LLMs (벤치마킹): 표준화된 태스크와 데이터셋을 사용하여 LLM 의 성능을 평가하는 연구.

B. 8 가지 실증 연구 가이드라인 (8 Guidelines)

각 가이드라인은 필수 요구사항 (Must) 과 권장 사항 (Should) 으로 구분되며, 연구 유형별 적용 여부를 매핑한 행렬을 제공합니다.

1. G1: LLM 사용 및 역할 선언: 연구에서 LLM 을 어떻게, 어디에, 어떤 목적으로 사용했는지 명확히 공개해야 함.
2. G2: 모델 버전, 설정, 커스터마이징 보고: 정확한 모델 버전, 실험 날짜, 온도 (temperature), 시드 (seed), 파인튜닝 세부사항, 양자화 (quantization) 수준 등을 보고해야 함.
3. G3: 모델 외 도구 아키텍처 보고: LLM 단독이 아닌, 프롬프트 전처리, RAG(검색 증강 생성), 에이전트 시스템 등 전체 시스템 아키텍처를 문서화해야 함.
4. G4: 프롬프트, 개발 과정, 상호작용 로그 공개: 사용된 모든 프롬프트 (또는 템플릿), 프롬프트 개발 전략, 상호작용 로그 (Prompt & Response) 를 부록이나 공개 저장소에 제공해야 함.
5. G5: LLM 출력에 대한 인간 검증: 주관적 평가나 기준 데이터가 없는 경우, 인간 평가자를 통한 검증 (Human Validation) 을 수행하고 평가자 간 일치도 (Inter-rater Agreement) 를 보고해야 함.
6. G6: 오픈 LLM 을 베이스라인으로 사용: 상용 모델을 사용할 경우, 재현 가능한 오픈 소스 모델을 베이스라인으로 포함하여 비교해야 함.
7. G7: 적합한 베이스라인, 벤치마크, 지표 사용: 선택된 지표와 벤치마크의 타당성 (Validity) 을 정당화하고, LLM 의 비결정성으로 인해 실험을 반복하여 통계적 유의성을 확보해야 함.
8. G8: 한계 및 완화 전략 보고: 비결정성, 일반화 한계, 데이터 오염 (Contamination), 편향, 환경적 영향 등 연구의 한계를 투명하게 보고하고 이를 완화하기 위한 전략을 서술해야 함.

C. 부가 자료

• 적용성 행렬 (Applicability Matrix): 7 가지 연구 유형과 8 가지 가이드라인 간의 매핑을 제공하여 어떤 가이드라인이 필수인지 권장사항인지 확인 가능.
• 보고 체크리스트 (Reporting Checklist): 논문 작성자와 리뷰어를 위한 실용적인 체크리스트 제공.
• 라이브 리소스: 가이드라인은 llm-guidelines.org 에서 지속적으로 업데이트되는 살아있는 자료로 유지됨.

4. 결과 및 시사점 (Results & Significance)

• 재현성 위기 해결: 이 가이드라인은 LLM 의 비결정성과 불투명성으로 인한 재현성 위기를 해결하기 위한 구체적인 실천 방안을 제시합니다.
• 연구의 엄격성 강화: "Must"와 "Should"를 구분하여 연구자가 현실적인 제약 내에서 최대한 엄격하고 투명한 연구를 수행할 수 있도록 돕습니다.
• 리뷰어 지원: 리뷰어가 LLM 관련 논문의 방법론적 엄격성을 평가할 수 있는 구체적인 기준 (예: 프롬프트 공개 여부, 인간 검증 수행 여부 등) 을 제공합니다.
• 학문적 영향: 기존 실증 소프트웨어 공학 표준 (SIGSOFT Empirical Standards) 을 LLM 시대에 맞게 확장하여, SE 연구 커뮤니티의 표준으로 자리 잡을 것으로 기대됩니다.
• 윤리적 고려: LLM 사용 시 발생할 수 있는 편향, 데이터 프라이버시, 환경적 비용 (에너지 소비) 등을 연구 설계 단계에서 고려하도록 유도합니다.

5. 결론

이 논문은 LLM 이 소프트웨어 공학 연구에 필수적인 도구가 된 현재, 해당 연구의 신뢰성과 재현성을 보장하기 위한 커뮤니티 주도형 표준 가이드라인을 제시합니다. 연구자들은 이 가이드라인을 통해 LLM 을 사용한 연구의 투명성을 높이고, 리뷰어들은 더 엄격한 평가를 통해 연구의 질을 향상시킬 수 있습니다. 이는 LLM 기술의 급속한 발전 속에서도 과학적 엄밀성을 유지하는 데 중요한 이정표가 될 것입니다.