Conventional Commit Classification using Large Language Models and Prompt Engineering

본 논문은 퓨샷 프롬프팅을 사용하는 DeepSeek-R1-32B 를 포함한 훈련이 필요 없는 대규모 언어 모델이 코드 diff 에서 컨벤셔널 커밋을 효과적으로 분류할 수 있음을 입증하여, 전통적인 지도 기계 학습 접근법에 대한 실용적인 대안을 제시합니다.

핵심

상상해 보세요. 매일 수천 권의 책이 추가되는 거대하고 혼란스러운 도서관의 관리자가 된 상황을요. 질서를 유지하기 위해 이 도서관에는 엄격한 규칙이 있습니다: 모든 새로운 책은 로봇이 자동으로 분류하고, 카탈로그를 업데이트하며, 방문객에게 새로운 내용을 알려줄 수 있도록 책등에 특정 라벨(예: "새 기능", "버그 수정", "문서화")을 부착해야 합니다.

하지만 현실에서는 책을 추가하는 사람들이 종종 규칙을 무시합니다. 그들은 "그것 수정함"이나 "일부 코드 변경함"과 같은 지저분한 메모를 적어, 로봇이 그 책이 어떤 범주에 속하는지 알 수 없게 만듭니다.

이 논문은 수천 개의 예제를 수년 동안 공부하게 하지 않고도, 이러한 지저분한 메모를 읽고 올바른 라벨을 파악할 수 있도록 초지능 로봇(인공지능)을 가르치는 방법에 관한 것입니다.

문제: 지저분한 메모 vs 엄격한 규칙

소프트웨어 개발에서 프로그래머는 코드 변경 사항을 저장할 때마다 "커밋 메시지"(메모)를 작성합니다. 업계에는 **컨벤셔널 커밋(Conventional Commits)**이라는 표준 형식이 있는데, 이는 엄격한 분류 시스템처럼 작동합니다. 이 형식은 메모가 특정 태그(예: feat:, fix:)로 시작해야 한다고 요구합니다.

하지만 인간은 불규칙합니다. 그들은 종종 태그를 잊어버립니다. 전통적으로 이를 해결하기 위해 연구자들은 수천 개의 레이블이 지정된 예제(교과서를 외우는 학생처럼)를 공급하여 맞춤형 로봇을 구축했습니다. 이는 많은 시간과 데이터가 필요합니다.

새로운 접근법: "프롬프트" 전략

처음부터 새로운 로봇을 훈련시키는 대신, 저자들은 다음과 같이 질문했습니다: 이미 매우 똑똑한 기존 AI 에 작업 수행을 위한 일련의 지시사항(프롬프트)만 주면 될까요?

그들은 AI 를 언어에 대해 이미 많은 것을 알고 있지만 정확히 어떤 작업을 해야 하는지 알아야 하는 천재적인 인턴처럼 취급했습니다. 그들은 지시사항을 전달하는 세 가지 다른 방법을 테스트했습니다:

1. 제로샷 (Just Tell Me 접근법):

   • 비유: 인턴에게 다가가 "이 지저분한 메모가 있습니다. 규칙에 기반하여 이것이 어떤 범주에 속하는지 알려주세요"라고 말합니다. 예제는 전혀 주지 않습니다.
   • 결과: 인턴이 추측하지만, 정확히 무엇을 원하는지 알지 못해 종종 틀립니다.

2. 퓨샷 (Show Me Examples 접근법):

   • 비유: "이 지저분한 메모는 '새 기능'을 의미합니다. 저것은 '버그 수정'을 의미합니다. 이제 이 새로운 지저분한 메모를 보고 그것이 무엇인지 알려주세요"라고 말합니다. 먼저 몇 가지 명확한 예제를 인턴에게 보여줍니다.
   • 결과: 이것이 가장 잘 작동했습니다. 인턴은 패턴을 빠르게 이해하고 책을 정확하게 분류했습니다.

3. 생각의 사슬 (Think Out Loud 접근법):

   • 비유: "답변을 주기 전에 단계별 추론을 적어주세요: '나는 '수정'이라는 단어를 보았으므로 이것이 버그라고 생각합니다...'"라고 말합니다.
   • 결과: 놀랍게도 이는 도움이 되지 않았습니다. 라벨 분류라는 특정 작업의 경우, 인턴에게 "소리를 내어 생각하게" 하는 것은 최종 답변을 개선하지 못한 채 불필요한 단계만 추가했습니다. 이는 책장을 정리하기 전에 도서관 사서에게 에세이를 쓰게 하는 것과 같아, 결과를 개선하지 못한 채 속도를 늦출 뿐이었습니다.

경쟁자들: 두뇌는 얼마나 커야 할까?

연구자들은 크기가 다른 세 가지 "인턴"(AI 모델) 을 테스트했습니다:

• Mistral-7B: 중형 두뇌 (70 억 개 파라미터).
• LLaMA-3-8B: 약간 더 큰 두뇌 (80 억 개 파라미터).
• DeepSeek-R1-32B: 거대한 두뇌 (320 억 개 파라미터).

결론: 더 큰 두뇌가 이겼습니다. DeepSeek-R1-32B가 지저분한 메모를 읽고 올바른 라벨을 찾는 데 가장 정확했습니다. 이는 이러한 유형의 작업에서는 더 크고 강력한 AI 모델을 사용하는 것이 실제로 큰 차이를 만든다는 것을 시사합니다.

결론

이 논문은 지저분한 소프트웨어 메모를 정리하기 위해 처음부터 맞춤형 머신러닝 모델을 구축할 필요가 없다고 결론 내립니다. 대신, 강력하고 기존에 존재하는 AI 를 사용하여 몇 가지 좋은 예제만 제공하면 (퓨샷 프롬래팅) 작업을 완료할 수 있습니다.

• 최고 전략: 먼저 AI 에게 몇 가지 예제를 보여주세요.
• 최고 AI: 이용 가능한 가장 크고 강력한 모델.
• 시간 낭비: 답변하기 전에 AI 에게 긴 추론 과정을 작성하게 하는 것.

이 접근법은 수천 개의 훈련 예제를 수집하고 레이블을 지정할 필요를 건너뛰기 때문에 시간과 노력을 절약하며, 개발자들이 즉시 파일 정리를 자동화할 수 있게 합니다.

기술 요약

기술 요약: 대규모 언어 모델 및 프롬프트 엔지니어링을 활용한 컨벤셔널 커밋 분류

문제 정의

컨벤셔널 커밋 (Conventional Commits) 은 커밋 메시지에 구조화된 형식 (예: type: description) 을 제공하여, 변경 로그 생성기 및 시맨틱 버전 관리 시스템과 같은 자동화 도구를 가능하게 합니다. 그러나 개발자들은 종종 비구조화된 메시지를 작성하므로, 이러한 구조를 복원하기 위해 자동 분류가 필요합니다. 전통적인 접근 방식은 대규모 라벨링 데이터셋으로 훈련된 머신러닝 (ML) 및 딥러닝 (DL) 모델에 의존합니다. 이러한 방법들은 상당한 데이터 전처리, 특징 공학, 그리고 프로젝트 용어나 분류 체계가 진화할 때 빈번한 재훈련을 요구합니다. 본 논문은 라벨링된 훈련 데이터를 수집하거나 모델을 미세 조정하는 오버헤드 없이 커밋 메시지를 분류하기 위해 프롬프트 엔지니어링을 통해 대규모 언어 모델 (LLM) 을 활용하는 훈련 없는 대안을 조사합니다.

방법론

본 연구는 모델 미세 조정 없이 프롬프트에 기반하여 LLM 이 코드 변경 사항을 직접 분류하는 훈련 없는 프레임워크를 사용합니다.

• 데이터셋: 오픈 소스 InfluxDB 저장소에서 추출된 3,200 개의 커밋으로 구성된 균형 잡힌 데이터셋을 사용했습니다. 데이터셋에는 커밋 메시지와 해당 코드 diff(변경 사항) 가 포함됩니다. 데이터는 커밋 유형 (예: feat, fix, docs, refactor, test, chore) 간에 대략적으로 균형이 맞춰져 있습니다.
• 평가된 모델: 다양한 파라미터 규모의 세 가지 오픈 소스 LLM 을 테스트했습니다:
  • Mistral-7B-Instruct (70 억 파라미터)
  • LLaMA-3-8B (80 억 파라미터)
  • DeepSeek-R1-32B (320 억 파라미터)
• 프롬프팅 전략: 세 가지 다른 프롬프팅 접근 방식을 평가했습니다:
  1. Zero-Shot: 모델에 클래스 정의와 지시사항은 제공되지만 예시는 제공되지 않습니다.
  2. Few-Shot: 모델에 지시사항과 함께 커밋 메시지와 코드 diff 의 대표적인 라벨링 예시가 제공됩니다.
  3. Chain-of-Thought (CoT): 모델은 최종 분류를 출력하기 전에 중간 추론 단계 (단서 식별 및 유형 매핑) 를 생성하도록 지시받습니다.
• 평가: 모델들은 정확도 (Accuracy), 정밀도 (Precision), 재현율 (Recall), F1-점수와 같은 표준 분류 지표를 사용하여 평가되었습니다. 기준 정답 (Ground Truth) 은 InfluxDB 저장소의 기존 라벨에서 도출되었습니다.

주요 결과

실증적 평가는 다음과 같은 결과를 도출했습니다:

1. 프롬프팅 전략 성능:

   • Few-shot 프롬프팅은 모든 모델에서 일관되게 가장 높은 정확도를 달성했습니다. 예를 들어, DeepSeek-R1-32B 는 Few-shot 프롬프팅으로 0.5749 의 정확도를 달성한 반면, Zero-shot 은 0.5652, CoT 는 0.5497 이었습니다.
   • Chain-of-Thought (CoT) 는 이 특정 분류 작업에서 추가적인 이득을 주지 못했습니다. 여러 경우 CoT 성능은 Few-shot 보다 중간이거나 낮았는데, 이는 구조화된 분류가 다단계 추론보다는 패턴 인식에 더 의존함을 시사합니다.
   • Zero-shot 은 일반적으로 가장 낮거나 거의 가장 낮은 성능을 보였으며, 특히 Mistral-7B-Instruct 와 같은 작은 모델의 경우 정확도가 0.3356 으로 낮았습니다.

2. 모델 규모 영향:

   • DeepSeek-R1-32B(320 억 파라미터) 는 모든 지표와 프롬프팅 전략에서 가장 강력한 전반적인 성능을 보였으며, 평균 정확도 0.563 을 달성했습니다.
   • LLaMA-3-8B는 평균 정확도 0.372 로 가장 낮은 성능을 기록했습니다.
   • Mistral-7B-Instruct는 중간 성능을 보였습니다.
   • 이러한 결과는 모델 규모가 맥락을 이해하고 코드 변경 사항을 정확하게 분류하는 능력에 의미 있는 역할을 함을 시사합니다.

3. 집계된 지표:

   • 모든 모델을 통틀어 Few-shot 프롬프팅은 가장 높은 평균 정확도 (0.531) 와 F1-점수 (0.468) 를 달성했습니다.
   • Zero-shot 프롬프팅은 가장 높은 평균 정밀도 (0.508) 를 달성했으나 재현율은 낮았습니다.

주요 기여

본 논문은 세 가지 주요 기여를 제시합니다:

1. 새로운 접근법: 라벨링된 데이터셋이 필요한 전통적인 ML/DL 파이프라인과 대조적으로, LLM 과 프롬프트 엔지니어링을 활용한 훈련 없는 컨벤셔널 커밋 분류 접근법을 제안합니다.
2. 실증적 평가: 광범위한 데이터셋 (3,200 개 커밋) 과 여러 최첨단 오픈 소스 모델을 사용하여 이 접근법에 대한 포괄적인 실증적 평가를 제공합니다.
3. 실무 지침: 프롬프트 기반 분류의 효과성을 논의하여, 이 작업에서는 Few-shot 프롬프팅이 Zero-shot 및 CoT 보다 우월함을 확인하고 소프트웨어 엔지니어링 프레임워크 내의 트레이드오프를 강조합니다.

중요성 및 주장

저자들은 이 연구를 데이터 수집 및 모델 훈련과 같은 자원 집약적인 과정 없이 커밋 분류를 자동화하려는 연구자 및 실무자를 위한 실용적인 가이드로 위치시킵니다.

• 프롬프트 설계의 중요성: 본 연구는 프롬프트 설계가 성능에 상당한 영향을 미치며, 종종 모델 아키텍처 자체의 영향력을 능가한다고 강조합니다. 구체적으로 명확하고 다양한 예시 (Few-shot) 를 포함하는 것은 암시적인 훈련 신호로 작용합니다.
• 추론의 한계: 본 논문은 CoT 가 복잡한 추론에는 효과적이지만, 패턴 인식이 가장 중요한 커밋 유형 분류와 같은 구조화된 분류 작업에서는 성능을 반드시 향상시키지는 않는다는 점을 겸손하게 주장합니다.
• 비교 범위: 저자들은 전통적인 ML/DL 베이스라인을 직접 능가하는 것을 목표로 하지 않는다고 명시적으로 밝힙니다. 대신 본 연구는 다양한 프롬프트 설계가 LLM 기반 분류에 어떻게 영향을 미치는지 분석하는 데 중점을 둡니다. "더 큰 모델이 더 잘 수행한다"는 주장은 평가된 LLM 들에 상대적인 것이며, 외부 지도 학습 베이스라인과의 비교가 아닙니다.
• 향후 방향: 본 논문은 향후 작업으로 더 다양한 저장소 전반에 걸친 일반화 테스트, 자동화된 프롬프트 최적화 적용, 그리고 LLM 과 전통적인 ML 기법을 결합한 하이브리드 접근법 탐구를 제안합니다. 또한 이러한 발견들을 자동화된 릴리스 노트 생성 및 버그 예측에 적용할 가능성을 언급합니다.