Evaluating LLM-Generated Code: A Benchmark and Developer Study

문제 정의
코드 생성(NL2Code) 분야에서 대규모 언어 모델(LLM)을 평가하는 현재의 방법론은 주로 고립된 함수 단위 작업(예: HumanEval, MBPP)에 대한 유닛 테스트를 통해 솔루션의 정답 여부를 측정하는 벤치마크에 의존하고 있습니다. 이러한 벤치마크는 기초적인 역량을 확립하는 데에는 효과적이지만, 실제 프로그래밍 시나리오를 반영하는 데에는 한계가 있습니다. 실제 코딩은 의존성을 가진 다중 컴포넌트 프로젝트 생성을 포함하며, 순차적인 프롬프팅이 필요하고, 단순히 정답인 것을 넘어 가독성, 유지보수성 및 프로덕션 준비 상태를 갖춘 코드를 요구합니다. 또한, 대부분의 평가가 자동화된 지표나 "LLM-as-a-Judge" 방식에만 의렴하고 있어, 구조 및 문서화와 같은 개발자 중심의 관심사를 충분히 포착하지 못하기 때문에, 인간 전문가를 동원하여 코드의 품질과 사용성을 평가하는 연구는 부족한 실정입니다.

방법론
본 논문은 고립된 함수 테스트와 통합적인 프로젝트 평가 사이의 간극을 메우기 위해 설계된 맞춤형 3단계 평가 방법론을 제안합니다. 이 프레임워크는 자동화된 정답성 테스트, 자동화된 코드 품질 검증, 그리고 구조화된 인간 평가를 통합합니다.

1. 코딩 과제: 본 연구는 NIFTY 과제 목록에서 변형된, "생물학적 계통수(Tree of Life) 밑바닥부터 구축하기"라는 복잡한 다중 컴포넌트 컴퓨터 과학 프로젝트를 활용합니다. 이 과제는 생물정보학(계통 발생 트리)을 다루며, 동적 계획법, 재귀, 그래프 및 트리 구조 구현을 요구합니다. LLM은 실제 개발자 워크플로우를 모방하여, 스타터 코드 없이 처음부터 솔루션을 생성하도록 14개의 고정된 순차적 프롬프트를 통해 프롬프팅됩니다.
2. 정답성 벤치마크: 최종 출력물뿐만 아니라 여러 체크포인트에서 솔루션을 검증하기 위해 커스텀 벤치마크를 개발했습니다. 여기에는 다음 사항이 포함됩니다:
   • 니들만-운쉬(Needleman-Wunsch) 점수 검증.
   • 뉴익(Newick) 형식 구문(트리 구조 및 노드 거리) 유효성 검사.
   • 계통 발생 트리 구조 확인.
   • 임계값을 기반으로 한 클러스터링 결과 검증.
   • 덴드로그램 PNG 파일 생성 확인.
   • 기술적 검증: 연구진은 코드가 실행될 수 있도록 미세한 구문, 컴파일 및 의존성 오류를 직접 수정하는 수동 단계를 포함하였으며, "수정 가능성(fixability)"을 평가하기 위해 이러한 수정 사항을 기록하였습니다.
3. 자동화된 품질 검증: 생성된 코드는 SonarQube를 사용하여 신뢰성, 유지보수성, 보안성을 분석하고, 코드 스멜(code smells) 및 기술 부채를 측정했습니다.
4. 인간 기반 품질 평가 (개발자 조사): 개발자들의 코드 리뷰를 수집하기 위해 구조화된 설문조사가 설계되었습니다. 설문은 다음 카테고리로 분류된 14개 지표에 대해 5점 리커트 척도를 사용했습니다:
   • 코드 베이스의 구조 (명명 규칙, 포맷팅, 관심사 분리).
   • 주석 및 설명의 품질 (유용성, 배치, README 품질).
   • 사용 용이성 (수정 가능성, 테스트 가능성).
   • 추가 의견을 위한 개방형 필드 및 어떤 코드로 작업하고 싶은지를 묻는 최종 질문.

실험 설정
이 방법론은 세 가지 범용 LLM인 GPT-4.1, DeepSeek-V3-0324, Claude Opus 4에 적용되었습니다. 비결정성을 고려하여 각 모델은 고정된 파라미터(temperature 0.2, max tokens 4096)로 세 번씩 실행되었습니다. 인간 설문 조사를 위해, 가장 높은 정답 통과율을 보인 모델당 하나의 솔루션을 선정하여 LinkedIn을 통해 모집된 10명의 자원봉사 개발자가 리뷰를 진행했습니다.

주요 결과

• 정답성: DeepSeek-V3-0324가 가장 높은 정답 점수를 기록하며, 최상의 실행에서 7개 테스트 케이스 중 5개를 통과했습니다. GPT-4.1은 세 번의 시도 중 두 번의 시도에서 수동 개입 없이 실행되는 솔루션을 생성한 유일한 모델이었으나, 전체적인 테스트 통과 개수는 적었습니다(7개 중 3-4개). Claude Opus 4는 정답성 측면에서 가장 낮은 성능을 보였으며, 한 차례의 시도에서 테스트를 하나도 통과하지 못했습니다.
• 자동화된 품질: 모든 모델은 SonarQube에서 보안, 신뢰성, 유지보수성 항목에 대해 'A' 등급을 받았습니다. 그러나 DeepSeek 솔루션이 코드 스멜이 가장 적었고 예상되는 문제 수정 시간도 가장 짧았습니다. GPT-4.1 솔루션은 기술 부채 비율과 수정 시간이 가장 길었습니다.
• 인간 설문 조사: DeepSeek가 가장 우수한 자동화 지표를 가졌음에도 불구하고, 개발자 조사에서는 차이가 나타났습니다. 개발자들은 GPT-4.1을 낮은 점수로 평가하며, 부족한 주석, 혼란스러운 구조, 하드코딩된 인자를 지적했습니다. DeepSeek는 파라미터화 측면에서 찬사를 받았으나, Claude Opus 4는 수정 및 테스트의 용이성 측면에서 가장 긍정적인 피드백을 받았습니다. 주목할 점은, 어떤 코드로 작업하고 싶은지 묻는 질문에서 10명 중 6명의 개발자가 Claude 솔루션을 선택했으며, DeepSeek를 선택한 인원은 4명에 불과했습니다.
• 정렬(Alignment): 본 연구는 자동화된 정답성 지표와 인간의 품질 평가가 서로 보완적이지만 항상 일치하는 것은 아니라는 점을 발견했습니다. 정답성이 더 높은 모델(DeepSeek)이 반드시 구조와 가독성이 더 나은 모델(Claude)보다 개발자에게 선호되는 것은 아니었습니다.

의의 및 기여
본 논문은 다음과 같은 네 가지 주요 기여를 한다고 주장합니다:

1. 정답성과 사용성을 모두 포착하기 위해 자동 테스트, 코드 품질 검증, 개발자 조사를 결합한 3단계 평가 프레임워크.
2. 고립된 함수 수준의 작업을 넘어 복잡한 다중 파일 과제에 기반한 프로젝트 수준의 정답성 벤치마크.
3. LLM 연구에서의 인간 중심 평가 부족 문제를 해결하기 위해, 개발자로부터 코드 리뷰를 표준화된 방식으로 수집하는 데 특화된 구조화된 설문 설계.
4. 세 가지 LLM의 평가를 통한 프레임워크의 입증을 통해, 개발자 리뷰가 표준 정답성 벤치마크가 놓치는 부분, 특히 프로덕션 준비 상태 및 유지보수성에 관한 중요한 통찰을 제공할 수 있음을 보여줌.

저자들은 자동화된 벤치마크가 유용하기는 하지만, LLM의 코드 생성에 대한 종합적인 평가는 생성된 솔루션의 실질적인 유용성과 개발자 경험을 이해하기 위해 인간의 피드백을 통합해야 한다고 결론짓습니다. 이 연구는 "정답인" 코드가 프로덕션 환경에서는 항상 "좋은" 코드는 아닐 수 있음을 강조합니다.