1. 문제 제기 (Problem)

대규모 언어 모델 (LLM) 은 코드 생성 분야에서 괄목할 만한 성과를 거두었지만, 기존 평가는 주로 **기능적 정확성 (functional correctness)**이나 **구문적 유효성 (syntactic validity)**에 집중되어 있습니다. 그러나 LLM 이 코드를 생성할 때 수행하는 중요한 설계 결정 (design choices), 즉 "어떤 라이브러리를 사용할 것인가" 또는 "어떤 프로그래밍 언어를 선택할 것인가"에 대한 선호도는 충분히 연구되지 않았습니다.

이러한 선호도는 소프트웨어의 성능, 효율성, 유지보수성, 생태계 다양성에 실질적인 영향을 미칠 수 있으며, 특정 기술의 지배력을 강화하고 도메인에 적합한 대안을 간과하게 만들 수 있습니다. 본 연구는 LLM 이 코드 생성 시 어떤 라이브러리와 프로그래밍 언어를 선호하는지, 그리고 이러한 선호도가 실제 작업의 적합성과 얼마나 일치하는지를 실증적으로 분석하는 것을 목표로 합니다.

2. 방법론 (Methodology)

연구팀은 8 개의 다양한 생산급 LLM(GPT-4o-mini, GPT-3.5-turbo, Claude-3.5 Sonnet/Haiku, Llama-3.2-3B, Mistral-7B, Qwen-2.5-Coder, DeepSeek-LLM) 을 대상으로 세 가지 실험을 수행했습니다.

• 실험 1: 라이브러리 선호도 (Library Preferences)
  • 벤치마크 태스크: BigCodeBench(1,140 개 태스크 중 외부 라이브러리 참조가 제거된 525 개 태스크) 를 사용하여, 프롬프트에 특정 라이브러리를 명시하지 않았을 때 LLM 이 선택하는 외부 라이브러리를 분석했습니다.
  • 프로젝트 초기화 태스크: 데이터베이스, 딥러닝, 분산 컴퓨팅, 웹 스크래퍼, 웹 서버 등 5 가지 프로젝트 유형에 대해 초기 코드를 생성하도록 요청하여 라이브러리 선택 분포를 관찰했습니다.
• 실험 2: 프로그래밍 언어 선호도 (Language Preferences)
  • 벤치마크 태스크: Multi-HumanEval, MBXP, AixBench, CoNaLa, APPS, CodeContests 등 6 개의 언어 중립적 데이터셋을 사용하여 목표 언어를 명시하지 않았을 때 LLM 이 선택하는 언어를 분석했습니다.
  • 프로젝트 초기화 태스크: Python 이 비효율적인 것으로 알려진 고성능/저지연 영역 (동시성 웹 서버, 저지연 트레이딩 플랫폼, 시스템 레벨 애플리케이션 등) 에서 프로젝트 초기 코드를 생성하도록 요청하여 LLM 의 언어 선택 편향을 검증했습니다.
• 실험 3: 추천 일관성 (Recommendation Consistency)
  • LLM 이 자연어 (NL) 로 추천하는 라이브러리/언어 순위와 실제 코드 생성 시 사용한 기술의 사용 빈도 순위 간의 상관관계를 Kendall's $\tau_b$ 계수를 통해 측정하여 일관성을 평가했습니다.

3. 주요 기여 (Key Contributions)

1. 최초의 실증 연구: 코드 생성 시 LLM 의 라이브러리 및 프로그래밍 언어 선호도에 대한 체계적인 연구를 수행했습니다.
2. 편향 패턴의 정량화: LLM 이 확립된 라이브러리와 Python 을 과도하게 선호하는 경향을 정량화하고, 이것이 소프트웨어 개발 관행과 오픈소스 생태계에 미칠 수 있는 잠재적 영향을 논의했습니다.
3. 오픈 소스 데이터 공개: 코드, 데이터셋, 완전한 결과를 GitHub 를 통해 공개하여 후속 연구를 장려했습니다.

4. 주요 결과 (Key Results)

A. 라이브러리 선호도 (Library Preferences)

• 기존 라이브러리의 과도한 사용: 모든 LLM 이 널리 채택된 기존 라이브러리 (NumPy, pandas, Matplotlib 등) 를 강력하게 선호했습니다.
• 불필요한 사용: 벤치마크 태스크 중 최대 **45%**의 경우, Ground Truth(정답) 에 해당 라이브러리가 없었음에도 LLM 이 이를 사용했습니다. 예를 들어, NumPy 는 305 개 태스크 중 192 개에서 불필요하게 사용되었습니다.
• 신기술 간과: GitHub Star 성장률이 높고 커뮤니티 모멘텀이 큰 새로운 라이브러리 (예: Polars, Plotly, FastAPI, Ray) 는 거의 사용되지 않았으며, 기존 라이브러리에 비해 사용 빈도 차이가 36%~79% 에 달했습니다.

B. 프로그래밍 언어 선호도 (Language Preferences)

• Python 에 대한 강력한 편향: 벤치마크 태스크에서 LLM 은 **90~97%**의 비율로 Python 을 선택했습니다.
• 비최적 상황에서의 우세: Python 이 비효율적인 것으로 알려진 고성능/저지연 프로젝트 초기화 태스크에서도 **58%**의 경우 Python 이 가장 많이 사용된 언어였습니다. 반면, Rust 는 단 한 번도 사용되지 않았습니다.
• 데이터 편향의 원인: 이는 LLM 의 학습 데이터 (GitHub 코드) 에 Python 이 과도하게 포함되어 있거나, 사후 학습 (fine-tuning) 과정에서 Python 이 강조되었기 때문으로 추정됩니다.

C. 추천과 실제 사용의 불일치 (Recommendation Inconsistency)

• 약한 상관관계: LLM 이 자연어로 추천하는 기술 순위와 실제 코드 생성 시 사용하는 기술 순위 간의 상관관계는 매우 낮았습니다.
• 일관성 부재: 프로젝트 초기화 태스크의 경우, LLM 이 언어 추천과 실제 사용 간에 **83%**의 빈도로 모순되는 행동을 보였습니다. 즉, NL 답변은 LLM 이 생성할 코드의 기술 선택을 예측하는 데 약한 신호 (weak signal) 로 작용합니다.

5. 의의 및 시사점 (Significance)

• 생태계 다양성 위협: LLM 이 확립된 기술과 Python 만 반복적으로 생성함으로써 소프트웨어 생태계의 다양성이 줄어들고, 새로운 도구나 언어의 채택이 지연될 수 있는 피드백 루프가 형성될 위험이 있습니다.
• 성능 및 안전성 리스크: 고성능이 필요한 작업에서 Python 을 선택하거나, 불필요한 무거운 라이브러리를 도입함으로써 성능 저하나 보안 취약점이 발생할 수 있습니다.
• 향후 방향성 제안:
  • 평가 기준 강화: 코드 생성 평가 벤치마크는 정확성뿐만 아니라 언어 및 라이브러리 선택의 적합성 (fidelity) 을 측정해야 합니다.
  • 모델 개선: 학습 데이터의 다양성 확보, 타겟팅된 파인튜닝, 그리고 맥락을 고려한 코드 생성을 위한 정렬 (alignment) 전략이 필요합니다.
  • 편향 완화: LLM 생성 코드가 소프트웨어 생태계에 미치는 광범위한 영향을 이해하고, 편향을 완화하기 위한 연구가 시급합니다.

이 연구는 LLM 이 단순히 코드를 "맞게" 작성하는 것을 넘어, "어떤 도구와 언어로" 작성하는지에 대한 편향이 실제 소프트웨어 품질과 생태계에 중대한 영향을 미칠 수 있음을 경고합니다.