기술 요약: 대규모 언어 모델(LLM)이 코드에 미치는 영향

문제 정의

대규모 언어 모델(LLM) 및 LLM 기반 도구(예: Copilot, Cursor)의 급격한 소프트웨어 개발 통합은 이들이 실제 프로그래밍 관행에 미치는 실질적인 영향에 대한 의문을 제기했습니다. 이전 연구들은 LLM이 생성한 코드와 인간이 작성한 코드를 구분하거나 기능적 정확성을 평가하는 데 집중해 왔으나, LLM이 실제 환경에서 코드 스타일을 근본적으로 변화시켰는지에 대한 경험적 증거는 부족한 실정입니다. 본 논문은 다음과 같은 핵심 질문을 조사합니다: LLM은 코드 스타일을 변화시켰는가, 그리고 그러한 변화를 어떻게 특징지을 수 있는가? 구체적으로, 저자들은 LLM의 스타일적 선호도(예: 명명 규칙, 복잡도 지표)가 시간이 흐름에 따라 인간이 작성한 코드베이스에 침투하고 있는지 검토합니다.

방법론

본 연구는 실제 저장소에 대한 대규모 경험적 분석과 통제된 시뮬레이션을 결합한 두 갈래의 접근 방식을 채택합니다.

1. 데이터 수집

• GitHub 저장소: 저자들은 2020년 1분기부터 2025년 3분기 사이에 발표된 arXiv 논문과 연결된 22,074개의 저장소 및 100만 개 이상의 소스 코드 파일을 수집했습니다. 저장소는 프로그래밍 언어(Python, C/C++) 및 과학 분야(컴퓨터 과학 vs. 비컴퓨터 과학)별로 분류되었습니다.
• 인간 작성 베이스라인: Pre-LLM 베이스라인을 구축하기 위해, 저자들은 2020년 이전의 Codeforces에서 승인된 사용자 제출물 데이터셋인 Code4Bench를 활용했습니다.
• 문제 서브셋: Code4Bench에서 난이도(800–2000+ 레이팅)와 알고리즘 유형(예: DP, Greedy, Math)별로 계층화된 200개의 알고리즘 문제 서브셋을 선정했습니다.

2. 시뮬레이션 및 생성

저자들은 12개의 다양한 LLM(Qwen3 시리즈, DeepSeek-R1, GPT-4.1, Llama-4, Gemini-2.0 포함)을 사용하여 LLM 지원 코딩을 시뮬레이션했습니다. 두 가지 생성 전략이 테스트되었습니다:

• 직접 생성 (ANS): 모델이 문제 설명만을 바탕으로 문제를 처음부터 해결합니다.
• 참조 가이드 생성 (REF): 모델에게 올바른 인간 작성 솔루션(AC 코드)을 제공하고 이를 수정하거나 다시 작성하도록 지시합니다.

3. 평가 지표

연구는 네 가지 차원에서 코드를 분석했습니다:

• 명명 패턴 (Naming Patterns): 형식을 카테고리화(snake_case, camelCase, PascalCase 등)하고 이름 길이를 측정했습니다.
• 복잡도 및 유지보수성: 순환 복잡도(Cyclomatic Complexity), Halstead 지표(Volume, Difficulty, Effort, Bugs) 및 유지보수 지수(Standard 및 Custom)를 사용하여 측정했습니다.
• 코드 유사도: 인간의 코드, 직접 생성된 코드, 참조 가이드 생성된 코드 간의 코사인 유사도(Cosine Similarity) 및 자카드 유사도(Jaccard Similarity)를 사용하여 정량화했습니다.
• 추론 정렬 (Reasoning Alignment): 모델의 추론 체인 내 알고리즘 라벨과 정답(Ground-truth) 문제 태그 간의 일치 여부를 분석했습니다.

주요 기여 및 결과

1. 스타일 변화의 증거 (명명 패턴)

본 연구는 LLM이 인간의 코딩 스타일에 영향을 미치고 있다는 첫 번째 대규모 경험적 증거를 제공합니다.

• LLM 선호도 채택: Python의 경우, GitHub 저장소 내 snake_case 함수 이름의 비율이 2023년 1분기 40.7%에서 2025년 3분기 49.8%로 증가했습니다. 이 추세는 LLM 생성 코드에서 관찰되는 선호도와 일치합니다.
• 변수 명명: LLM은 일관되게 더 길고 서술적인 변수 이름(예: ml 대신 max_length)을 선호하며, 단일 문자나 숫자가 붙은 이름을 피합니다. GitHub 저장소에서도 짧거나 숫자가 붙은 이름은 감소하고 평균 이름 길이는 증가하는 평행한 추세가 나타났으며, 특히 CS 도메인에서 두드러졌습니다.
• 언어별 차이: Python은 명명 방식에서 명확한 시간적 추세를 보이는 반면, C/C++의 추세는 덜 뚜렷하지만, C/C++ 변수 및 함수의 snake_case 사용은 여전히 상승 궤도에 있습니다.

2. 복잡도 및 유지보수성

• LLM vs. 인간: Python의 경우, LLM 생성 코드는 인간이 작성한 코드보다 높은 순환 복잡도를 보였습니다. 반대로, C/C++에서는 LLM이 더 낮은 순환 복사도를 가진 코드를 생성했습니다.
• 유지보수성: 시뮬레이션에서 LLM 생성 코드는 인간 작성 솔루션에 비해 일반적으로 더 높은 유지보수 지수와 더 낮은 예상 버그 수를 나타냈습니다.
• 참조 가이드 vs. 직접 생성: Python에서 참조 가이드 생성(기존 코드 재작성)은 직접 생성보다 더 간결한 코드(낮은 Halstead volume/effort)를 생성했습니다. C/C++에서는 그 반대의 결과가 관찰되었습니다.

3. 코드 유사도

• 모방 능력: 참조 코드가 제공되었을 때, LLM은 직접 생성했을 때보다 원래의 인간 코드와 훨씬 더 높은 유사도(코사인 및 자카드 모두)를 보이는 솔루션을 생성했습니다.
• 발산: 참조 가이드 없이 IO 알고리즘 작업에서 LLM 생성 코드는 인간 작성 코드와 스타일 면에서 크게 달랐으며, 이는 LL-M이 명시적으로 조건화되지 않는 한 인간의 규범과 다른 독특한 "고유(native)" 스타일을 가지고 있음을 시사합니다.

4. 추론 및 알고리즘 이해

• 라벨 일치: 추론 체인 분석 결과, LLM은 문제와 관련된 올바른 알고리즘 라벨(예: "DP", "Greedy")을 명시적으로 언급하지 못하는 경우가 많았습니다.
• 오류율: 알고리즘을 잘못 식별하는 오류율이 올바른 알고리즘을 식별하는 일치율보다 일반적으로 높았습니다.
• 언어 편향: 모델은 Python에 비해 C/C++ 작업에서 알고리즘적 추론에 더 많이 의존하는 경향이 있었으며, Python에서는 실질적인 구현 세부 사항에 더 치중했습니다.
• 난이도 상관관계: 일치율과 오류율 모두 문제의 난이도가 높아짐에 따라 증가했습니다. 이는 어려운 문제가 노이즈는 높지만 모델의 알고리즘 추론 능력을 더 잘 활성화함을 시사합니다.

의의 및 주장

본 논문은 LLM이 단순히 코드를 생성하는 도구가 아니라, 실제 프로그래밍의 **스타일적 지형(stylistic landscape)**을 적극적으로 재편하고 있다는 첫 번째 대규모 경험적 증거를 제공한다고 주장합니다.

• 규범의 변화: 저자들은 인간의 코딩 스타일이 LLM 선호 컨벤션(예: snake_case, 긴 이름)으로 이동하고 있으며, 이는 인간 개발자가 기계 생성 규범에 미묘하게 정렬하게 되는 피드백 루프를 형성한다고 주장합니다.
• 탐지를 넘어: AI 생성 코드를 탐지하는 데 초점을 맞춘 이전 연구들과 달리, 본 연구는 LLM이 코드 스타일의 진화에 미치는 영향에 초점을 맞추어, LLM의 영향력이 기능적 정확성을 넘어 미학적 및 구조적 규범까지 확장됨을 강조합니다.
• 시사점: 연구 결과는 LLM 도입이 증가함에 따라 "인간"과 "기계" 스타일 사이의 구분이 모호해질 수 있으며, 이는 향후 코드 품질과 스타일을 평가하는 방식에 대한 재평가를 필요로 함을 시사합니다.

저자들은 실제 환경에서 LLM에 의해 생성된 코드의 정확한 비율을 정량화할 수 없다는 점과, Pre-LLM 베이스라인(Code4Bench)이 인간의 모든 코딩 스타일 스펙트럼을 완벽히 대표하지 못할 수 있다는 점 등 한계를 인정하며 주장에 대해 신중한 태도를 유지합니다. 그들은 자신들의 작업이 모든 관찰된 변화에 대한 결정적인 인과관계가 아닌, 영향의 *흔적(traces)*을 식별하는 것임을 강조합니다.