CodeTaste: Can LLMs Generate Human-Level Code Refactorings?

이 논문은 오픈소스 저장소에서 추출한 대규모 다중 파일 변경 사항을 기반으로 한 'CodeTaste' 벤치마크를 통해 LLM 에이전트가 인간 수준의 리팩토링을 수행하고 인간의 선택을 식별하는 능력에 존재하는 격차를 분석하고, 제안 - 구현 분해 및 최적 제안 선정을 통해 정렬을 개선할 수 있음을 보여줍니다.

핵심

🍽️ CODETASTE: AI 요리사가 인간 셰프의 '요리법'을 따라 할 수 있을까?

이 논문은 최신 AI(대규모 언어 모델, LLM) 가 단순히 코드를 '만드는' 것을 넘어, 기존 코드를 더 깔끔하고 유지하기 좋게 '다듬는(리팩토링)' 작업을 인간 개발자만큼 잘해낼 수 있는지 테스트한 연구입니다.

저희는 이 연구를 **'CODETASTE'**라는 이름의 새로운 시험지로 소개했습니다. 이 시험지를 통해 AI 가 얼마나 '맛있는' 코드를 요리하는지, 그리고 인간이 선택한 '레시피'를 얼마나 잘 따라하는지 맛보게 해보겠습니다.

---

1. 문제: AI 는 '먹을 수 있는' 코드는 만들지만, '정리된' 코드는 못 만듭니다

지금까지의 AI 코딩 도구는 "이 기능을 만들어줘"라고 하면 작동하는 코드를 만들어냅니다. 하지만 문제는 지속성입니다.

• 인간 개발자: 건물을 지을 때, 나중에 고장 나기 쉽거나 messy(지저분) 해지는 부분을 미리 정리하고 구조를 다듬습니다. 이를 **'리팩토링 (Refactoring)'**이라고 합니다.
• AI 코딩 에이전트: 기능을 구현하는 데는 능숙하지만, 코드가 점점 길어지고 복잡해지며, 나중에 수정하기 힘든 '기술 부채'를 쌓아둡니다. 마치 요리사가 맛은 나지만, 주방이 엉망이 되어 다음 요리를 하기 힘든 상태로 만드는 것과 같습니다.

2. 실험 도구: CODETASTE (코드 테이스팅)

이 연구팀은 GitHub 에 있는 오픈소스 프로젝트들에서 실제 인간 개발자들이 수행한 대규모 코드 정리 작업 100 건을 골라냈습니다. 이를 **'CODETASTE'**라는 시험지로 만들었습니다.

• 시험 방식: AI 에게 "이 코드를 정리해줘"라고 말하고, AI 가 수정한 코드가 원래 의도한 대로 작동하는지, 그리고 인간이 정리했던 방식과 얼마나 비슷한지를 점수화합니다.
• 채점 기준: 단순히 코드가 실행되는지 (기능 유지) 뿐만 아니라, 불필요한 패턴은 사라지고 원하는 패턴은 생겼는지를 정교한 분석 도구로 확인합니다.

3. 실험 결과: AI 의 두 가지 얼굴

실험은 두 가지 상황으로 나누어 진행되었습니다.

🅰️ 상황 1: "이것을 이렇게 바꿔줘" (지시된 과제)

• 상황: 인간이 "A 라는 함수를 B 라는 클래스로 옮겨주고, 변수 이름을 이렇게 바꿔줘"라고 구체적인 지시를 내립니다.
• 결과: 최상위 AI 모델 (GPT-5 등) 은 **약 70%**의 정확도로 지시를 따랐습니다.
• 비유: 레시피를 아주 상세하게 적어주면, AI 요리사는 그 레시피대로 요리를 완벽하게 해냅니다. 하지만 지시사항을 벗어나서 스스로 "여기 더 깔끔하게 정리할 수 있는데?"라고 생각하지는 못합니다.

🅱️ 상황 2: "이 부분 좀 정리해줘" (열린 과제)

• 상황: "이 코드가 너무 지저분한 것 같아. 정리해줘"라고 구체적인 지시 없이 영역만 알려줍니다. 인간 개발자가 스스로 "어디를 어떻게 고쳐야 할지" 판단해야 합니다.
• 결과: AI 의 점수는 10% 미만으로 급락했습니다.
• 비유: 주방이 messy 하다고만 말하면, AI 는 아무것도 안 하거나, 엉뚱한 곳 (예: 식탁을 치우는 대신 냄비만 닦는) 을 정리하거나, 임시방편 (테이프로 붙이는 등) 으로 해결하려 합니다. 인간이 생각한 '전체적인 구조 개선'을 스스로 찾아내지 못합니다.

4. 중요한 발견: "생각한 뒤 실행하기"가 핵심

이 연구에서 가장 흥미로운 발견은 전략의 중요성이었습니다.

• 직접 실행 (Direct): "정리해줘"라고 바로 말하면 AI 는 엉뚱한 일을 합니다.
• 계획 후 실행 (Plan then Implement): AI 에게 먼저 **"어떻게 정리할지 계획서를 써봐"**라고 시키고, 그 계획을 검토한 뒤 실행하게 하면 점수가 2 배 이상 향상되었습니다.
• 비유: 요리사가 바로 재료를 다듬기 전에 **"오늘 메뉴를 어떻게 구성할지, 어떤 순서로 요리할지 먼저 구상"**하면, 훨씬 더 인간적인 맛의 요리를 만들어냅니다.

5. 결론 및 시사점

이 논문은 현재 AI 코딩 도구에 대한 중요한 메시지를 줍니다.

1. AI 는 '명령'은 잘 따르지만, '판단'은 못 합니다. 구체적인 지시가 없으면, AI 는 인간이 원하는 수준의 코드 정리를 스스로 찾아내지 못합니다.
2. 계획의 중요성: AI 가 스스로 리팩토링을 하려면, 바로 코드를 고치는 것이 아니라 먼저 '어떻게 고칠지' 생각해보는 단계가 필수적입니다.
3. 미래의 방향: 앞으로의 AI 개발자는 단순히 코드를 짜는 것을 넘어, 인간처럼 '코드의 구조와 유지보수성'을 고민할 수 있도록 훈련되어야 합니다.

한 줄 요약:

"AI 는 레시피를 주면 완벽하게 요리하지만, '주방을 정리해줘'라고만 하면 당황합니다. 하지만 **'먼저 정리 계획을 세워보자'**고 말해주면, 인간 셰프에 훨씬 더 가까워집니다."

이 연구는 AI 가 단순한 '코드 작성기'를 넘어, 인간 개발자의 진정한 파트너가 되기 위해 무엇을 더 배워야 하는지를 보여주는 중요한 이정표가 될 것입니다.

기술 요약

1. 문제 제기 (Problem)

대형 언어 모델 (LLM) 기반 코딩 에이전트는 새로운 기능을 구현하거나 버그를 수정하는 데 탁월한 성능을 보이지만, 생성된 코드는 종종 복잡성, 중복, 그리고 아키텍처 부채 (architectural debt) 를 축적합니다. 인간 개발자는 이러한 문제를 해결하기 위해 리팩토링 (Refactoring) 을 수행합니다. 리팩토링은 프로그램의 동작을 변경하지 않으면서 코드 구조와 유지보수성을 개선하는 과정입니다.

현재의 연구와 벤치마크는 다음과 같은 한계를 가집니다:

• 범위의 제한: 기존 벤치마크 (RefactorBench, SWE-Refactor 등) 는 소규모의 단일 파일 또는 제한된 메서드 수준의 리팩토링만 다룹니다.
• 자율성 부재: 에이전트가 "어떤 리팩토링이 필요한지" 스스로 판단하고 실행하는 능력을 평가하지 못합니다. 에이전트는 주로 구체적인 지시를 따르는 데만 초점을 맞춥니다.
• 품질 저하: 에이전트가 생성한 코드는 시간이 지남에 따라 구조적으로 부패 (structural erosion) 하거나, 인간 개발자가 선택한 최적의 아키텍처적 결정을 따라가지 못합니다.

2. 방법론 (Methodology)

저자들은 CODETASTE라는 새로운 벤치마크를 제안하며, 이는 오픈소스 저장소에서 추출된 대규모 다중 파일 (multi-file) 리팩토링 작업을 기반으로 합니다.

A. 데이터 수집 및 파이프라인

1. 커밋 발굴: GitHub 의 대규모 저장소에서 인간 개발자가 수행한 100 개의 대규모 다중 파일 리팩토링 커밋을 발굴했습니다.
2. 작업 생성: 각 커밋을 두 가지 트랙 (Track) 의 작업으로 변환합니다.
   • Instructed Track: 구체적인 리팩토링 지시사항 (상세한 설명) 을 제공합니다.
   • Open Track: 개선이 필요한 일반적인 영역 (Focus Area) 만 제시하고, 구체적인 리팩토링 내용은 에이전트가 스스로 판단하게 합니다.
3. 실행 환경 구축: 각 작업마다 컨테이너화된 실행 환경을 자동 생성하여, 해당 저장소의 유닛 테스트를 실행할 수 있도록 합니다.
4. 정적 분석 규칙 생성 (Rule Generation): 리팩토링의 의도 (원하지 않는 패턴 제거, 원하는 패턴 도입) 를 포착하기 위해 OpenGrep 문법을 사용한 정적 분석 규칙을 생성합니다. 이는 단순한 문법 매칭을 넘어 데이터 흐름 (dataflow) 추론을 포함하여 의미적 정확성을 보장합니다.

B. 평가 지표

에이전트가 생성한 패치 (Patch) 는 다음 두 가지 기준으로 평가됩니다:

1. 기능적 정확성 (Functional Correctness): 저장소의 유닛 테스트가 통과해야 합니다.
2. 정렬 점수 (Alignment Score): 생성된 정적 분석 규칙을 통해 리팩토링 의도가 얼마나 잘 반영되었는지 측정합니다.
   • IFR (Instruction Following Rate): 원하는 패턴이 도입되고 원하지 않는 패턴이 제거된 비율.
   • 정확도 (Precision): 리팩토링과 무관한 불필요한 변경이 포함되지 않았는지 확인.
   • 최종 점수 (Alignment Score, A): A = PASS(기능적 정확성) × IFR(지시 따르기)로 계산하여, 기능이 깨지지 않으면서도 올바른 리팩토링이 수행되었을 때만 높은 점수를 받습니다.

3. 주요 기여 (Key Contributions)

• CODETASTE 벤치마크: 오픈소스 저장소에서 추출된 100 개의 복잡한 다중 파일 리팩토링 작업으로 구성된 최초의 대규모 벤치마크입니다. 평균적으로 91 개의 파일과 2,600 줄 이상의 코드가 변경되는 복잡한 작업을 다룹니다.
• 자율적 리팩토링 판단 평가: 에이전트가 구체적인 지시 없이도 인간 개발자가 선택한 리팩토링 방식을 스스로 발견할 수 있는지 평가하는 'Open Track'을 도입했습니다.
• 정적 분석과 데이터 흐름 추론: 단순한 테스트 통과를 넘어, 코드 패턴의 의미적 변화를 검증하기 위해 정적 분석 규칙과 데이터 흐름 추론을 결합한 평가 체계를 제시했습니다.

4. 실험 결과 (Results)

최신 모델 (GPT-5.2, Claude Sonnet 4.5, Qwen3 등) 을 대상으로 한 실험 결과는 다음과 같은 명확한 격차를 보여줍니다.

A. Instructed Track (구체적 지시 제공 시)

• 성능: 최상위 모델인 GPT-5.2가 평균 **69.6%**의 정렬 점수 (Alignment Score) 를 기록하며 압도적인 성능을 보였습니다.
• 한계: 다른 모델들 (Sonnet 4.5, GPT-5.1 Mini) 은 지시 사항을 따르는 능력 (IFR) 은 높았으나, 테스트 통과율 (PASS) 이 낮아 전체 점수가 크게 떨어졌습니다. 이는 복잡한 리팩토링 시 기능적 오류를 발생시키기 쉽다는 것을 의미합니다.
• 비용: GPT-5.2 는 더 높은 정확도를 위해 더 많은 비용과 시간을 소모했습니다.

B. Open Track (자율적 판단 요구 시)

• 성능 저하: 구체적인 지시가 없을 때 모든 모델의 성능이 급격히 떨어졌습니다. GPT-5.2 의 경우 직접 실행 (Direct) 모드에서 **7.7%**에 불과했습니다.
• 계획의 중요성:
  • Plan Mode: 에이전트가 먼저 실행 계획을 수립한 후 코드를 작성하는 방식은 GPT-5.2 의 점수를 7.7% 에서 **14.1%**로 약 2 배 향상시켰습니다.
  • Oracle Multiplan Mode: 여러 계획을 생성하고 가장 적합한 것을 선택하는 방식은 점수를 **19.4%**까지 높였으나, 여전히 인간 개발자의 선택 (100%) 에는 미치지 못했습니다.
• 실패 패턴: 에이전트들은 종종 표면적인 문제 (오타 수정 등) 에만 집중하거나, 해킹적인 우회 해결책 (compatibility shim) 을 사용하거나, 파괴적인 전역 치환을 시도하여 코드베이스를 손상시키는 경향이 있었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 현실적 한계 확인: 현재의 LLM 코딩 에이전트는 구체적인 지시가 있을 때는 복잡한 리팩토링을 수행할 수 있지만, 어떤 리팩토링이 필요한지 스스로 판단하고 인간과 유사한 아키텍처적 결정을 내리는 능력은 여전히 매우 부족합니다.
• 향후 방향: 자율적 리팩토링 능력을 향상시키기 위해서는 '제안 - 구현 (Propose-then-implement)' 전략과 같은 사고 과정 (Reasoning) 의 강화가 필수적입니다.
• 미래 작업: CODETASTE 는 코딩 에이전트를 인간 개발자의 리팩토링 의사결정에 정렬 (Align) 시키기 위한 평가 기준이자 선호 신호 (Preference Signal) 로서, 장기적인 코드 품질 유지에 기여할 수 있는 중요한 도구입니다.

요약하자면, 이 논문은 LLM 이 "코드를 고치는 것"은 잘하지만, "코드를 어떻게 개선해야 할지 스스로 판단하는 것"에는 여전히 큰 격차가 있음을 증명하고, 이를 측정하기 위한 엄격한 벤치마크와 평가 방법을 제시했습니다.