From Restructuring to Stabilization: A Large-Scale Experiment on Iterative Code Readability Refactoring with Large Language Models

1. 연구 배경 및 문제 정의 (Problem)

대규모 언어 모델 (LLM) 은 코드 생성 및 자동 리팩토링에 널리 사용되고 있지만, 그 결과물의 품질은 일관성이 부족하고 예측 불가능한 행동을 보일 수 있습니다. 특히, LLM 이 코드를 반복적으로 리팩토링할 때 어떤 패턴을 보이는지, 그리고 가독성 향상을 위해 반복적으로 프롬프트를 입력할 때 코드가 수렴 (convergence) 하는지 아니면 무의미한 변경이 계속되는지 (oscillation) 에 대한 체계적인 연구가 부족했습니다.

이 연구는 다음과 같은 핵심 질문을 던집니다:

• LLM 이 이미 양호한 코드를 리팩토링할 때 불필요한 변경을 가하는가?
• 다양한 초기 상태 (가독성이 낮은 코드) 에서 시작하더라도 LLM 은 일관된 최종 형태로 수렴하는가?
• 특정 가독성 요소 (이름 지정, 주석 등) 를 강조하는 프롬프트가 리팩토링 동역학에 어떤 영향을 미치는가?

2. 연구 방법론 (Methodology)

저자들은 GPT-5.1 모델을 사용하여 대규모 실험을 수행했습니다.

• 데이터셋: GitHub 의 "The Algorithms – Java" 저장소에서 선별된 230 개의 Java 스니펫을 사용했습니다.
• 변형 (Variants): 각 원본 스니펫에 대해 두 가지 변형을 생성하여 총 3 가지 변형 (Original, Meaningless, NoComment) 을 만들었습니다.
  • Original: 원본 구현.
  • Meaningless: 식별자 (변수, 메서드, 클래스) 이름과 주석 내용을 무의미한 것으로 변경.
  • NoComment: 모든 주석을 제거.
• 실험 설계:
  • 반복 횟수: 각 변형을 5 회 반복하여 리팩토링했습니다.
  • 프롬프트 전략 (3 가지):
    1. General (Unguided): "가독성을 위해 이 코드를 리팩토링하세요."
    2. Meaning (Targeted): "식별자 명명 (identifier naming) 에 특히 초점을 맞춰 리팩토링하세요."
    3. Comments (Targeted): "주석 (comments) 에 특히 초점을 맞춰 리팩토링하세요."
  • 총 생성된 스니펫 수: 230 개 × 3 변형 × 3 프롬프트 × 5 반복 = 10,350 개.
• 분석 도구 (DiffParser):
  • 시퀀스 기반, 토큰 기반, AST(추상 구문 트리) 기반 유사도 측정법을 통합한 커스텀 도구를 개발했습니다.
  • 변경 사항을 구현 (Implementation), 구문 (Syntactic), 주석 (Comment) 수준으로 세분화하여 분류했습니다.
  • 변경 유형: 리네임 (Rename), 구문만 변경 (SyntaxOnly), 주석 변경 (CommentChange), 혼합 변경 (MixedChange), 기능적 변경 (CodeChange) 등으로 분류했습니다.

3. 주요 연구 질문 (Research Questions)

1. RQ1 (반복적 리팩토링의 진화): 이미 모범 사례를 따르는 코드에 대해 LLM 이 어떻게 변화시키는가? (불필요한 변경 여부 및 수렴성)
2. RQ2 (코드 변형 간 수렴): 서로 다른 초기 상태 (의미 없는 이름, 주석 없음) 에서 시작하더라도 반복 리팩토링 후 유사한 형태로 수렴하는가?
3. RQ3 (명시적 프롬프트의 영향): 특정 가독성 요소를 강조하는 프롬프트가 리팩토링의 효과와 안정성에 미치는 영향은 무엇인가?

4. 주요 결과 (Key Results)

RQ1: 초기 재구조화 후 안정화 (Restructuring then Stabilization)

• 패턴: LLM 은 초기 반복 (v0→v1) 에서 상당한 재구조화 (이름 변경, 메서드 분해, 주석 제거 등) 를 수행하지만, 이후 반복에서는 변경 폭이 급격히 줄어들며 안정화 (Stabilization) 됩니다.
• 과도한 리팩토링: 입력 코드가 이미 양호하더라도 LLM 은 완벽한 유사도 (1.0) 에 도달하지 못하고 미세한 변경을 계속 가하며, 이는 '과도한 리팩토링 (over-refactoring)' 경향을 시사합니다.
• 주석 제거: 명시적 지시가 없어도 LLM 은 주석을 지속적으로 제거하는 경향을 보였습니다.

RQ2: 변형 간 수렴 (Convergence Across Variants)

• 강력한 수렴 현상: 의미 없는 이름이나 주석이 없는 코드 (Meaningless, NoComment) 로 시작하더라도, 반복 리팩토링을 거치면 Original 변형과 유사한 구조적 표현으로 수렴했습니다.
• 통계적 증거: 초기 변형 간 유사도 차이는 시간이 지남에 따라 줄어들어, 모든 변형이 최종적으로 유사한 유사도 점수 (약 0.87~0.90) 에 도달했습니다. 이는 LLM 이 내재된 '최적의 가독성' 개념을 가지고 있음을 시사합니다.

RQ3: 프롬프트 전략의 영향

• 이름 지정 프롬프트 (PromptMeaning): 식별자 이름을 강조할 경우, LLM 은 지속적인 오실레이션 (oscillation) 을 보였습니다. 즉, 이름을 계속 바꾸고 다시 바꾸는 행동을 멈추지 않아 수렴이 느리거나 불안정했습니다.
• 주석 프롬프트 (PromptComments): 주석을 강조할 경우, 초기 반복에서 주석이 추가되지만 이후에는 빠르게 안정화되었습니다.
• 통계적 유의성: 크루스칼 - 월리스 (Kruskal-Wallis) 검정 결과, 프롬프트 유형이 변경 유형 (리네임, 주석 변경) 에 통계적으로 유의미한 영향을 미치는 것으로 확인되었습니다.

기능적 정확성 및 견고성 (Robustness)

• 기능성 유지: 154 개의 스니펫에 대한 유닛 테스트 실행 결과, 리팩토링을 거치더라도 기능적 오류 (Functional Correctness) 는 1% 미만으로만 감소했습니다.
• 새로운 코드 견고성: LLM 의 학습 데이터에 포함되지 않은 2025 년 이후 생성된 새로운 Java 코드로 실험을 반복한 결과, 주요 경향성 (수렴, 초기 재구조화 등) 이 동일하게 나타났습니다.

5. 주요 기여 (Key Contributions)

1. 실증적 증거: LLM 기반 리팩토링이 초기 재구조화 후 수렴하는 경향이 있음을 밝혔으며, 동시에 특정 프롬프트 하에서 역행 (back-and-forth) 변경이 발생할 수 있음을 증명했습니다.
2. 프롬프트 엔지니어링 통찰: 명시적인 프롬프트가 리팩토링 경로를 어떻게 변화시키는지 (예: 이름 지정 프롬프트는 불안정성 유발) 를 규명하여 프롬프트 설계의 중요성을 강조했습니다.
3. 재사용 가능한 프레임워크: 다양한 LLM 에 적용 가능한, 반복적 리팩토링 하의 코드 진화를 분석하는 LLM-중립적 프레임워크와 오픈 소스 리플리케이션 패키지를 제공했습니다.
4. 정량적 메트릭: 코드 변경을 구현, 구문, 주석 수준으로 세분화하여 분석하는 정량적 메트릭을 도입했습니다.

6. 의의 및 결론 (Significance & Conclusion)

이 연구는 LLM 이 코드 리팩토링 도구로서 신뢰할 수 있는지에 대한 중요한 실증적 기반을 제공합니다.

• 실무적 시사점: 자동화된 리팩토링 도구를 사용할 때는 명시적인 정지 기준 (stopping criteria) 을 설정하여 과도한 리팩토링을 방지해야 합니다. 또한, 프롬프트를 작성할 때는 특정 요소 (예: 이름 변경) 를 지나치게 강조할 경우 불안정성을 초래할 수 있으므로 주의해야 합니다.
• 미래 연구 방향: LLM 의 수렴 동역학을 이해하기 위해 컨텍스트 유지 (stateful) 가 필요한지, 다양한 모델 간 비교 분석, 그리고 코드 냄새 (code smells) 나 복잡도 지표 등 추가적인 소프트웨어 품질 차원에 대한 체계적 평가가 필요합니다.

결론적으로, LLM 은 다양한 코드를 일관된 스타일로 정규화하는 강력한 능력을 가지고 있지만, 이를 효과적으로 활용하기 위해서는 인간의 감독과 신중한 프롬프트 설계가 필수적입니다.