Improving Code Comprehension through Cognitive-Load Aware Automated Refactoring for Novice Programmers

1. 문제 정의 (Problem Statement)

초보 프로그래머들은 종종 코드 작성 자체는 잘하지만, 타인이 작성한 코드를 읽거나 디버깅하는 데 심각한 어려움을 겪습니다.

• 근본 원인: 문법 (Syntax) 의 부재가 아니라, 코드 구조 (깊은 중첩, 복잡한 제어 흐름, 불명확한 모듈 경계) 가 주요 장벽입니다.
• 기존 접근법의 한계: 기존 연구는 코드에 대한 설명 (Explanation) 을 제공하거나 일반적인 리팩토링을 시도했으나, 이는 오히려 초보자의 인지 부하를 증가시키거나 기존에 파악하던 제어 흐름을 끊어 이해를 방해할 수 있습니다.
• 핵심 질문: 구조적 복잡성을 줄이면서도 초보자의 인지 능력 (작업 기억 용량) 을 고려하여 코드를 자동으로 리팩토링하면, 코드 이해도가 실제로 향상될 수 있는가?

2. 방법론 (Methodology)

저자들은 CDDRefactorER이라는 새로운 자동 리팩토링 시스템을 제안했습니다. 이는 인지 주도 개발 (Cognitive-Driven Development, CDD) 원칙을 대규모 언어 모델 (LLM) 의 프롬프트 엔지니어링에 적용한 것입니다.

A. CDDRefactorER 의 핵심 원리

1. 내재적 복잡도 점수 (ICP, Intrinsic Complexity Points) 측정: 조건문, 루프, 중첩 깊이 등에 따라 복잡도 점수를 부여합니다.
2. 인지 한계 설정 (Miller's Law): 인간의 작업 기억 용량 (약 7±2 개 항목) 을 기준으로 함수당 ICP 임계값 (예: 7 이하) 을 설정합니다.
3. 제약 조건 기반 리팩토링:
   • 전략: 메서드 추출 (Extract Method), 중첩 감소 (Reduce Nesting), 중복 제거, 불린 반환 단순화, 명시적 네이밍 등 초보 이해에 도움이 되는 전략을 적용합니다.
   • 제약 (Constraints): 기능적 정확성 유지, 문자열/숫자 값의 임의 변경 금지, 함수 시그니처 유지, 기존 코드 구조와의 유사성 유지 등을 엄격히 지시합니다.

B. 실험 설계

연구는 두 가지 주요 평가를 통해 진행되었습니다.

1. 벤치마크 평가 (RQ1, RQ2):
   • 데이터셋: MBPP (초급 Python 프로그램 974 개), APPS (초급 문제 5,000 개 샘플).
   • 모델: gpt-5-nano (상용), kimi-k2 (오픈소스).
   • 비교 대상: 제약이 없는 Zero-shot 프롬프트 (Baseline) vs. CDDRefactorER 프롬프트.
   • 지표: 기능적 정확성 (테스트 통과율), 사이클로매틱 복잡도 (CC), 인지 복잡도 (CogC), CodeBLEU (구조적 유사성).
2. 인간 대상 연구 (RQ3):
   • 참가자: 프로그래밍 입문 과정 (CS-101) 을 이수한 1 학기 컴퓨터 과학 전공 학생 20 명.
   • 설계: 피험자 간 설계 (Between-subjects). 한 그룹은 원본 코드만 분석, 다른 그룹은 CDDRefactorER 로 리팩토링된 코드를 분석.
   • 측정: 코드 목적 이해, 논리 흐름, 기능 식별, 구조적 가독성에 대한 5 점 리커트 척도 설문 및 오픈엔드 질문.

3. 주요 기여 (Key Contributions)

1. CDDRefactorER 시스템 제안: 초보자의 인지 부하를 줄이기 위해 CDD 원칙을 LLM 프롬프트에 통합한 자동 리팩토링 접근법.
2. 실증적 증거: 리팩토링의 정확성, 구조적 안정성, 초보자의 코드 이해도 향상에 대한 체계적인 데이터 제공.
3. 교육적 함의: 자동 리팩토링이 초보 학습자의 '기능 식별'과 '구조적 가독성' 향상에 효과적임을 입증하고, 교육 과정에서의 활용 방안을 제시.

4. 실험 결과 (Results)

A. 벤치마크 평가 결과 (RQ1 & RQ2)

• 리팩토링 실패율 감소: CDDRefactorER 는 제약 없는 프롬프트 대비 54.40% ~ 71.23% 만큼 리팩토링 실패 (기능 오류) 를 줄였습니다.
  • 예시: MBPP 데이터셋에서 kimi-k2 모델 기준 오류가 4.01% 에서 1.13% 로 감소.
• 복잡도 관리:
  • 인지/사이클로매틱 복잡도 증가 억제: 제약 없는 프롬프트는 오히려 복잡도를 높이는 경우가 많았으나, CDDRefactorER 는 복잡도 증가 확률을 대폭 낮추고 감소 효과를 극대화했습니다.
  • 예시: APPS 데이터셋에서 gpt-5-nano 의 인지 복잡도 증가율은 29.08% (Baseline) 에서 12.32% (CDD) 로 감소.
• 구조적 유사성 유지: CodeBLEU 점수가 크게 향상되어 (최대 122.7% 증가), 리팩토링된 코드가 원본의 구조적 특징을 더 잘 보존함을 확인했습니다. 이는 초보자가 익숙한 구조를 유지하면서 명확성만 높였음을 의미합니다.

B. 인간 대상 연구 결과 (RQ3)

• 이해도 향상: CDDRefactorER 를 사용한 그룹은 모든 측정 항목에서 통계적으로 유의미한 이해도 향상을 보였습니다.
  • 기능 식별 (Function Identification): 31.3% 향상 (가장 큰 효과).
  • 구조적 가독성 (Structural Readability): 22.0% 향상.
  • 논리 흐름 (Logic Flow): 19.45% 향상.
  • 목적 이해 (Purpose Understanding): 17.65% 향상.
• 질적 피드백: 참가자들은 "이름이 명확해지고 구조가 단순해져 논리를 따라가기 쉽다"고 평가했습니다. 다만, 초보자가 가진 개념적 지식의 부재 (예: while 루프의 개념 자체를 모름) 는 리팩토링만으로는 해결되지 않는 한계도 존재했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 인지 부하 인식의 중요성: 단순한 코드 최적화나 복잡도 수치 감소가 아니라, 인간의 인지 능력 (작업 기억) 에 맞춰 구조를 제한하는 것이 초보자의 코드 이해에 결정적임을 입증했습니다.
• 교육적 도구로서의 가치: 자동 리팩토링은 초보자가 스스로 코드를 이해하는 과정에서 '인지적 발판 (Scaffolding)' 역할을 할 수 있습니다. 특히 기능 분해 (Functional Decomposition) 와 제어 흐름 파악에 큰 도움을 줍니다.
• 도구 설계 방향: 초보자를 위한 코드 변환 도구는 공격적인 구조 변경보다는 점진적이고 국소적인 리팩토링을 통해 원본의 구조적 친숙함을 유지해야 합니다.
• 향후 연구: 더 큰 규모의 코드베이스, 다양한 프로그래밍 언어, 그리고 장기적인 학습 효과에 대한 연구가 필요함을 제시했습니다.

요약하자면, 이 논문은 LLM 을 활용한 자동 리팩토링에 '인지 과학적 원칙'을 접목함으로써, 초보 프로그래머가 타인의 코드를 이해하는 데 있어 발생하는 인지적 장벽을 효과적으로 낮출 수 있음을 실증적으로 증명했습니다.