Simulated Interactive Debugging

1. 문제 정의 (Problem)

• 디버깅 교육의 부재: 소프트웨어 공학에서 디버깅 (결함 위치 파악 및 수정) 은 핵심 기술이지만, 컴퓨터 과학 (CS) 교육 과정에서는 체계적으로 가르쳐지지 않거나 간접적인 프로젝트 수행 중에만 배워지는 경우가 많습니다.
• 비체계적인 학습: 대부분의 CS 학생들은 디버깅을 체계적인 방법론이 아닌 '시행착오 (Trial and Error)' 방식이나 단순한 print/log 문 삽입을 통해 비공식적으로 습득합니다.
• AI 시대의 필요성: 대규모 언어 모델 (LLM) 등 AI 기반 소프트웨어 개발이 보편화됨에 따라, 학생들이 자신이 작성하지 않은 코드나 자동 생성된 코드의 버그를 효과적으로 디버깅하고 수정할 수 있는 능력이 더욱 중요해졌으나, 이를 위한 교육 도구는 부족합니다.
• 기존 연구의 한계: 기존 자동 프로그램 수정 (APR) 기술은 학생의 솔루션을 수정하여 피드백을 주는 데 초점을 맞추었지, 학생이 스스로 디버깅 과정을 학습하도록 안내하는 데는 한계가 있었습니다.

2. 방법론 (Methodology)

저자들은 **"시뮬레이션 인터랙티브 디버깅 (Simulated Interactive Debugging)"**이라는 새로운 개념을 제안하고 이를 구현했습니다.

• 핵심 개념:
  • 교육 환경에서는 정답 (참조 구현체) 과 결함 위치, 패치 등이 이미 알려져 있으므로, 이를 활용하여 인터랙티브 디버깅 경험을 시뮬레이션합니다.
  • 인간 튜터처럼 직접 정답을 알려주기보다, 학생이 스스로 문제를 이해하고 수정할 수 있도록 단계별로 안내합니다.
• 기술적 구현 (프로토타입):
  • 플랫폼: Visual Studio Code (VS Code) IDE 확장 프로그램으로 개발되었습니다.
  • 주요 기술 스택:
    • 자동화된 결함 위치 파악 (Fault Localization): 스펙트럼 기반 결함 위치 파악 (SBFL) 및 FauxPy 를 활용하여 버그가 있을 가능성이 높은 코드를 식별합니다.
    • 대규모 언어 모델 (LLM): OpenAI GPT-3.5-turbo 를 활용하여 자연어 기반 힌트, 설명, 그리고 대화형 챗봇을 제공합니다.
    • 자동 브레이크포인트 설정: 식별된 결함 위치에 자동으로 브레이크포인트를 설정하여 학생이 디버거를 실행할 수 있게 합니다.
• 작동 흐름 (Workflow):
  1. 학생이 버그가 있는 코드를 실행하고 테스트 실패를 확인합니다.
  2. AI 어시스턴트가 실패한 테스트를 설명하고, 관심 있는 라인에 자동으로 브레이크포인트를 설정합니다.
  3. 학생이 디버거를 통해 변수 값을 확인하며, AI 챗봇과 대화하여 **점진적인 힌트 (Progressive Hints)**를 받습니다.
  4. AI 는 정답을 직접 알려주지 않고, Socratic questioning (소크라테스식 질문) 방식을 통해 학생 스스로 해결책을 찾도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. 시뮬레이션 인터랙티브 디버깅 개념 정립: CS 학생들이 인터랙티브 디버깅 과정을 체계적으로 학습할 수 있도록 안내하는 새로운 교육 패러다임을 제안했습니다.
2. IDE 플러그인 구현: 위 개념을 VS Code 확장 프로그램으로 구현하여, 실제 개발 환경에 통합된 프로토타입을 제공했습니다.
3. 실증 연구 (Pilot User Study): 8 명의 학부생 (CS 1 학년) 을 대상으로 한 통제된 실험을 통해 개념의 실용성과 사용성을 검증했습니다.

4. 연구 결과 (Results)

8 명의 학부생을 대상으로 한 파일럿 연구 결과, 다음과 같은 통찰을 얻었습니다.

• 사용자 만족도 및 효과성:
  • 참가자들은 자동 브레이크포인트 설정 기능을 가장 효과적으로 평가했습니다 (5/8 명 동의). 이는 초보자가 디버거 사용의 첫 장벽인 브레이크포인트 설정을 넘어설 수 있게 도와주었기 때문입니다.
  • 그 다음으로 인터랙티브 디버깅 및 챗봇 기능 (4/8 명), 자동 브레이크포인트에 대한 설명 (4/8 명) 이 높은 평가를 받았습니다.
  • 점진적 힌트와 테스트 오류 설명 기능은 일부 학생들에게는 너무 모호하다고 느껴지기도 했으나, 전반적으로 체계적인 안내를 선호했습니다.
• 학습 경험:
  • 참가자들은 기존의 '시행착오'나 'print 문' 방식 대신, 이 도구를 통해 문제를 단계별로 체계적으로 식별할 수 있었다고 보고했습니다.
  • AI 에 의존하기보다는 AI 가 안내하는 과정에서 스스로 사고할 수 있게 되었다는 긍정적인 피드백이 있었습니다.
• 사용성 (Usability):
  • 시스템 사용성 척도 (SUS) 점수는 평균 약 65 점으로, 향후 개선 여지가 있지만 긍정적인 기반을 마련했습니다.
  • 참가자들은 향후 시스템의 빈번한 사용을 희망했습니다.
• 디버깅 자신감:
  • 실험 후 스스로 브레이크포인트를 설정하는 것에 대한 자신감은 여전히 낮았으나, 자동 설정 기능을 통해 올바른 라인에 대한 직관을 키울 수 있었습니다.

5. 의의 및 향후 과제 (Significance & Future Work)

• 교육적 의의: 이 연구는 CS 교육 과정 초기에 디버깅 기술을 체계적으로 가르치고, AI 기반 도구 (ChatGPT 등) 를 올바르게 활용하는 방법을 습득하게 하는 중요한 발걸음이 됩니다.
• 향후 계획:
  • 고도화된 안내: 상태 머신 (State Machine) 기반의 더 능동적인 안내 체계 도입.
  • 기능 확장: 최신 APR 기술 통합, 테스트 평가 및 자동 생성 기능 구현.
  • 확장된 연구: 더 많은 참가자를 대상으로 한 대규모 사용자 연구를 수행하여 일반화 가능성을 검증할 예정입니다.

결론적으로, 이 논문은 AI 와 전통적인 소프트웨어 공학 기법을 결합하여 학생들이 수동적이고 비효율적인 디버깅 방식에서 벗어나, 체계적이고 교육적인 디버깅 습관을 기를 수 있도록 돕는 혁신적인 접근법을 제시했습니다.