What makes an Expert? Comparing Problem-solving Practices in Data Science Notebooks

논문 개요

이 연구는 데이터 과학 (Data Science) 에서 숙련된 전문가 (Expert) 와 초보자 (Novice) 가 문제를 해결하는 과정의 차이를 실증적으로 규명하기 위해 수행되었습니다. 특히 Jupyter 노트북을 대상으로 다단계 시퀀스 분석 (Multi-level Sequence Analysis) 을 적용하여, 저수준의 코딩 행동이 어떻게 고수준의 문제 해결 전략으로 이어지는지 분석했습니다.

1. 연구 문제 (Problem)

• 암묵적 기술의 부재: 데이터 과학 전문성은 도구 사용법이나 알고리즘 암기보다는 '문제 해결 과정'에 대한 암묵적이고 과정 중심의 기술에 기반합니다. 이러한 기술은 초보자에게는 불투명하여 직접 가르치기 어렵습니다.
• 생성형 AI 의 영향: 최근 생성형 AI 도구의 등장으로 학습자가 비판적 사고를 AI 에 의존하거나, 단순 작업 완료에 그치는 '초보자 같은 행동'을 강화할 위험이 커졌습니다.
• 연구 격차: 기존 연구는 최종 산출물 (코드 품질, 문서화 등) 에 집중했으나, 동적인 작업 순서와 전략적 차이를 체계적으로 분석한 연구는 부족했습니다.

2. 방법론 (Methodology)

• 데이터셋: Kaggle 의 'Code4ML' 데이터셋 중 'Quora Insincere Questions Classification' 대회에 참여한 440 개의 Jupyter 노트북을 분석 대상으로 선정했습니다.
  • 초보자 (Novice): Kaggle 'Novice', 'Contributor' 등급 (339 명).
  • 전문가 (Expert): Kaggle 'Expert', 'Master', 'Grandmaster' 등급 (101 명).
  • 참고: 길이 편차를 줄이기 위해 최상위/최하위 5% 는 제외했습니다.
• 분석 프레임워크: Valle Torre et al. (2024) 의 교육용 시퀀스 분석 5 단계 프레임워크와 Wang et al. (2023) 의 문제 해결 5 단계 모델 (문제 정의, 데이터 수집, 기록, 해석, 성찰) 을 기반으로 코드를 매핑했습니다.
• 다단계 분석 기법:
  1. 전체 프로세스 구조 (Overall Process Structure): 전체 문제 해결 단계 시퀀스에 대해 응집 계층적 클러스터링 (AHC) 과 최적 매칭 (Optimal Matching) 을 사용하여 워크플로우의 거시적 패턴을 식별했습니다.
  2. 단계 간 전환 (Phase-Level Transitions): 11 가지 세부 데이터 과학 단계 (예: EDA, 모델 학습 등) 간의 전이를 프로세스 마이닝 (Process Mining) 과 마르코프 모델 (Markov Models) 로 분석하여 확률적 전환 패턴을 비교했습니다.
  3. 세부 행동 패턴 (Fine-Grained Action Patterns): 특정 문제 해결 단계 내에서 반복되는 저수준 코드 행동 (예: import, fit, save) 을 찾기 위해 순차 패턴 마이닝 (Sequential Pattern Mining, SPM, PrefixSpan) 을 적용했습니다.

3. 주요 결과 (Key Results)

• RQ1 (전략 식별):

  • 전체 구조: 초보자는 길고 선형적 (Linear) 인 워크플로우를 따르는 반면, 전문가들은 더 짧고 반복적 (Iterative) 인 전략을 사용했습니다.
  • 단계 간 전환: 고수준의 문제 해결 단계나 세부 단계 간의 전환 순서 자체는 초보자와 전문가 간에 큰 차이가 없었습니다. 즉, "어떤 순서로 단계를 거치는가"보다는 "각 단계 내에서 어떻게 행동하는가"가 중요했습니다.
  • 세부 행동 패턴:
    • 초보자: feature engineering을 반복하거나, load from csv 후 show table을 보는 등 탐색적이고 실험적인 패턴이 많았습니다.
    • 전문가: model class와 fit/compile을 효율적으로 결합하거나, save to csv를 반복하며 결과를 기록하고 성찰하는 등 맥락에 맞는 효율적인 행동을 보였습니다.

• RQ2 (전문성 구분):

  • 전체 워크플로우 구조 (클러스터링) 와 세부 행동 패턴은 초보자와 전문가를 통계적으로 유의미하게 구분했습니다.
  • 반면, 단계 간 전환 확률 (마르코프 모델 기반) 은 두 그룹을 구분하는 데 유의미한 차이가 없었습니다.

4. 주요 기여 (Key Contributions)

1. 전문성의 재정의: 데이터 과학 전문성은 '고유한 단계 순서'를 따르는 것이 아니라, 유연하고 반복적이며 효율적인 행동 패턴을 통해 프로세스를 실행하는 능력에 있음을 실증했습니다.
2. 다단계 분석 프레임워크 적용: 거시적 전략부터 미시적 코드 행동까지 다층적으로 분석하여, 전문가와 초보자의 차이를 입체적으로 규명했습니다.
3. AI 시대의 교육적 통찰: 생성형 AI 가 초보자의 선형적 사고를 강화할 수 있음을 지적하고, 이를 극복하기 위한 교육적 개입의 방향성을 제시했습니다.

5. 의의 및 시사점 (Significance & Implications)

• 교육 커리큘럼: 단순한 도구 사용법이나 단계별 워크플로우 (CRISP-DM 등) 교육보다는 반복적 사고 (Iterative Thinking) 와 적응적 문제 해결 능력을 기르는 데 초점을 맞춰야 합니다.
• 평가 방식: 최종 결과물 (모델 정확도 등) 만 평가하는 것이 아니라, 학생의 작업 시퀀스 (행동 패턴) 를 분석하여 문제 해결 성숙도를 평가하는 새로운 평가 도구를 개발할 수 있습니다.
• 지능형 지원 시스템: 학습자의 현재 행동 패턴 (예: 과도한 특성 공학 반복) 을 감지하여, 전문가처럼 성찰하고 반복하는 것을 유도하는 AI 기반 피드백 시스템 설계가 가능합니다.
• 생성형 AI 활용: AI 를 단순 코드 생성기로 사용하는 것을 넘어, 학습자가 AI 와 협력하여 비판적 사고와 반복적 개선을 수행하도록 유도하는 교육 전략이 필요합니다.

결론적으로, 이 연구는 데이터 과학 교육이 '정답'을 찾는 과정이 아니라, 유연하고 반복적인 사고 과정을 어떻게 시각화하고 가르칠 수 있는지에 대한 실증적 근거를 제공했습니다.