기술 요약: SRL 관점에서 본 프로그래밍 교육에서의 AI 보조 도움 요청 궤적(Trajectories)

1. 문제 제기

입문 단계의 프로그래밍 교육에서 초보 학습자들은 구문(syntax), 제어 흐름(control flow), 오류 진단과 관련하여 깊은 불확실성에 자주 직면한다. 전통적인 지원 기제(예: 오피스 아워, 포럼)는 적시적이고 개별화된 도움을 제공하는 데 실패하는 경우가 많으며, 이는 얕은 이해와 문제 해결 능력의 미발달로 이어진다. 생성형 AI(특히 대규모 언어 모델)는 즉각적이고 개인화된 지원을 통해 확장 가능한 솔루션을 제공하지만, 교육적 위험을 동반한다. 학생들이 문제 해결 단계를 AI에 '떠넘김(offloading)'으로써, 스스로의 조절 기술을 발전시키기보다 도구에 의존하는 '메타인지적 게으름(metacognitive laziness)'에 빠질 수 있다는 우려가 존재한다.

기존 연구는 주로 AI 사용의 빈도, 생성된 코드의 정확성, 또는 일반적인 사용성(usability)에 초점을 맞추어 왔다. 그러나 학생과 AI 간의 도움 요청이 시간이 흐름에 따라 어떻게 전개되는지에 대한 이해에는 상당한 공백이 존재한다. 특히, 이러한 상호작용의 순차적 구조(궤적)가 자기조절학습(SRL) 과정(계획, 모니터링, 성찰)을 반영하는지, 아니면 단순한 반응적 트러블슈팅(reactive troubleshooting)인지는 알려진 바가 적다. 본 연구는 정적인 사용 지표를 넘어, AI 지원 프로그래밍 과업에서 발생하는 도움 요청 행동의 역동적이고 턴 단위로 진화하는 과정을 분석해야 할 필요성을 다룬다.

2. 연구 방법론

2.1 맥락 및 참가자

본 연구는 일본의 한 국립대학교에서 두 차례(2024년 여름, 2025년 여름) 진행된 기초 학부 파이썬 프로그래밍 수업을 대상으로 수행되었다.

• 참가자: 166명의 1학년 학생이 수강하였다. 최종 분석 샘로 활용된 데이터는 코스 중 최소 5회 이상의 프롬프트를 생성한 71명의 학생이다.
• 교과 과정 구조: 14개의 레슨으로 구성되었으며, 변수, 문자열, 함수, 조건문, 루프를 다루는 57개의 프로그래밍 과업이 포함되었다.
• AI 도구: 학생들은 실시간 상호작용을 위해 GPT-4o와 연결된 커스텀 웹 기반 인터페이스를 사용할 수 있었다. 모든 대화 내용은 로그로 기록되었다.

2.2 데이터 소스

본 분석은 두 가지 상호 보완적인 추적 데이터 소스를 통합하였다.

1. 자동 평가 제출물: 71명의 학생으로부터 발생한 17,190건의 코드 제출물(57개 과업과 연결됨, CodeRunner 플러그인 활용). 이 로그는 과업 점수(테스트 케이스 통과 수에 기반한 0~5점)와 제출 시도 횟수를 제공한다.
2. 학생-AI 대화 로그: 635개의 대화 세션에서 추출한 1,290개의 과업별 프롬프트. 교과 과업과 무관하거나 과제 시간 외에 제출된 프롬프트는 제외되었다.

2.3 분석 프레임워크 및 코딩

본 연구는 도움 요청 행동을 해석하기 위해 SRL 기반 분석 프레임워크(그림 1)를 채택하였다.

• 코딩 체계: 프롬프트는 네 가지 주요 기능적 역할으로 그룹화된 10개의 세밀한 카테고리로 코딩되었다.
  • 개념적(Conceptual): 개념, 구문 또는 요구사항 명확화 (예: 개념 질문, 문제 이해)
  • 구현(Implementation): 솔루션 구축 또는 코드 생성 (예: 코드 생성, 구현 질문)
  • 디버깅(Debugging): 오류 해석, 코드 수정 또는 출력 검증 (예: 오류 해석, 코드 수정)
  • 성찰적(Reflective): 작동하는 코드 설명 또는 최적화 탐색 (예: 코드 설명, 코드 최적화)
• 신뢰도: 두 명의 연구자가 합의 코딩을 통해 92.7%의 연구자 간 일치도($\kappa = .88$)를 달적했다.
• 궤적 분석:
  • 순차 분석: 래그 순차 분석(Lag sequential analysis)과 생키 다이어그램(Sankey diagrams)을 사용하여 턴 간 프롬프트 카테고리 간의 전이를 조사하였다.
  • 시도 수준 분류 체계(Attempt-Level Taxonomy): 과업별 세션을 다섯 가지 궤적 패턴으로 분류하기 위한 규칙 기반 분류 체계를 개발하였다.
    1. 원샷(One-shot): 단일 프롬프트.
    2. 디버깅 지속(Debugging-Persistence): 3회 이상의 연속적인 디버깅 프롬프트.
    3. 개념적 프레이밍(Conceptual-Framing): 개념적 도움으로 시작되는 세션.
    4. 성과 지향(Performance-Oriented): 구현 및 디버깅 도움으로만 구성된 세션.
    5. 모드 전환(Mode-Shifting): 서로 다른 도움 요청 모드 간의 변화를 포함하는 세션 (예: 디버깅에서 개념으로).

2.4 성과 지표

프로그래밍 성과는 두 가지 지표로 평가되었다.

1. 과업 점수(Task Score): 최종 달성 점수 (0–5).
2. 프로세스 비용(Process Cost): 솔루션에 도달하기 위해 필요한 코드 제출 횟수.

3. 주요 결과

3.1 도움 요청 프롬프트 분포

• 디버깅의 지배적 양상: 디버깅은 전체 프롬프트의 **67.0%**를 차지하며 가장 빈번한 카테고리였다. 오류 해석(EI)과 코드 수정(CC)이 가장 흔한 세부 코드로 나타났다.
• 성찰의 희소성: 성찰적 도움은 전체 프롬프트의 **1.6%**에 불 불과했다. 개념적 도움과 구현 도움은 각각 14.6%와 16.8%를 차지했다.
• 반응적 특성: 데이터는 학생들이 계획된 자기조절적 문제 해결보다는 즉각적인 트러블슈팅을 위한 반응적 보조 도구로 AI를 주로 사용했음을 시사한다.

3.2 순차적 패턴 및 궤적

• 디버깅에서의 정체: 순차 분석 결과, 학생들은 종종 디버깅 카테고리에 머물러 있는 것으로 나타났다. 디버깅 내에서의 자기 전이(self-transition)는 유의미하게 높게 나타난 반($z = 6.1$), 카테고리 간 전이(예: 개념 $\to$ 디버깅)는 종종 억제되었다.
• 궤적 패턴:
  • 원샷 (53.1%): 단일 디버깅 요청이 주를 이루는 가장 흔한 패턴.
  • 성과 지향 (19.2%): 구현과 디버깅에만 집중된 다회차 상호작용.
  • 디버깅 지속 (12.6%): 지속적이고 반복적인 디버깅 시도가 나타나는 세션.
  • 개념적 프레이밍 (9.0%) 및 모드 전환 (6.1%): 상대적으로 드문 패턴.

3.3 성과와의 연관성

• 과업 점수: 다섯 가지 궤적 패턴 간에 과업 점수의 유의미한 차이는 없었다 ($p = .950$). 대부분의 학생은 여러 번 제출할 수 있는 능력 덕분에 상호작용 패턴과 관계없이 높은 점수를 획득했다.
• 코드 제출 (프로세스 비용): 코드 제출 횟수에서는 유의미한 차이가 발견되었다 ($p < .001$).
  • 디버깅 지속 패턴은 가장 많은 제출 횟수를 요구했다 (평균 = 11.90). 이는 원샷(평균 = 4.82)이나 개념적 프레이밍(평균 = 5.91)보다 유의미하게 높았다.
  • 원샷 및 개념적 프레이밍 패턴은 낮은 프로세스 비용과 연관되었다.
• 강건성(Robustness): 디버깅 지속 패턴에서 나타난 높은 제출 횟수는 쉬운 과업과 어려운 과업 모두에서 동일하게 나타났으며, 이는 과업의 난이도가 아닌 패턴 자체가 프로세스 비용 증가를 유도했음을 의미한다.

3.4 사례 예시

질적 사례 연구는 이러한 패턴의 SRL 함의를 보여주었다.

• 디버깅 지속: 학생들은 근본적인 규칙을 진단하기보다 사소한 형식 문제에 대해 "시도 및 수리(trial-and-repair)" 루프를 반복하는 경우가 많았다.
• 개념적 프레이밍: 학생들은 코딩 전에 개념을 명확히 함으로써 효율적인 검증을 이끌어냈다.
• 모드 전환: 학생들은 디버깅에서 개념적 질문으로 성공적으로 전환하며 유연한 조절 능력을 보여주었다.
• 원샷: 비록 반응적이었으나, 일부 단일 프롬프트는 성찰적 최적화(예: 대안적인 구현 방식 요청)를 위해 사용되었다.

4. 주요 기여

1. SRL 기반 분석 프레임워크: 본 연구는 프롬프트 수준의 코드를 개념, 구현, 디버깅, 성찰적 지원으로 연결하여 이를 자기조절학습(SRL)의 관점에서 해석하는 프레임워크를 도입하였다.
2. 궤적 패턴의 식별: 집계된 사용 통계를 넘어 다섯 가지의 뚜렷하고 반복되는 도움 요청 궤적(원샷, 디버깅 지속, 개념적 프레이밍, 성과 지향, 모드 전환)을 식별하였다.
3. 프로세스 vs 결과의 구분: AI 지원 궤적이 최종 과업 점수에는 큰 영향을 미치지 않지만(다회 제출 기회로 인해), 프로세스 비용(제출 횟수)에는 상당한 차이를 만든다는 것을 입증하였다.
4. 반응적 사용 vs 조절된 사용의 증거: 본 연구는 많은 학생이 계획된 자기조절적 문제 해결보다는 반응적 트러블슈팅(디버깅 루프에 갇힘)을 위해 AI를 사용한다는 경험적 증거를 제공하며, 이는 '메타인지적 게으름'의 구체적인 위험을 강조한다.

5. 의의 및 주장

본 논문은 프로그래밍에서의 AI 지원의 교육적 의의가 단순히 학생이 AI를 얼마나 자주 사용하는가가 아니라, 문제 해결 과정에서 도움 요청 궤적이 어떻게 전개되는가에 있다고 주장한다.

• AI 사용의 재정의: 본 연구는 높은 과업 점수가 반드시 효과적인 학습이나 효율적인 문제 해결을 의미하지는 않는다고 주장한다. "디버깅 지속" 궤적(높은 프로세스 비용, 반응적)을 통해 과업을 완료한 학생은 "개념적 프레이밍"(낮은 프로세스 비용, 계획 지향)을 사용하는 학생과 다른 학습 경험을 갖게 된다.
• 교육적 시사점: 저자들은 교육적 개입이 상호작용의 구조에 집중해야 한다고 제안한다. AI 시스템과 교수자는 단순히 다음 수정 사항을 제공하는 것이 아니라, 개념적 성찰이나 자기 설명을 유도함으로써 "수리 중심 루프(repair-oriented loops, 디버깅 지속)"를 감지하고 차단하도록 설계되어야 한다.
• 연구의 범위: 저자들은 본 연구가 단일 기초 과정에서 수행되었으며, 분석이 내부 인지 상태에 대한 직접적인 측정보다는 추적 데이터(프롬프트 및 제출물)에 의존하고 있다는 한계를 인정한다. 또한 특정 궤적 패턴이 학습 결과의 '원인'이라고 주장하는 것이 아니라, 서로 다른 프로세스 비용을 수반하는 뚜렷한 '조절 구조'를 나타낸다고 보고 있다.

결론적으로, 본 논문은 학생들이 반복적인 디버깅 요청을 넘어 개념적 명료화와 자기 설명으로 나아가도록 지원하는 것이 AI 지원 프로그래밍 학습을 자기조절학습의 목표와 일치시키는 데 매우 중요하다는 입장을 취한다.