Phase-Dependent Effects of Cognitive Autonomy on Student Performance in AI-Assisted Learning

기술 요약: 인공지능(AI) 보조 학습에서 인지적 자율성이 학생 성취도에 미치는 단계별 영향

문제 제기
고등 교육에서 생성형 AI(GenAI)의 급격한 도입은 연구의 초점을 사용 빈도에서 상호작용의 질로 전환시켰다. 기존 문헌은 대개 사용량(예: 총 상호작로 수 또는 지속 시간)을 참여의 대리 지표로 활용하며, 인지적 자율성을 지원하는 상호작용(예: 개념적 명료화 요청)과 이를 저해하는 상호작용(예: 전체 솔루션 요청)을 구분하지 못하는 한계가 있다. 특정 학생-AI 대화 패턴이 독립적인 학업 성취도를 예측할 수 있는지, 그리고 이러한 관계가 코스의 서로 다른 단계에 따라 달라지는지에 대한 이해는 여전히 중요한 공백으로 남아 있다. 본 연구는 학생들이 AI를 '얼마나 많이' 사용하는가보다 '어떻게' 사용하는가가 더 중요한지, 특히 인지적 자율성의 영향이 단계 의존적인지를 조사함으로써 이 질문을 다룬다.

연구 방법론
본 연구는 학부 인공지능 과목의 데이터를 활용하여 정량적, 종단적 설계를 채택하였다.

• 데이터 소스: 분석에는 203명의 학생으로부터 발생한 16,851건의 학생-AI 상호작용을 포함하는 "StudyChat" 데이터셋(McNichols et al., 2024)을 사용하였으며, 이를 교과 평가 기록과 결합하였다. 최종 분석 샘플은 상호작용 로그와 시험 점수에 모두 동의한 110명의 학부생으로 구성되었다.
• 변수:
  • 결과 변수: 세 차례의 AI 금지 시험(e1, e2, e3) 성적 및 종합 점수(no_llm).
  • 예측 변수: 사용량(total_turns) 및 대화 행위(dialogue acts)에서 도출된 행동률(개념적 질문, 맥락적 질문, 글쓰기 요청, 맥락 제공, 검증, 편집, 주제 이탈).
  • 지표 개발: 저자들은 자율성 지원 행위(pos_rate)와 자율성 저해 행위(neg_rate)의 차이로 계산되는 **인지적 자율성 지수(Cognitive Autonomy Index, CAI)**를 도입하였다. 두 가지 변형 모델이 테스트되었다: CAI-A(보수적 모델, 글쓰기 요청만을 부정적 행위로 간주)와 CAB(엄격한 모델, 글쓰기 요청과 "맥락 제공"을 모두 부정적 행위로 간주).
• 분석 전략:
  • 차원 축소: 행동률 간의 다중공선성(합계가 1이 되는 특성)을 해결하기 위해 주성분 분석(PCA)을 적용하여 두 가지 주요 성분을 추출하였다: PC1(인지적 자율성) 및 PC2(문제 프레이밍 품질).
  • 모델링: 최소제곱법(OLS)과 베타 회귀(Beta Regression) 모델을 비교하였다. 시험 점수의 범위가 제한적(0~1)이라는 특성을 고려하여 베타 회귀를 주요 방법으로 선택하였다.
  • 단계별 분석: AI 행동과 성취도 사이의 관계가 시간적 변화를 보이는지 테스트하기 위해 초기(e1), 중기(e2), 후기(e3) 코스 단계별로 별도의 모델을 추정하였다.
  • 강건성 검증: 합성 CAI와 구성 요소 비율 간의 비교를 위한 절제 테스트(ablation tests), 이상치 분석(특히 학생 #57), OLS와 베타 회귀 결과 간의 교차 검증을 포함하였다.

주요 결과

1. 사용량 대 행동 패턴: 전체 사용량(total_turns)은 시험 성적과 약하고 유의하지 않은 상관관계($R^2 \approx 0.017$)를 보였다. 반면, PCA를 통해 행동 패턴을 반영한 모델은 유의미하게 더 많은 분산을 설명하였다 (Pseudo-$R^2 \approx 0.140$). 이는 상호작용의 양보다 질이 더 예측력이 높다는 가설을 뒷받침한다.
2. 집계된 점수의 한계: 합성 CAI 점수는 전체 시험 성적과 유의미하지 않은 약한 상관관계를 보였다. 저자들은 이를 상반되는 단계별 역동성을 하나의 순수 점수로 집계함으로써 결정적인 뉘앙스가 가려졌기 때문이라고 설명한다.
3. 단계별 효과:
   • 초기 단계 (e1): 개념적 질문과 글쓰기 요청 모두 시험 성적과 양(+)의 상관관계를 보였다. 개념적 질문의 비율이 0.10 증가할 때 높은 성취를 보일 확률이 18% 증가했다.
   • 중기 단계 (e2): 맥락적 질문은 처음에 음(-)의 상관관계를 보였으나, 이는 전적으로 단 한 명의 영향력 있는 이상치(학생 #57)에 의해 유발된 것이었다. 해당 학생을 제거하자 신뢰할 만한 관계는 남지 않았다.
   • 후기 단계 (e3): "맥락 제공" 행위(AI 완성을 위해 과제 자료를 붙여넣는 행 등)는 성적과 유의미한 음(-)의 상관관계를 보였다. 이 비율이 0.10 증가할 때 시험 성공 확률은 15.9% 감소했다.
4. 강건성: 결과는 OLS와 베타 회귀 모델 모두에서, 그리고 CAI 변형(A 및 B) 간에도 일관되게 나타나, 단계별 효과가 통계적 명세 및 라벨링 정의에 대해 강건함을 확인하였다.

핵심 기여

• 인지적 자율성 지수 (CAI): 본 논문은 자기 조절 학습 및 인지적 자율성 프레임워크를 바탕으로 학생-AI 상호작용을 정량화하기 위해 이론 기반의 지표를 제안하며, 추론을 지원하는 행동과 추론을 대체하는 행동을 구분한다.
• 단계 민감적 분석: 본 연구는 특정 AI 상호작용 유형의 교육적 가치가 고정되어 있지 않으며, 코스 생애 주기 전반에 걸쳐 진화한다는 점을 입증한다. 코스 초기에 유익한 행동(예: 스캐폴딩을 위한 글쓰기 요청)이 후기에는 해로울 수 있다(예: 아웃소싱을 위한 맥락 덤핑).
• 방법론적 발전: 실제 대화 로그에 PCA와 베타 회귀를 활용함으로써, 본 연구는 단순한 빈도 측정을 넘어 AI 사용 맥락에서의 복잡하고 제한적인 학업 성취도를 모델링한다.

의의 및 주장
저자들은 본 연구의 결과가 AI 사용 빈도가 학습 결과의 주요 동인이라는 관점에 도전한다고 주장한다. 대신, 본 연구는 타이밍과 상호작용의 질이 성공의 핵심 결정 요인이라고 상정한다. 또한, 자율성 관련 행동을 단일 점수(예: CAI)로 집계하는 것은 중요한 단계별 역동성을 가릴 수 있으며, AI의 영향에 대해 오해를 불러일으킬 수 있다고 논한다.

본 연구는 교육자들이 AI 사용을 일률적으로 긍정적 혹은 부정적으로 보아서는 안 된다고 제언한다. 오히려 AI의 효용은 학습 단계에 따라 달라진다:

• 초기 단계에서 AI는 기초 지식을 위한 스캐폴드로 기능할 수 있으며, 이때는 "솔루션 탐색" 행위조차 초기 참여를 돕는 데 도움이 될 수 있다.
• 후기 단계에서 맥락 덤핑이나 솔루션 생성을 위해 AI에 의존하는 것은 독립적인 성취도 저하와 상관관계가 있으며, 이는 수동적인 아웃소싱으로의 전환을 시사한다.

저자들은 모델이 성취도 분산의 약 14%만을 설명한다는 점을 인정하며 신중한 태도를 유지하며, 나머지 분산은 사전 지식, 동기, 교수법과 같은 관찰되지 않은 요인들에 기인한다고 밝힌다. 또한 데이터의 관찰적 성격을 고려하여 인과적 주장을 경계하며, 샘-플이 특정 AI 과목에 국한되어 있음을 언급하며 타 학문 분야에서의 재현 필요성을 시사한다. 결론적으로, 효과적인 AI 통합을 위해서는 학습 과정의 특정 단계에 적응하는 교육적 전략이 필요하다.