Teaching Students to Question the Machine: An AI Literacy Intervention Improves Students' Regulation of LLM Use in a Science Task

기술 요약: 학생들에게 기계에 의문을 제기하도록 가르치기

문제 제기
생성형 인공지능(GenAI)과 거대 언어 모델(LLM)은 특히 STEM 맥락에서 학생들의 학습 관행에 빠르게 통합되고 있습니다. 이러한 도구들은 적응형 지원의 기회를 제공하지만, 학생들이 비판적 평가나 자기 조절적 탐구에 참여하는 대신 모델에 추론 단계를 위임하는 "인지적 오프로딩(cognitive offloading)"의 위험을 초래합니다. 중학생 단계에서 AI 리터러시의 '적용' 차원, 즉 프롬프트를 모니터링하고, 응답을 평가하며, 언제 상호작용을 수정, 거부 또는 지속할지 결정하는 능력을 지원하는 방법에 대한 이해에는 중요한 격차가 존재합니다. 기존 연구에 따르면 중학생들은 효과적인 프롬프트를 선택하거나 만족스럽지 않은 답변에 이의를 제기하는 데 어려움을 겪는 경우가 많지만, 이러한 행동 조절 결핍을 해결하기 위한 짧고 확장 가능한 개입에 대한 통제된 교실 기반의 증거는 제한적입니다.

방법론
저자들은 프랑스의 한 중학교에서 89학년(1315세) 학생 116명을 대상으로 준실험적 교실 연구를 수행했습니다. 일정상의 제약으로 인해 개별 무작위 배정은 불가능했으므로, 학생들은 학급 단위로 조건에 배정되었습니다.

• 개입(Intervention): 개입 집단은 테스트 단계 이틀 전에 2시간짜리 AI 리터러시 워크숍에 참여했습니다. 이 워크숍은 개념적 내용(LLM이 작동하고 실패하는 방식)과 학생의 주체성 보존에 초점을 맞춘 실습 활동을 결합했습니다. 결정적으로, 워크숍에서는 실험에 사용된 특정 과학 과제를 연습하지 않았습니다. 대신, 초기 프롬프트가 과제 목표와 일치하는지, 응답이 해당 목표를 충족하는지, 그리고 프롬프트를 어떻게 수정하거나 후속 질문을 던질지를 평가하도록 훈련했습니다.
• 통제(Control): 통제 집단은 워크숍에 참여하지 않고 동일한 테스트 세션을 완료했습니다.
• 과업(Task): 두 집단 모두 LLM을 사용하여 6개의 과학 문제 해결 과업을 수행했습니다. 각 과업에서 학생들에게는 잘 지정된(well-specified) 프롬프트(핵ist 맥락 요소 포함) 또는 미지정된(underspecified) 프롬프트(중요 정보 누락)가 제시되었습니다. 학생들은 프롬프트 수용 여부를 결정하고, LLM과 상호작용하며, 응답을 평가하고, 선택적으로 후속 질문을 던진 뒤 최종 답변을 작성했습니다.
• 측정 지표:
  • 행동 지표: 프롬프트 수용(쿼리 수준의 제어), AI 응답의 정확성 판단(응답 평가), 후속 질문 비율(상호작용 제어).
  • 성과: 02점 루브릭으로 채점된 최종 답변의 품질(020점으로 합산).
  • 자기 보고: GenAI에 대한 인식(태도, 신뢰, 윤리 등) 및 일반적인 메타인지 인식(Jr. MAI)을 측정하는 워크숍 전후 설문지.
• 분석: 행동 지표에는 클러스터 강건 표준 오차를 포함한 일반화 선형 모델(GLM)이 사용되었습니다. 최종 과업 성과는 Mann–Whitney 검정을 사용하여 분석되었습니다. 프롬프트 식별 능력을 측정하기 위해 신호 탐지 지수($d'$ 및 $\beta$)가 계산되었습니다. 점수 산출에는 인간 채점자와 검증된 "LLM-as-judge"로서 GPT-4o가 사용되었습니다.

주요 기여

1. 행동 중심: 본 연구는 AI 리터러시를 단순한 선언적 지식이 아니라, 생성형 AI에 특화된 과업 수준의 모니터링 및 제어 프로세사인 "LLM 상호작용의 조절"로 구체화합니다.
2. 개입 설계: 특정 콘텐츠를 연습하지 않고도 적용된 조절 기술(주체성 유지)을 목표로 하는, 교실에서 실행 가능한 2시간 규모의 워크숍을 입증합니다.
3. 방법론적 엄밀성: 본 연구는 신호 탐지 이론을 사용하여 민감도와 반응 편향을 분리하는 견고한 통계적 통제를 적용하며, 자동 채점 결과를 인간 채점자와 대조하여 검증합니다.

결과

• 조절 행동: 개입 집단의 학생들은 통제 집단에 비해 유의미하게 더 적응적인 상호작용 행동을 보였습니다:
  • 미지정된 프롬프트를 수용할 확률이 더 낮았습니다 (51.5% vs 66.7%).
  • 이들의 정확성 판단은 프롬프트 지정 상태에 더 민감하게 반응했습니다 (상호작용 효과 유의미).
  • 미지정된 프롬프트를 수용한 후 후속 질문을 훨씬 더 자주 던졌습니다 (59.2% vs 27.9%).
• 과업 성과: 개입 집단은 통제 집단(평균 10.29)보다 다소 높은 최종 과업 성과 점수(평균 11.38)를 기록했으나, 절대적인 점수는 두 집단 모두 제한적이었습니다.
• 작용 기제: 신호 탐지 분석 결과, 개입 집단에서 프롬프트 품질에 대한 민감도($d'$)가 수치상으로는 더 높았으나 통계적으로 유의미하지는 않았습니다. 그러나 문제를 인지하는 것(프롬프트 식별)과 조절 행동을 취하는 것(재구성 또는 후속 질문) 사이의 연결 고리는 개입 집단에서 더 강하게 나타났습니다.
• 자기 보고 vs 행동: GenAI 자기 보고나 일반적인 메타인지 인식 점수 모두 행동 조절이나 최종 과업 성과를 강력하게 예측하지 못했습니다. 또한, 워크숍은 자기 보고된 태도에서 유의미하지 않은 약한 변화만을 보였는데, 이는 행동적 변화가 자기 지각된 역량의 즉각적인 변화 없이도 발생할 수 있음을 시사합니다.

의의 및 주장
본 논문은 짧고 교실에서 실행 가능한 AI 리터러시 교육이 중학생의 LLM 지원 문제 해결에 대한 단기적 조절 능력을 형성할 수 있다고 주장합니다. 저자들은 워크숍이 프롬프트와 평가에 대한 주체성을 유지하는 "조절적 태도(regulatory stance)"를 새로운 과업으로 전이시키는 데 성공했다고 강조합니다.

그러나 저자들은 다음과 같이 결론을 신중하게 내리고 있습니다:

• 본 연구는 과업 수행 도중의 조절 능력 향상을 보여주는 것이지, 지속적인 학습 효과나 장기적 보유를 입증하는 것은 아닙니다.
• 최종 점수의 완만한 개선은 GenAI에 대한 접근만으로는 고품질의 답변을 얻기에 충분하지 않음을 나타냅니다. 학생들은 여전히 정보를 합성하고 모델의 출력을 평가하는 데 상당한 어려움을 겪습니다.
• 본 연구 결과는 자기 보고 측정이 적용된 AI 리터러시의 열악한 지표임을 시사하며, 향후 교육은 순수하게 선언적인 지식보다는 행동적 척도와 실질적인 조절 기술을 우선시해야 함을 보여줍니다.
• 본 연구는 이러한 조절 습관이 새로운 영역으로 전이되는지, 그리고 시간이 지나도 지속되는지를 결정하기 위한 장기적 연구의 필요성을 강조합니다.