Measuring How Students Rely on Generative AI in Academic Writing: Development and Multi-Source Validation of the Generative AI Reliance Types Scale (GenAI-RTS)

기술적 요약: GenAI-RTS의 개발 및 타당도 검증

문제 제기
고등 교육에서 생성형 AI(GenAI) 도입이 보편화됨에 따라, 학생들이 이러한 도구를 사용하는지 여부를 묻는 이분법적인 질문은 진단적 가치를 상실했다. 핵심적인 경험적 질문은 학생들이 장기적인 학술적 글쓰기 과정 동안 어떻게 GenAI에 의존하는가로 이동했다. 기존의 측정 도구들은 세 가지 주요 한계점을 지닌다: (1) 반복적인 글쓰기 과정보다는 단절된 의사결정 과업을 위해 개발되었다는 점, (2) 이론 기반의 유형론보다는 귀납적 요인 추출에 의존한다는 점, (3) 다양한 인구통계학적 집단 간의 척도 측정 불변성(scalar measurement invariance)에 대한 증거가 부족하여 유효한 형평성 관련 비교를 방해한다는 점이다. 나아가, 현재의 타당도 검증 관행은 교육 및 심리 검사 표준(AERA et al., 2014)에서 요구하는 일관된 다중 소스 타당도 논거를 제공하지 못하는 경우가 많다.

연구 방법론
본 연구는 20개 문항으로 구성된 자기보고식 도구인 **생성형 AI 의존 유형 척도(GenAI-RTS)**를 개발하고 타당도를 검증하였다. 본 연구는 미국의 한 공립 R1 소수자 대상 대학(MSI)에서 순차적 설명적 혼합 방법론 설계를 따랐다.

• 이론적 프레임워크: 본 도구는 메타인지(Schraw & Dennison, 1994), 비판적 AI 리터러시(Long & Magerko, 2020), 학습 접근 방식 이론(Biggs, 1987)이라는 세 가지 문헌으로부터 연역적으로 도출되었다. 이를 통해 네 가지 유형의 유형론을 산출하였다: 전략적(Strategic) (내부적으로 *의도적 사용(Deliberate Use)*과 비판적 평가(Critical Evaluation) 측면으로 구성), 도구적(Instrumental), 의존적(Dependent), 그리고 대화적(Dialogic) 유형.
• 참여자: 타당도 검증 표본은 $N=382$명의 학부생(평균 연령 20.8세)으로 구성되었으며, 인종적 다수파가 없는 인종적으로 다양한 인구 집단을 대표한다(백인 34.3%, 흑인/아프리카계 미국인 27.2%, 아시아계 24.9%, 히스패닉/라티노 7.6%). 의존도 점수에 따라 최대 변이 샘플링(maximum variation sampling)을 적용하여 선별된 14명의 학생을 대상으로 심층 인터뷰를 실시하였다.
• 타당도 검증 프레임워크: 본 연구는 Kane(2013)의 논거 기반 타당도 프레임워크를 준수하였으며, 검사 내용, 반응 과정, 내부 구조, 그리고 다른 변수와의 관계라는 다섯 가지 표준 중 네 가지 소스로부터 증거를 수집하였다.
• 분석 전략:
  • 구조 분석: 최대 우도(ML) 및 대각 가중 최소제곱법(DWLS) 추정치를 사용하여 여섯 가지 경쟁적 확인적 요인 분석(CFA) 모델을 테스트하였다.
  • 불변성: 성별, 첫 세대 대학생 여부, STEM/비STEM 전공에 따른 설정 불변성(configural), 측정 불변성(metric), 척도 불변성(scalar)을 다집단 CFA를 통해 테스트하였다.
  • Rasch 분석: 레이팅 스케일 모델을 통해 7점 리커트 응답 형식의 기능성을 평가하였다.
  • 질적 분석: 인터뷰에 대한 유향적 내용 분석(directed content analysis)을 통해 학생들의 자기 보고와 척도가 함의하는 행동 간의 일치 여부를 조사하였다.

주요 결과

1. 내부 구조: 가설로 설정된 4요인 모델(전략적 의존을 단일 요인으로 간정)은 적합도가 낮았다. 5요인 모델(전략적 의존을 의도적 사용과 비판적 평가로 분리)이 최적의 적합도를 보였다($CFI_{DWLS} = .976$, $RMSEA_{DWLS} = .066$). 이 구조는 경쟁 모델인 1, 2, 3, 4요인 및 고차 모델보다 우수한 성능을 보였다.
2. 신뢰도 및 판별 타당도: 하위 척도의 신뢰도는 양호한 수준이었다($\omega = .75–.88$). 비판적 평가와 의존적 측면은 통계적으로 구별되었다(잠재 상관 $r = -.07$). 이는 경계심(vigilance)과 외주화(outsourcing) 사이의 이론적 대립을 뒷받침한다. 한편, 도구적 의존과 대화적 의존는 높은 상관관계($r = .77$)를 보였으나, 구조적 테스트를 통해 두 요인이 구별됨을 확인하였다. 두 요인을 병합할 경우 모델 적합도가 크게 저하되었다($\Delta CFI = -.135$).
3. 측정 불변성: 본 연구는 성별, 첫 세대 대학생 여부, 학문 분야에 걸쳐 **척도 불변성(scalar measurement invariance)**을 확립하였다. 이는 GenAI 의존도 척도 중 최초로 이루어진 것으로, 이러한 인구통계학적 집단 간의 잠재 평균 비교를 가능하게 한다.
4. 반응 과정: 인터뷰 결과, 참여자들의 AI 사용에 대한 설명은 저, 중, 고 점수층 모두에서 다섯 가지 측면이 함의하는 행동과 일치함을 확인하였다. 그러나 분석 결과, 의존 패턴은 고정된 유형이라기보다 유동적인 프로파일의 형태를 띠며, "의존적" 의존은 현재의 행동보다는 사후적으로 기술되는 경우가 많다는 점이 드러났다.
5. Rasch 분석: 7점 응답 형식에서 범주 순서 역전(threshold disordering) 현상이 나타났다. 특히 "약간 동의하지 않음"(범주 3) 단계에서 해당 범주가 충분히 활용되지 않았으며 인접 범주와 기능적으로 구별되지 않았다. 이에 따라 형식을 5점 척도로 축소할 것을 권장한다.
6. 다른 변수와의 관계:
   • 수렴 타당도: 전략적 의존은 AI 리터러시와 정적 상관관계를 보였다($r = .61$).
   • 판별 타당도: 전략적 의존과 의존적 의존은 가장 낮은 상관관계를 보였다($r = .19$).
   • 준거 타당도: 의존 유형은 10가지 글쓰기 과정 및 결과 변수(예: 인지된 품질, 비판적 사고)에 따라 학생들을 유의미하게 구분하였다(큰 효과 크기: $\eta^2 = .166–.329$).

핵심 기여

• 최초의 이론 기반 유형론: GenAI-RTS는 귀납적 문항 풀을 넘어, 연역적이고 이론에 기반한 유형론을 바탕으로 학술적 글쓰기에서의 GenAI 의존을 조작적으로 정의한 최초의 도구이다.
• 다중 소스 타당도 검증: 본 연구는 내용, 반응 과정, 내부 구조, 외부 관계의 증거를 통합하여 구조화된 타당도 논거를 제공함으로써 기존 타당도 검증 연구의 공백을 메웠다.
• 척도 불변성 증거: 성별, 첫 세대 대학생 여부, 전공에 대한 척도 불변성의 첫 증거를 제시함으로써, 유효한 형평성 중심 연구를 가능하게 하였다.
• 전략적 의존의 정교화: 데이터는 전략적 의존이 단일 구성 개념이 아닌 두 개의 별개 측면(의도적 사용과 비판적 평가)으로 모델링되는 것이 적절함을 실증적으로 보여줌으로써, AI에 대한 메타인지적 참여의 이론적 이해를 정교화하였다.

의의 및 주장
본 논문은 GenAI-RTS가 연구자와 교육자에게 서로 다른 학부생 의존 프로파일을 식별할 수 있는 심리측정적으로 검증된 도구를 제공한다고 주장한다. 생산적(전략적, 도구적, 대화적) 패턴과 비생산적(의존적) 패턴을 구분함으로써, 본 도구는 타겟팅된 AI 리터러시 개입 설계를 지원한다. 저자들은 이 척도를 학술적 부정행위를 적발하기 위한 장치가 아니라, 학생의 참여를 이해하고 학습을 지원하기 위한 **형성적 진단 도구(formative diagnostic tool)**로 명시적으로 위치시킨다.

연구는 자기 보고 데이터에 대한 의존, 횡단적 설계(발달적 변화에 대한 인과적 주장 불가), 독립된 표본에서의 재현 필요성 등의 한계를 완곡하게 인정한다. 또한, 본 도구가 학습 목표에 의한 전략적 절제와 기관의 처벌에 대한 두려움에 의한 절제를 구분할 수 없음을 언급한다. 저자들은 다음 버전의 척도를 위한 구체적인 수정 사항으로, 약한 의도적 사용 문항의 재구성 및 범주 기능 문제를 해결하기 위한 5점 척도 채택을 권장한다.