Four Types of LLM Reliance and Their Predictors Among Undergraduate Writers: A Mixed-Methods Study at a Minority-Serving R1 University

기술 요약: 학부생 글쓰기에서 나타나는 네 가지 유형의 LLM 의존성 및 그 예측 요인

문제 제기
대규모 언어 모델(LLM)이 학부 학술 글쓰기에 거의 보편적으로 도입되었음에도 불구하고(학생의 약 92%), 이들의 서로 다른 질적 형태를 구분할 수 있는 검증된 프레임워크가 부족한 실정이다. 기존 연구들은 의존성을 단일한 연속적 빈도 개념(예: 빈번한 사용자 대 드문드문한 사용자)으로 정의하며, 이는 인지적 참여의 결정적인 차이를 가린다. 이러한 구조적 한계는 인지적 의존을 지적 저작권보다 체계적으로 보상하는 결과 측정치를 생성한다. 구체적으로, 현재의 도구들은 글쓰기 품질이나 인지적 성장보다는 "AI 처리량"(작업에 AI가 얼마나 기여했는가)을 측정하며, 이로 인해 높은 수준의 인지적 주체성(전략적 절제)을 발휘하는 학생이 오히려 가장 낮은 성과를 보이는 측정 아티팩트(measurement artifact)를 초래한다. 또한, 기존 문헌은 준비도(preparation)의 이질성과 제1세대 대학생 여부가 AI 리터러시 격차를 심화시킬 수 있는 소수자 지원 기관(MSI) 내에서의 이러한 역동성을 충분히 조사하지 못했다.

연구 방법론
본 연구는 공립 R1 소수자 지원 기관(MSI) 및 아시아계 미국인 및 아메리카 원주민 태평양 도서 지역 소수자 지원 기관(AANAPISI)에서 순차적 설명 혼합 방법론(sequential explanatory mixed-methods design)을 채택하였다.

• 참여자: 양적 단계에는 $N=382$명의 학부생이 포함되었다. 질적 단계에는 의도적 표집된 14건의 인터뷰, 35건의 개방형 설문 응답(SUR35), 361건의 짧은 개방형 응답(SUR361)이 포함되어 총 1,435건의 코딩된 사례를 분석하였다.
• 이론적 프레임워크: 본 연구는 다음 세 가지 프레임워크를 통합하였다:
  1. AI 리터러시 프레임워크: 의존성의 유형(질적 방향)을 예측하기 위함.
  2. 기대-가치 이론(EVT): 의존성의 강도(양적 크기)를 예측하기 위함.
  3. Biggs의 예측-과정-결과(3P) 모델: 학생의 특성, 의존 행동, 결과를 연결하는 구조적 아키텍처를 제공하기 위함.
• 도구: 새로운 20문항의 LLM 의존성 척도를 개발 및 검증하였으며, 이는 네 가지 뚜렷한 유형(전략적, 도구적, 대화적, 의존적)을 측정한다. 예측 변수로는 AI 리터러시(핵심 및 노출)와 기대-가치 신념이 포함되었다.
• 분석: 양적 분석에는 탐색적 요인 분석(EFA), 신뢰도 검사, 일원 분산 분석(one-way ANOVA), 위계적 다중 회귀 분석, 다항 로지스틱 회귀 분석이 사용되었다. 질적 분석은 유형을 검증하고 양적 패턴을 설명하기 위해 성찰적 주제 분석(reflexive thematic analysis)을 활용하였다.

주요 기여

1. 경험적으로 검증된 유형론: 본 연구는 네 가지 뚜렷한 LLM 의존 유형을 식별하고 검증하였다:
   • 전략적(Strategic, 34.3%): 능동적 검증과 완전한 저작권 통제를 동반한 의도적이고 목표 지향적인 참여.
   • 도구적(Instrumental, 30.9%): 아이디어적 내용을 위임하지 않고 기계적 작업(개요 작성, 편집)을 위해 제한적으로 사용하는 방식.
   • 대화적(Dialogic, 30.4%): AI가 사고 파트너 역할을 수행하되 저자의 주체성이 유지되는 반복적 공동 구축.
   • 의존적(Dependent, 4.5%): 최소한의 감독 하에 글쓰기 과업을 통째로 외주화하는 인지적 포기.
2. 이중 계층 예측 아키텍처: 본 연구는 두 개의 별개이며 상호 교환 불가능한 시스템이 의존성을 지배한다는 것을 입증하였다:
   • AI 리터러시는 학생이 채택하는 의존의 유형(예: 높은 리터러시는 의존적 유형보다 전략적 유형을 예측)을 예측한다.
   • 기대-가치 신념은 유형과 관계없이 학생이 LLM에 의존하는 강도를 예측한다.
3. 측정 아티팩트 규명: 본 연구는 기존 LLM 성과 연구의 근본적인 타당성 위기를 폭로한다. "X를 달성하기 위해 AI를 사용한다"는 구조를 가진 도구들은 독립적인 글쓰기 품질이 아닌 AI의 기여도를 포착한다. 결과적으로, AI의 역할을 의도적으로 제한하는 전략적 사용자들은 이러한 척도에서 가장 낮은 점수를 받게 되어, 낮은 성과를 보인다는 잘못된 인상을 준다.
4. 이중 모델 아키텍처: 질적 연구 결과, 윤리적 또는 환경적 가치에 따라 사용을 자제하는 "원칙적 비사용자(principled non-users)" 집단(응답자의 13%)이 존재함이 드러났다. 이들은 낮은 강도의 전략적 사용자와는 구별되는 집단이며, 기존의 의존성 프레임워크의 설명 범위를 벗어나므로 별도의 절제 모델이 필요하다.

결과

• 분포: 전략적(34.3%), 도구적(30.9%), 대화적(30.4%), 의존적(4.5%) 유형이 지배적이었다.
• 성과 격차: 양적 결과에 따르면, 전략적 사용자는 모든 10가지 글쓰기 과정 및 결과 변수(예: 품질, 독창성, 비판적 사고)에서 의존적 사용자보다 유의미하게 낮은 점수를 기록했다(효과 크기 $\eta^2$ 범위 .166–.329).
• 예측 모델링:
  • 강도: 기대-가치 신념은 의존 강도의 가장 강력한 예측 변수였으며($\beta = .630, \Delta R^2 = .256$), 인구통계학적 특성이나 AI 리터러시를 합친 것보다 더 많은 분산을 설명했다.
  • 유형: AI 리터러시는 의존 유형의 가장 강력한 예측 변수였다. AI 리터러시가 1단위 증가할 때마다 의존적 유형 대비 전략적 유형으로 분류될 확률은 약 10분의 1로 감소했다($OR = 0.11, p < .001$).
  • 인구통계: 제1세대 대학생 여부는 높은 의존 강도의 유의미한 예측 변수였다($\beta = .153$). 이는 AI가 학술적 자원을 보완하는 보상 기제로 작용함을 시사한다.
• 질적 검증: 주제 분석을 통해 유형론을 확인하였으며, 발전 궤적(의존적 단계에서 전략적 단계로의 이동)과 리터러시 부족이 아닌 윤리적 제약에 의한 원칙적 비사용의 존재를 밝혀냈다.

의의 및 주장
본 논문은 LLM 성과에 대한 현재의 이해가 구조적으로 결함이 있다고 주장한다. 전략적 사용자가 가장 낮은 점수를 받는 것은 성과가 낮다는 증거가 아니라, 인지적 주체성을 처벌하는 측정 아티팩트라는 것이다. 본 연구는 다음과 같이 주장한다:

• 중재(Intervention)는 구별되어야 한다: AI 리터러시 프로그램은 의존의 유형(비판적 사용으로의 전환)을 목표로 해야 하며, 동기 부여 중재는 의존의 강도를 다루어야 한다. 이를 상호 교환 가능한 것으로 취급하는 것은 효과적이지 않다.
• 형평성 문제가 핵심이다: MSI에서 AI 리터러시 격차는 기존의 구조적 불평등을 심화시킨다. 제1세대 학생들은 자원 격차를 보완하기 위해 AI에 더 많이 의존할 수 있으며, 현재의 성과 측정치는 그들의 정교한 절제를 실패로 오해하고 있다.
• 미래의 도구 설계: 분야 전반에 걸쳐 AI 매개적 성취와 독립적인 글쓰기 역량을 구분할 수 있는 새로운 도구가 필요하며, 그렇지 않으면 가장 인지적으로 정교한 학생들을 체계적으로 오해하게 될 것이다.

본 연구는 이러한 측정 및 이론적 간극을 해결하지 않는다면, 교육 분야에서의 LLM에 관한 증거 기반은 왜곡된 상태로 남을 것이며, 의존성을 보상하고 원칙적이고 전략적인 AI 사용의 이점을 가릴 것이라고 결론짓는다.