Evaluating Conceptual Framing in AI-Generated Educational Writing: A Cognitive-Linguistic Analysis of Student Revision

기술 요약: AI 생성 교육용 글쓰기에서의 개념적 프레이밍 평가

문제 제기
생성형 AI에 관한 기존 연구는 언어적 균질성, 문체적 동질화, 비판적 참여의 감소에 집중해 왔으나, AI가 생성한 산문에 내재된 개념적 구조를 이해하는 데에는 상당한 공백이 존재한다. 특히, 대규모 언어 모델(LLM)이 인지적 은유를 통해 추상적인 사회적 문제를 어떻게 프레이밍하는지, 그리고 학생들(특히 비서구적 문화 배경을 가진 학생들)이 수정 과정에서 이러한 프레이밍에 어떻게 관여하고, 유지하거나 수정하는지는 여전히 불분명하다. 본 연구는 AI 텍스트가 지닌 "개념적 가정"에 대한 탐구가 부족함을 지적하며, 은유적 프레이밍이 독자의 해석에 영향을 미치고, AI의 출력이 (종종 서구 중심적인) 학습 데이터의 편향을 반영할 수 있으며 학생들이 이를 무의식적으로 채택하거나 능동적으로 저항할 수 있다는 가설을 제기한다.

연구 방법론
본 연구는 쌍을 이룬 텍계 분석(paired-text corpus analysis)을 활용한 질적 인지언어학 설계를 채택한다.

• 코퍼스: 데이터셋은 걸프 과학기술대학교(Gulf University for Science and Technology)의 아랍어 사용 학부생들이 작성한 15개의 매칭된 에세이 쌍(총 30개의 텍스트)으로 구성된다. 각 쌍은 AI 생성 초안(ChatGPT-5.2를 통해 생성)과 그에 따른 학생 수정본을 포함한다.
• 과업: 학생들은 "부모가 자녀의 진로 선택에 어느 정도까지 영향을 미쳐야 하는가?"라는 프롬프트에 응답하였다. 학생들은 AI를 사용하여 초기 초안을 생성한 후, 외부 도움 없이 50분의 세션 동안 이를 수정하였다.
• 분석 틀: 분석은 **개념 은유 이론(CMT)**과 **혼성 이론(BT)**을 통합한다.
  • 은유 식별: 문맥적 의미가 기본 의미와 대조되는 어휘 단위들을 식별하기 위해 은유 식별 절차(MIP)를 사용하였다.
  • 스키마 매핑: 은유적 표현들을 개념적 스키마(원천 영역-목표 영역 매핑)로 그룹화하였다.
  • 혼성 분석: 다중 원천 영역을 포함하는 표현들은 혼성 이론의 4개 공간 모델을 사용하여 이중 범위 네트워크(double-scope networks)를 식별하기 위해 분석되었다.
• 절차: 본 연구는 네 가지 차원에서 두 버전을 비교한다: 은유적 표현의 빈도, 원천 영역의 유지/제거, 원천 영역의 일관성, 그리고 혼성 구조의 생성. 코딩 신뢰도는 이중 코더 검증과 논의를 통해 확보되었다.

주요 결과
분석 결과, 학생들이 AI 생성 개념적 프레이밍과 상호작용하는 방식에서 뚜렷한 패턴이 드러났다:

1. 은유 밀도의 감소: 학생들의 수정은 은유적 표현의 전반적인 26.2% 감소를 가져왔다(AI 에세이당 평균 30.8개에서 학생 에세이당 22.7개로 감소). 이러한 감소는 균일하지 않았는데, 15개 쌍 중 14개에서 감소가 나타났으며, 6번 쌍은 변화가 없었다.
2. 원천 영역의 차별적 유지:
   • 유지된 것: 학생들은 진로는 여정이다(CAREER IS A JOURNEY), 부모의 영향은 물리적 힘이다(PARENTAL INFLUENCE IS A PHYSICAL FORCE), **부모의 조언은 자원이다(PARENTAL ADVICE IS A RESOURCE)**와 같은 관습적인 영역을 일관되게 유지했다.
   • 감소/제거된 것: 학생들은 더 정교한 AI 생성 영역들을 체계적으로 줄이거나 제거했다. 구체적으로 아이의 발달은 식물이다(THE CHILD'S DEVELOPMENT IS A PLANT), 진로 경로는 건물이다(A CAREER PATH IS A BUILDING), 부모의 영향은 조각하기이다(PARENTAL INFLUENCE IS SCULPTING), 부모의 지도는 보호 장벽이다(PARENTAL GUIDANCE IS A PROTECTIVE BARRIER) 등이 해당된다. 특히, (아이를 수동적 재료로 배치하는) 조각하기(SCULPTING) 은유와 (부모가 역할을 수행한다는) 연극(THEATRE) 은유는 학생 수정본에서 거의 완전히 사라졌다.
   • 도입/확장된 것: 학생들은 의사결정은 소유권이다(DECISION-MAKING AS OWNERSHIP) (예: "결정은 아이의 것이다"), 동기는 소유물이다(MOTIVATION AS A POSSESSION) (예: "열정을 잃다"), **시간/노력은 자원이다(TIME/EFFORT AS RESOURCES)**를 강조하는 영역을 도입하거나 확장했다. 일부 학생들은 기업/군대 위계(CORPORATE/MILITARY HIERARCHY) 프레이밍(예: "하향식 계획")을 도입하기도 했다.
3. 일관성 및 혼성: AI 생성 에세이는 높은 영역 내 일관성과 교차 영역 일관성을 보였으며, 종종 복잡한 이중 범위 혼성(예: 연극과 조각하기의 결합)을 구축했다. 반면, 학생 수정본은 산발적이고 덜 통합된 은유 패턴을 보였다. 학생들은 복잡한 혼성을 줄였지만, 관습화된 혼성(예: 힘+그릇/용기)은 유지했으며, 때때로 새롭고 수사적으로 동기 부여된 혼성(예: 돕기/해로움의 대조)을 만들어냈다.
4. 권위와 자율성의 개념적 재프레이밍:
   • AI 프레이밍: 부모의 권위를 정당하고, 형성적이며, 절제가 필요한 것으로 묘사했다. 자율성은 (양육적 부모 모델에 따라) 유도된 성장을 통해 발달하는 능력으로 프레이밍되었다.
   • 학생 프레이밍: 권위를 조건적이고 경계가 있는 것으로 재프레이밍했다. 학생들은 초점을 "형성(shaping)"에서 "지도(guiding)"로 옮겼으며, 부모의 개입은 특정 한계 내에서만 허용된다는 점(예: "물어봤을 때만", "명확한 한계")을 강조했다. 자율성은 발달적 결과라기보다 존중받아야 할 기존의 권리나 소유물로 개념화되었다.

의의 및 주장
본 논문은 인지언어학적 분석이 표면적인 문체 분석을 넘어 AI 보조 글쓰기에 내재된 개념적 가정을 효과적으로 드러낼 수 있다고 주장한다. 주요 기여는 학생의 수정이 단순한 언어적 세련화가 아니라 개념적 협상임을 입증한 데 있다.

• 문화적 및 개념적 주체성: 연구 결과는 학생들이 AI의 개념적 프레이밍을 수동적으로 수용하지 않는다는 것을 시사한다. 대신, 학생들은 부모의 권위를 "형성적 형성"(조각하기/가꾸기)에서 "조건적 지도" 및 "자문 자원"으로 능동적으로 재프레이밍한다. 이는 AI 학습 데이터에 내재되어 있을 수 있는 문화적, 개념적 편향에 저항하거나 이를 수정할 수 있는 능력을 보여준다.
• 교육적 시사점: 본 연구는 AI 보조 글쓰기 교육이 수정을 개념적 활동으로 다루어야 한다고 제언한다. 교수자는 AI 초안과 학생 수정본 사이의 대비를 활용하여 비판적 AI 리터러시를 함양하고, 학생들이 자신의 은유적 선택을 식별, 평가 및 정당화하도록 독려할 수 있다.
• 한계: 저자들은 본 연구의 결과가 특정 코퍼스(고득점 학생, 특정 기관, 단일 프롬프트, 단일 모델)에 국한되며, 가족의 권위와 개인의 자유 사이의 일반적인 문화적 대립을 확립하는 것은 아니라고 겸허히 명시한다. 본 연구는 학생의 의도나 깊은 내면의 문화적 신념보다는 텍스트의 변화를 분석한다.

결론적으로, 본 연구는 AI가 일관성 있고 은유가 풍부한 논증을 생성할 수 있지만, 학생의 수정은 이러한 논증을 단순화하고, 현지화하며, 조건을 부여함으로써, 개념적 무게 중심을 부모의 형성적 권력에서 아동 중심의 소유권 및 경계 설정으로 이동시킨다는 점을 보여준다.