기술적 요약: 통합 계산 및 질적 혼합 방법 교육 연구를 위한 LLM 지원 감정 분석

문제 제기

서면 성찰 과제는 공학 교육에서 중요한 교육적 도구로, 학생들에게 비판적 자기 평가의 기회를 제공하고 연구자에게 풍부한 질적 데이터를 제공합니다. 그러나 이러한 질적 데이터 세트를 분석하는 것은 전통적으로 시간이 많이 소요되며, 특히 여러 인구통계학적 변수 (예: 성별, 소득, 이전 여행 경험) 간 결과를 비교할 때 더욱 그렇습니다. 일반적인 질적 분석은 노동 집약성으로 인해 종종 단일 변수에 대한 비교로 제한됩니다. 대규모 언어 모델 (LLM) 이 감정 분석 및 코딩을 위한 잠재적 연구 보조 도구로 부상했지만, 민감한 학생 데이터를 위한 엄격하고 종단적인 혼합 방법 워크플로우에 통합되는 것은 아직 충분히 탐구되지 않았습니다. 데이터 프라이버시나 분석적 엄밀성을 훼손하지 않으면서 LLM 이 어떻게 여러 정체성 변수에 걸친 감정 추세를 식별하는 데 인간 연구자를 효과적으로 보완할 수 있는지 규명할 필요가 있습니다.

방법론

본 연구는 동일한 질적 데이터 세트 (학생 성찰) 에 양적 및 질적 분석을 모두 적용하는 "준-수렴 병렬" 혼합 방법 설계를 채택했습니다. 연구는 일본에서 1 개월간 진행된 해외 연수 프로그램에 참여한 51 명의 공학 학부생을 대상으로 한 종단적 사례 연구를 활용했습니다.

데이터 수집:

• 데이터 세트: 프로그램 시작, 중간, 종료 시점의 세 시점에 수집된 151 개의 서면 성찰.
• 초점: 구어 언어 및 의사소통 행동을 다루는 응답만 추출.
• 변수: 7 가지 학생 정체성/삶의 경험 변수를 분석: 해외 거주 경험, 외국어 지식, 외국 출생 부모, 저소득층 지위, 대학 1 세대 진학, 미국 1 세대 지위, 아시아/아시아계 미국인 정체성.

분석 파이프라인 (6 단계):

1. 데이터 처리 및 친숙화: 인간 연구자가 모든 성찰을 읽고 분석 메모를 작성.
2. 수동 인용구 추출: 연구자가 구어 언어 및 의사소통과 관련된 인용구를 수동으로 분리.
3. 하이브리드 감정 라벨링:
   • 인간: 연구자가 초기 감정 라벨 (긍정, 부정, 중립) 을 할당.
   • LLM: 오픈 소스 LLM(MetaAI 의 Llama3, 80 억 파라미터) 을 프롬프트하여 동일한 인용구에 감정 라벨을 할당하도록 요청. 데이터 프라이버시 및 윤리 준수를 위해 참가자가 제 3 자 데이터 공유에 동의하지 않았으므로, Ollama 를 통해 로컬에서 모델을 실행.
   • 불일치 해결: 인간 연구자가 LLM 출력물을 검토. 불일치를 논의하고 초기 해석이 부정확하다고 판단될 경우 인간 라벨을 수정. LLM 은 재프롬프트되지 않음.
   • 신뢰도: 코헨의 카파 ($\kappa$) 를 사용하여 평가자 간 신뢰도를 측정.
4. 질적 분석: 주요 주제 (예: 이전 경험, 준비, 언어 역학, 지각된 결과) 를 식별하기 위해 인용구에 귀납적 주제 코딩 수행.
5. 양적 분석: 7 가지 정체성 변수에 걸친 감정 수를 비교하기 위해 통계적 검정 (정규성에 따라 학생 t-검정 또는 윌콕슨 순위합 검정) 수행. 효과 크기 (코헨의 $d$ 또는 글래스 순위 이분 상관) 계산.
6. 해석: 통계적으로 유의미한 양적 결과의 맥락에서 질적 발견을 해석.

주요 결과

1. LLM 성능 및 워크플로우 (RQ1):

• 효율성: LLM 은 인간 연구자보다 인용구를 처리하는 속도가 현저히 빨랐음 (인간 라벨링 시간당 약 2~3 개 인용구).
• 신뢰도: 인간 코더와 Llama3 간의 평가자 간 신뢰도는 모든 시점에서 "상당함" 수준이었음 (성찰 1: $\kappa = 0.52$, 성찰 3: $\kappa = 0.64$, 성찰 4: $\kappa = 0.67$).
• 협력적 가치: 인간과 LLM 라벨 간의 불일치는 무작위가 아님. LLM 은 인간 코더가 중립적/기술적이라고 본 진술에 종종 정서적 라벨 (긍정/부정) 을 할당. 이러한 차이는 더 깊은 반성적 논의와 코딩 기준의 정제를 촉발하여 해석적 참여를 심화시키는 "두 번째 코더" 역할을 함.
• 한계: 워크플로우에는 상당한 초기 기술 설정 (파이썬 스크립팅) 및 반복적 프롬프트 엔지니어링이 필요. LLM 은 때때로 불필요한 텍스트를 생성하거나 프롬프트 지시를 잘못 라벨링하여 인간 후처리가 필요함.

2. 사례 연구 결과 (RQ2):

• 유의미한 변수: 테스트된 7 가지 정체성 변수 중 해외 거주 경험만이 모든 시점에서 감정 표현에 통계적으로 유의미한 차이를 보인 유일한 요인이었음.
• 종단적 추세:
  • 해외 거주 경험이 있는 학생 (LA): 성찰 1 (시작) 에서 해외 거주 경험이 없는 학생들에 비해 의사소통에 대해 더 부정적인 감정을 표현. 일본 맥락에서 기존 언어 기술을 활용하는 데 어려움을 겪고 잠재적 오해에 대해 불안감을 느낌. 성찰 4 에는 감정이 상대적으로 안정적이었으나 의사소통 보조 수단을 "마지막 수단"으로 보는 방향으로 전환됨.
  • 해외 거주 경험이 없는 학생 (Not-LA): 프로그램 중간 (성찰 3) 에 LA 학생들에 비해 더 부정적인 감정을 표현. 언어 장벽을 극복하는 것의 용이성에 대한 기대 불일치와 준비 노력에 대한 좌절감이 원인. 그러나 성찰 4 에는 이 집단이 긍정적 감정으로 크게 전환하여 자신감을 높이고 의사소통 도전을 가치 있는 학습 기회로 재정의함.

의의 및 주장

본 논문은 이 워크플로우가 질적 연구자가 전통적 분석의 시간 제약으로 인해 종종 제한되었던 여러 인구통계학적 변수를 동시에 탐구할 수 있는 실현 가능한 방법을 제공한다고 주장합니다.

• 방법론적 기여: 본 연구는 LLM 이 "인간-루프" 방식으로 사용될 경우, 특히 감정 라벨링을 위해 질적 연구에서 효과적인 협력 파트너가 될 수 있음을 보여줌. 오픈 소스 로컬 실행 모델의 사용은 데이터 프라이버시 및 참가자 동의와 관련된 중요한 윤리적 문제를 해결함.
• 교육적 통찰: 연구 결과는 해외 거주 경험이 학생들의 해외 연수 중 의사소통 장벽을 인식하고 극복하는 방식을 크게 형성함을 강조. 이러한 경험이 없는 학생들은 좌절에서 성장으로 이어지는 독특한 정서적 궤적을 겪는 반면, 경험이 있는 학생들은 기존 기술의 적용 가능성과 관련된 다른 도전에 직면함.
• 실용적 함의: 본 연구는 교육자 및 행정가가 이러한 통찰을 활용하여 출발 전 지원을 맞춤화할 수 있음을 시사함: 해외 경험이 있는 학생들에게는 문화 간 기술 이전성에 대한 성찰을 장려하고, 경험이 없는 학생들에게는 기대치를 관리하고 어휘뿐만 아니라 실용적 의사소통 전략에 집중하도록 지원.

저자들은 관찰된 효과 크기가 작음에서 중간 수준이었음을 인정하며, 이는 다른 맥락 (예: 더 긴 프로그램 또는 언어 몰입 특화 프로그램) 에 대한 일반화를 제한한다고 modest 한 입장을 견지함. 그들은 LLM 이 질적 분석을 대체하지는 않지만, 더 깊은 인간 해석을 안내하기 위해 추세 식별을 가속화할 수 있음을 강조함.