Dialogue Act Patterns in GenAI-Mediated L2 Oral Practice: A Sequential Analysis of Learner-Chatbot Interactions

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 생성형 AI(GenAI) 음성 챗봇은 시간과 공간의 제약 없이 제 2 언어 (L2) 구두 연습을 제공할 수 있는 확장 가능한 도구가 되었습니다. 기존 연구들은 GenAI 챗봇이 유창성, 복잡성, 발음 등 구두 능력 향상에 긍정적인 효과가 있음을 입증했습니다.
• 문제: 그러나 이러한 학습 성과 (outcome) 를 이끄는 **상호작용 과정 (interactional processes)**과 그 메커니즘은 아직 충분히 탐구되지 않았습니다. 단순히 전후 (pre-post) 학습 성취도만 분석하는 것은 챗봇이 어떻게 학습을 매개하거나 방해하는지에 대한 심층적인 이해를 놓치게 합니다.
• 목표: 본 연구는 GenAI 매개 L2 구두 연습에서 **대화행동 (Dialogue Acts, DA)**의 분포와 **순차적 패턴 (sequential patterns)**이 학습 성취도 (고성취 vs. 저성취) 와 어떻게 연관되는지를 분석하여, 대화 중심의 관점 (dialogic lens) 으로 학습 메커니즘을 규명하고자 합니다.

2. 연구 방법론 (Methodology)

2.1 데이터 수집 및 참가자

• 참가자: 중국 내 국제학교 9 학년 재학생 12 명 (만 1415 세, 모국어 중국어, 영어 수준 CEFR A2B1).
• 절차: 10 주 동안 주 1 회, 35 분씩 총 70 회의 GenAI 음성 챗봇 구두 연습 세션 수행.
• 평가: TOEFL Practice Online (TPO) 독립 말하기 과제를 통해 사전/사후 구두 능력 평가.
  • 성취도 측정: 복잡성 (Complexity), 정확도 (Accuracy), 유창성 (Fluency) - CAF 프레임워크 기반.
  • 그룹 분류: 학습 전후 성취도 향상폭에 따라 고성취 (High-Progress, HP) 그룹 6 명 (35 세션) 과 저성취 (Low-Progress, LP) 그룹 6 명 (35 세션) 으로 분류.

2.2 대화행동 (DA) 코딩 체계

• 이론적 기반: 화행 이론 (Speech Act Theory) 과 의사소통 중심 언어 교수법 (CLT), 형태 중심 교수법 (FonF) 을 결합.
• 코딩 단위: 회화 턴 (turn) 단위.
• 주요 DA 범주:
  • 의미 중심 (Meaning-focused): 질문 (Q), 인사/종료 (G), 주제 전환 (T), 명확화 요청 (S), 동의/부정 (A/D), 오해 (M), 응답 (R).
  • 형식 중심 (Form-focused): 교정 피드백 (Corrective Feedback, CF)
    • Recast (Cr): 오류를 암시적으로 수정.
    • Prompting (Cp): 오류를 신호하고 자기 수정 유도.
    • Explicit Correction (Ce): 오류 명시 및 정답 제공.
• 신뢰도: 두 명의 전문가가 독립적으로 코딩 (Cohen's kappa 분석).

2.3 데이터 분석 기법

• RQ1 (DA 빈도 비교): 카이제곱 검정 (Chi-square test) 을 통해 HP 와 LP 그룹 간의 DA 빈도 차이 분석.
• RQ2 (순차적 패턴 분석):
  • CM-SPAM 알고리즘을 사용하여 빈번한 DA 시퀀스 마이닝 (최소 지원도 20%, 길이 2~4).
  • HP 와 LP 그룹 간의 지원도 (support) 차이 10 이상인 패턴 필터링.
  • Permutation test를 사용하여 그룹 간 패턴 빈도 차이 통계적 유의성 검증 (학습자 내 종속성 고려).

3. 주요 결과 (Results)

3.1 DA 빈도 및 학습 성취도 (RQ1)

• 전체적 분포: 챗봇 주도적 상호작용이 우세함 (챗봇의 질문 [t]Q 31.4%, 학습자 응답 [s]R 27.2%, 챗봇 동의 [t]A 19.0%).
• HP 그룹의 특징: 학습자가 **자발적으로 질문 ([s]Q)**을 하는 빈도가 LP 그룹보다 유의미하게 높음 (2.1% vs 1.0%, p=.013). 이는 학습자의 적극적 참여와 의미 협상 능력을 시사.
• LP 그룹의 특징: 학습자가 **명확화 요청 ([s]S)**을 하는 빈도가 HP 그룹보다 유의미하게 높음 (2.5% vs 1.3%, p=.004). 이는 챗봇의 입력을 이해하는 데 어려움을 겪고 있음을 나타냄.

3.2 순차적 DA 패턴 및 학습 성취도 (RQ2)

• 가장 두드러진 발견: HP 그룹 세션에서 **프롬프트 기반 교정 피드백 (Prompting CF, [t]Cp)**이 포함된 순차적 패턴이 LP 그룹보다 유의미하게 빈번하게 나타남.
• 주요 유의 패턴:
  • [t]Q → [s]R → [t]Cp (챗봇 질문 → 학습자 응답 → 프롬프트 피드백)
  • [t]Q → [s]R → [t]Cp → [t]Q (위 패턴에 후속 질문 추가)
  • 이 패턴들은 HP 그룹에서 통계적으로 유의미하게 더 많이 관찰됨 (p_adj = .041).
• 해석: 효과적인 학습은 단순히 교정 피드백의 유무가 아니라, 학습자 응답 ([s]R) 직후에 프롬프트 피드백 ([t]Cp) 이 배치되는 순차적 구조와 밀접하게 연관되어 있음. 반면, 재구성 (Recast) 이나 명시적 교정 (Explicit Correction) 은 그룹 간 유의미한 순차적 차이를 보이지 않음.

4. 주요 기여 (Key Contributions)

1. 이론적 기여: 언어 교수 이론 (CLT, FonF) 과 대화행동 분석을 통합하여, GenAI 매개 언어 학습 연구에 체계적인 DA 코딩 프레임워크를 제시.
2. 실증적 기여: 특정 DA 빈도 (학습자 질문, 명확화 요청) 와 순차적 패턴 (프롬프트 피드백 시퀀스) 이 구두 능력 향상과 연관된다는 탐색적 증거를 제시.
3. 설계적 통찰: GenAI 챗봇 설계 시 단순한 콘텐츠 제공을 넘어, 대화 흐름 (dialogic flow) 내에서의 피드백 타이밍과 유형이 학습 성취에 결정적임을 강조.

5. 의의 및 시사점 (Significance & Implications)

• 대화 중심 설계 (Dialogic Lens): 학습 성과는 챗봇이 무엇을 말하느냐보다 언제, 어떻게, 어떤 순서로 말하는지에 달려 있음을 보여줌.
• 적응형 챗봇 설계 방향:
  1. 학습자 주도성 증진: 학습자의 자발적 질문 ([s]Q) 을 유도하고 장려하는 대화 전략 필요.
  2. 이해도 모니터링: 명확화 요청 ([s]S) 이 빈번할 경우 챗봇이 즉시 문장을 재구성하거나 속도를 늦추는 등 스캐폴딩 (scaffolding) 제공.
  3. 피드백 타이밍 최적화: 학습자 응답 직후 프롬프트 (Prompting) 형태의 교정 피드백을 제공하는 것이 학습에 가장 효과적임. 명시적 교정보다는 학습자의 자기 수정을 유도하는 방식이 바람직.
• 향후 연구: 더 큰 규모의 학습자 코호트 확보 및 자동화된 DA 분류 기법 개발을 통한 연구 확장 필요.

결론적으로, 본 연구는 GenAI 기반 L2 구두 연습에서 학습 성취를 예측하고 향상시키기 위해서는 대화의 내용뿐만 아니라 **상호작용의 구조적 패턴 (순차적 흐름)**을 분석하고 이를 챗봇 설계에 반영해야 함을 강력히 시사합니다.