Can AI be a Teaching Partner? Evaluating ChatGPT, Gemini, and DeepSeek across Three Teaching Strategies

이 논문은 C 프로그래밍 초보자를 대상으로 ChatGPT, Gemini, DeepSeek 의 세 가지 대형 언어 모델이 예시·설명·유추 및 소크라틱 방법 등 세 가지 교수 전략 하에서 어떻게 작동하는지 비교 평가한 결과, ChatGPT 와 Gemini 가 DeepSeek 보다 전반적으로 더 우수한 교수 성과를 보였음을 밝혔습니다.

핵심

이 논문은 **"인공지능 (AI) 이 정말로 훌륭한 '선생님'이 될 수 있을까?"**라는 질문에 답하기 위해 쓴 연구 보고서입니다.

마치 **세 명의 새로운 '가상 교사' (ChatGPT, Gemini, DeepSeek)**를 데려와서, 초보자에게 C 프로그래밍을 가르치는 시험을 치른 것과 같습니다. 연구팀은 이 AI 들이 단순히 정답을 알려주는 '답안지'가 아니라, 학생이 스스로 생각하게 만드는 '진짜 교사'처럼 행동할 수 있는지 확인했습니다.

이 연구의 핵심 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 시험의 세 가지 방법 (수업 스타일)

연구팀은 이 세 명의 AI 교사에게 세 가지 다른 수업 방식을 시켰습니다.

• 방법 1: "예시 보여주기" (Examples)

  • 비유: 요리사에게 "파스타 만드는 법을 알려줘"라고 했을 때, 바로 완성된 파스타를 주는 게 아니라, **"이런 식으로 면을 삶고 소스를 섞으면 돼"**라고 비슷한 요리를 보여주고 학생이 따라 하게 하는 방식입니다.
  • 결과: 세 AI 모두 꽤 잘했습니다. 하지만 DeepSeek은 가끔 "완성된 파스타 (정답)"를 바로 내주는 실수를 했습니다. ChatGPT와 Gemini는 학생이 스스로 요리할 수 있도록 예시를 잘 보여줬습니다.

• 방법 2: "비유와 설명" (Explanations & Analogies)

  • 비유: 복잡한 개념을 설명할 때, **"배열 (Array) 은 옷장 서랍과 같아요. 각 서랍에 옷을 넣는 거죠"**처럼 친숙한 사물에 비유해서 설명하는 방식입니다.
  • 결과: ChatGPT가 가장 명쾌하고 이해하기 쉬운 비유를 사용했습니다. DeepSeek은 설명이 조금 어렵거나 학생 수준에 맞지 않는 경우가 많았습니다.

• 방법 3: "소크라테스식 질문" (Socratic Method)

  • 비유: 학생이 "왜 이렇게 해?"라고 물으면, AI 가 바로 답을 말해주지 않고 **"그럼 너는 어떻게 생각해?", "만약에 반대로 하면 어떻게 될까?"**라고 계속 질문을 던져 학생 스스로 답을 찾게 만드는 방식입니다. (가장 어려운 수업 방식)
  • 결과: ChatGPT와 Gemini는 질문을 잘 이어가며 학생을 이끌었습니다. 반면 DeepSeek은 질문을 던지는 대신, 가끔은 답을 먼저 알려주거나 질문의 흐름이 끊기는 모습을 보였습니다.

---

2. 심사위원들의 평가 (누가 가장 잘했을까?)

6 명의 전문가 심사위원 (교사들) 이 이 세 AI 를 평가했습니다.

• 🏆 1 위 & 2 위: ChatGPT 와 Gemini

  • 이 두 AI 는 "훌륭한 조교" 수준이었습니다.
  • 학생이 모르는 것을 물어보면 바로 답을 주지 않고, 예시를 보여주거나 비유를 들거나, 질문을 던져서 스스로 생각하게 만들었습니다.
  • 특히 ChatGPT는 설명이 가장 명확했고, Gemini는 예시와 비유의 연결이 잘 되어 있었습니다.

• 🥉 3 위: DeepSeek

  • 이 AI 는 "열심히 하지만 아직 미숙한 조교" 수준이었습니다.
  • 지식은 많았지만, 학생의 수준을 잘 파악하지 못했습니다. 때로는 너무 어려운 설명을 하거나, 아예 정답을 바로 알려주는 등 '가르치는 기술'이 부족했습니다.
  • 특히 "소크라테스식 질문" 방식에서는 다른 두 AI 에 비해 많이 뒤처졌습니다.

---

3. 연구의 핵심 교훈 (무엇을 배웠을까?)

1. 정답을 아는 것과 가르치는 것은 다릅니다.
   AI 가 문제를 다 풀 수는 있어도, 그것을 학생이 이해하도록 **가르치는 것 (Pedagogy)**은 별개의 기술입니다. 이 연구는 AI 들이 '지식'은 많지만, '가르치는 기술'은 아직 완벽하지 않음을 보여줍니다.

2. 지시명령 (프롬프트) 이 중요합니다.
   AI 가 어떻게 행동할지는 우리가 내리는 지시 (예: "너는 학생을 가르치는 선생님 역할을 해") 에 따라 달라집니다. 잘 설계된 지시명령을 주면 AI 는 훨씬 훌륭한 교사가 될 수 있습니다.

3. 모든 AI 가 똑같지 않습니다.
   같은 'AI'라고 해도 모델마다 성격과 실력이 다릅니다. 교육용으로 쓸 때는 어떤 AI 가 어떤 수업 방식에 더 적합한지 신중하게 골라야 합니다.

---

4. 결론: AI 는 교사를 대체할까?

이 연구는 **"아직은 아닙니다"**라고 말합니다.

AI 는 훌륭한 **보조 도구 (조교)**가 될 수 있습니다. 반복적인 설명을 하거나, 학생이 모르는 개념을 비유로 설명해 주는 데는 탁월합니다. 하지만 학생의 감정을 읽거나, 복잡한 상황을 유연하게 대처하는 진짜 교사의 역할을 완전히 대체하기에는 아직 부족합니다.

한 줄 요약:

"AI 는 똑똑한 '비서'나 '조교'는 될 수 있지만, 아직은 학생의 마음을 읽고 스스로 생각하게 만드는 '명강사'가 되기 위해 더 많은 훈련 (연구) 이 필요합니다."

이 연구는 앞으로 교육 현장에서 AI 를 어떻게 더 잘 활용하고, 어떤 AI 를 선택해야 할지에 대한 나침반을 제시해 줍니다.

기술 요약

논문 요약: AI 는 교수의 파트너가 될 수 있는가? (ChatGPT, Gemini, DeepSeek 의 3 가지 교수 전략 평가)

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 대규모 언어 모델 (LLM) 이 교육 분야에서 적응형 학습, 개인화된 피드백, 튜터링 시뮬레이션 등으로 빠르게 도입되고 있습니다.
• 문제: LLM 의 일반적인 성능 (정확도, 지식 범위) 을 평가하는 벤치마크는 많지만, 실제 학생과의 상호작용 과정에서 교수학적 전략 (Pedagogical Strategies) 을 얼마나 효과적으로 적용하는지에 대한 경험적 증거는 부족합니다.
• 핵심 질문: LLM 이 단순히 정답을 제공하는 것을 넘어, 구체적인 교수법 (예시, 설명/유추, 소크라테스식 질문법) 을 사용하여 학생의 학습을 실제로 촉진할 수 있는가?

2. 연구 방법론 (Methodology)

• 평가 대상 모델: ChatGPT (4.1-mini), Gemini (2.5 flash), DeepSeek (V3). 모두 무료 웹 인터페이스 버전 사용.
• 평가 컨텍스트: 초보자를 위한 C 프로그래밍 언어 교육. (연산자, 조건문, 루프, 배열, 함수 등 기초 주제 25 개 문제 선정).
• 평가자: 프로그래밍 지식이 있는 6 명의 인간 심사자 (Human Judges).
• 평가 프로토콜:
  • 3 가지 교수 전략:
    1. Examples (예시): 개념 이해를 돕기 위해 코드 예시를 제공하되, 즉각적인 해답은 금지.
    2. Explanations and Analogies (설명 및 유추): 개념을 설명하고 친숙한 비유 (예: 서랍장 vs 배열) 를 사용하여 이해를 돕는 전략.
    3. Socratic Method (소크라테스식 방법): 직접적인 답변 대신 질문을 통해 학생의 사고를 유도하고, 오답 시 반례 (Counterexample) 를 제시하는 대화형 전략.
  • 프롬프트 엔지니어링: 각 전략에 맞춰 LLM 을 "낙관적이고 격려하는 AI 튜터"로 역할 부여 (Role Prompting). 즉각적인 해답 제공 금지 등 구체적인 규칙 적용.
  • 상호작용 방식: 심사자가 초보 학생 역할을 수행하며 5~10 회 이상의 다중 턴 (Multi-turn) 상호작용을 진행.
  • 평가 기준: 각 전략별로 0~5 점 척도로 평가 (예: 관련성, 정확성, 세부 사항, 다양성, 추상 - 구체 연결, 비판적 사고 촉진 등).
• 통계 분석: 정규성 검정 (Shapiro-Wilk) 결과 정규 분포를 따르지 않아 비모수 통계 방법 (Kruskal-Wallis 검정, Dunn's post hoc test, Chi-square test) 사용.

3. 주요 결과 (Key Results)

A. 전반적 성능 비교

• ChatGPT 와 Gemini: 대부분의 전략에서 높은 점수와 일관된 교수학적 행동을 보임.
• DeepSeek: 세 모델 중 전반적으로 낮은 점수를 기록하며, 교수적 수행에서 한계를 보임.

B. 전략별 세부 결과

1. Examples (예시) 전략:

   • 세 모델 모두 '정확성'과 '세부 사항'에서 유사한 높은 점수.
   • 차이점: '다양성 (Variety)'과 '추상 - 구체 연결'에서 모델 간 차이가 있었으나 통계적으로 유의미한 차이는 제한적.
   • 부정적 행동: DeepSeek이 즉각적인 해답 (Complete code) 을 제공하는 비율이 가장 높았음 (약 70%). 반면 Gemini 는 92% 의 경우 해답을 제공하지 않음.
   • 행동 패턴: ChatGPT 와 Gemini 는 간결하고 직접적인 응답을 보인 반면, DeepSeek 은 행동 시뮬레이션이나 긴 대화 흐름을 먼저 보여주는 경향이 있음.

2. Explanations and Analogies (설명 및 유추) 전략:

   • ChatGPT가 '명확성', '중요 부분 초점', '유용성'에서 가장 높은 점수.
   • DeepSeek은 '수준 적응 (Level adaptation)'과 '유용성'에서 상대적으로 낮은 점수를 받음.
   • 유추 (Analogy) 사용: 모든 모델이 설명 (Explanation) 은 잘 제공했으나, 유추를 사용하는 빈도는 설명보다 낮았음 (모델이 유추 전략 구현에 어려움을 겪을 수 있음).
   • 즉각적 해답: DeepSeek 이 다시 한번 가장 빈번하게 해답을 제공하여 바람직하지 않은 행동을 보임.

3. Socratic Method (소크라테스식 방법) 전략:

   • 가장 큰 성능 격차: 이 전략에서 모델 간 차이가 가장 뚜렷하게 나타남.
   • ChatGPT: 초기 질문, 반례 제시, 질문만 사용, 비판적 사고 촉진 등 모든 항목에서 가장 우수한 성능.
   • Gemini: ChatGPT 와 유사하게 잘 수행했으나, 때로는 너무 기초적인 개념 (변수 등) 에서 시작하여 목표 문제 (예: 배열) 로 도달하는 데 시간이 걸리는 경향 보임.
   • DeepSeek: '반례 제시', '질문만 사용', '비판적 사고 촉진'에서 현저히 낮은 점수. 종종 질문 대신 직접적인 설명이나 해답을 제공하여 소크라테스식 대화의 흐름을 깨뜨림.

4. 주요 기여 (Key Contributions)

1. 교수학적 접근 기반 평가 프로토콜 개발: 단순 정답 정확도가 아닌, '예시', '유추', '소크라테스식 질문'과 같은 구체적인 교수 전략을 평가하는 새로운 프레임워크 제시.
2. 실시간 인간 - AI 상호작용 평가: 기존 연구가 주로 정적 데이터셋이나 자동화된 시뮬레이션에 의존한 것과 달리, 인간 심사자가 실시간으로 다중 턴 상호작용을 평가하여 생태학적 타당성 (Ecological Validity) 확보.
3. 모델별 교수적 성향 비교: ChatGPT 와 Gemini 는 교수적 지시를 잘 따르는 반면, DeepSeek 은 지시 준수 및 교수적 유연성에서 차이가 있음을 실증적으로 입증.

5. 의의 및 시사점 (Significance)

• 교육적 함의: LLM 이 단순한 정보 검색 도구가 아니라, 적절한 프롬프트와 전략 하에 '교수 파트너'로서 기능할 수 있음을 시사. 특히 소크라테스식 방법과 같은 고차원적 사고를 유도하는 전략에서 모델의 성능 차이가 큼.
• 자원 부족 환경 대응: 교사가 부족한 환경이나 교육 격차가 큰 지역 (AIED Unplugged) 에서 LLM 이 보조 교사로 활용될 수 있는 가능성과 한계를 규명.
• 윤리적 고려: 고사양 클라우드 기반 모델의 접근성 문제 (디지털 격차) 를 지적하며, 향후 소형 언어 모델 (SLM) 을 활용한 로컬 배포와 편향성 해결의 필요성 강조.
• 향후 연구 방향: 다양한 모델 확장, 교차 평가자 신뢰도 분석, 실제 학생 대상 학습 효과 (Pre/Post-test) 검증, 소규모 언어 모델 (SLM) 로의 적용 연구 필요.

결론적으로, 이 연구는 LLM 이 교육적 맥락에서 "정답을 아는 것"을 넘어 "어떻게 가르칠 것인가 (How to teach)"에 있어 모델 간 상당한 차이가 있음을 보여주었으며, ChatGPT 와 Gemini 가 현재로서는 더 효과적인 교수적 에이전트임을 입증했습니다.