📄 social_science

Compassionate Feedback in AI-Assisted Assessment: A Comparative Analysis of Novice and Experienced Teachers' Feedback Patterns within the Integrated AI Triad (IAT) Framework

본 연구는 초보 교사와 경력 교사가 공감 어린 피드백을 생성하기 위해 통합 AI 삼원체(IAT) 프레임워크를 사용하는 방식을 비교하며, 경력 교사가 더 구체적이고 인지적으로 비계화된 응답을 제공하는 반면 교사의 경력만으로는 품질을 보장할 수 없으며, 압축된 3회기 전문성 개발 워크숍이 비용을 절감하면서도 피드백 결과를 효과적으로 최적화할 수 있음을 밝히고 있다.

원저자: Hossein Talebzadeh

게시일 2026-08-11

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Hossein Talebzadeh

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

교실을 거대한, 북적이는 주방이라고 상상해 보세요. 여기서 교사는 헤드 셰프(주방장)이고 학생들은 견습 요리사입니다. 수십 년 동안 셰프의 가장 중요한 업무는 음식을 맛보고, 실수를 찾아내고, 견습생이 더 나아질 수 있도록 부드럽게 조언을 건네는 것이었습니다. 이것을 "피드백"이라고 부릅니다. 그런데 최근, 아주 똑똑한 로봇 수셰프(부주방장)가 고용되었습니다. 이 로봇은 1초에 수천 개의 요리를 맛보고 즉시 노트를 작성할 수 있습니다. 큰 질문은 로봇이 노트를 쓸 수 있느냐가 아닙니다. 그 노트에 '심장(마음)'이 있느냐는 것입니다. 기계가 소금을 어디에 빠뜨렸는지 정확히 짚어내면서도, 동시에 따뜻한 포옹처럼 느껴지는 "공감 어린 피드백"을 제공할 수 있을까요? 이것이 바로 연구자들이 교육 과학 분야에서 다루고 있는 퍼즐이며, 특히 교사와 인공지능(AI)이 어떻게 협력하여 어려움을 겪는 학생들을 도울 수 있는지에 주목하고 있습니다.

여러분이 읽게 될 이 연구는 바로 이 혼합된 요소들을 깊이 파고듭니다. 이 연구는 "통합 AI 삼각 구도(Integrated AI Triad, IAT)"라는 새로운 개념을 살펴봅니다. 이는 기본적으로 교사, 학교 지도자, 그리고 가족들이 인간적인 손길을 잃지 않으면서 AI를 어떻게 사용할 수 있는지에 대한 정교한 지도와 같습니다. 연구자들은 알고 싶었습니다. 로봇이 교사를 더 나은, 더 친절한 가이드로 만들어주는가, 아니면 단순히 교사를 덜 몰입하게 만드는가? 그리고 교사가 갓 들어온 신입인지, 아니면 수년간의 경험을 가진 베테랑인지가 중요한가?

위대한 교사 대 로봇의 맛 테스트

이 연구에서 연구자 호세인 탈레브자데(Hossein Talebzadeh)는 57명의 교사를 대상으로 요리 수업을 설정했습니다. 절반은 "초보자"(경력 0~3년)였고, 나머지 절반은 "전문가"(경력 7년 이상)였습니다. 그들에게는 까다로운 과제가 주어졌습니다. 질문에 대해 형편없는 답변을 쓴 학생을 상상하는 것이었습니다. 교사들은 친절하면서도 도움이 되는 답변을 쓰기 위해 네 가지 서로 다른 AI 로봇(ChatGPT, Copilot, DeepSeek, 또는 Perplexity) 중 하나를 사용해야 했습니다.

목표는 "공감 어린 피드백"을 만드는 것이었습니다. 이것을 두 부분으로 구성된 레시피라고 생각해보세요:

따뜻한 포옹: 학생의 노력을 인정하고 그들이 안전하다고 느끼게 하는 것.
날카로운 칼: 실수를 바로잡기 위한 구체적이고 정밀한 지침을 주는 것.

그 후 연구자들은 이 57개의 피드백 노트를 맛보고(분석하고) 누가 최고의 식사를 차려냈는지 확인했습니다.

테이스터(시식가)들이 발견한 것

이 이야기의 맛있는 부분은 다음과 같습니다: 경험은 중요하지만, 여러분이 생각하는 방식과는 다릅니다.

베테랑 교사들은 훨씬 더 구체적인 피드백을 제공했습니다. 그들은 단순히 "잘했어, 다시 해봐!"라고 말하지 않았습니다. 대신, "양변에 5를 더했지만, 3으로 나누는 것을 잊었구나"와 같이 학생이 어느 단계에서 틀렸는지를 정확히 짚어주었습니다. 그들의 피드백은 마치 턴 바이 턴(turn-by-turn) 길 안내를 해주는 GPS와 같았습니다. 1점에서 5점 척도에서 전문가들은 구체성 점수 4.0을 기록한 반면, 초보자들은 2.8에 그쳤습니다.

하지만 초보자들에게는 비밀 무기가 있었습니다: 그들은 약간 더 따뜻했습니다. 그들은 베테랑들보다 "정말 잘하고 있어요!"와 같은 일반적인 포옹을 더 자주 건넸습니다. 그들의 공감 점수는 4.0이었고, 베테랑은 3.7이었습니다. 하지만 여기에는 함정이 있었습니다. 베테랑들의 포옹은 '작업'에 단단히 고정되어 있었습니다. 그들은 "화학 물질을 정확하게 식별했군요, 아주 좋은 시작입니다!"라고 말했습니다. 반면 초보자들의 포옹은 실제 실수와는 동떨어진 채 허공을 떠다니는 경우가 많았습니다.

연구 결과, 가장 훌륭한 피드백—즉, 매우 구체적이면서도 매우 친절한 피드백—은 초보자(15%)보다 숙련된 교사들(32%) 사이에서 훨씬 더 흔하게 나타났습니다.

로봇 수셰프들: 모든 봇이 다 똑같은 것은 아니다

연구는 또한 네 가지 서로 다른 AI 로봇이 자신만의 "성격"을 가지고 있는지 테스트했습니다.

DeepSeek는 가장 호기심 많은 로봇으로 나타났습니다. 이 로봇은 더 많은 "소크라테스식" 질문을 던졌는데, 이는 스스로 답을 찾아낼 수 있도록 유도하는 일련의 수수께끼와 같습니다. 이 로봇은 학생들이 스스로 생각하도록 돕는 데 가장 뛰어났습니다.
ChatGPT와 Copilot은 더 직접적이었습니다. 종종 정답을 바로 알려주거나 단순한 질문을 던졌습니다.
Perplexity는 사실을 찾는 데는 유능했지만, 교수법 스타일에는 덜 집중했습니다.

하지만 반전이 있었습니다! 로봇은 교사가 사용하는 법을 알 때만 제대로 작동했습니다. 숙련된 교사들이 DeepSeek를 사용할 때는 마법 같았습니다. 하지만 초보자들이 사용할 때, 질문들이 때때로 너무 고차원적이고 혼란스러워서 학생들이 길을 잃게 만들었습니다. 이는 운전법을 배우지 못한 운전자에게 레이싱 카를 주는 것과 같습니다. 차는 빠르지만, 운전자는 사고를 낼 수 있습니다. 이 연구는 도구가 주인공이 아니라, 그 도구를 이끄는 교사의 기술이 차이를 만든다는 점을 시사합니다。

"3회 세션"의 비밀

가장 실용적인 발견 중 하나는 시간이 흐름에 따라 나타났습니다.

세션 1~3: 교사들은 피드백을 주는 능력이 눈에 띄게 향상되었습니다. 그들은 "따뜻한 포고"와 "날카로운 칼"을 어떻게 섞어야 하는지 배웠습니다.
세션 4: 향상 속도가 멈췄습니다. 즉, 정체기(plateau)에 도달했습니다.

이는 학교가 굳이 길고 비싼 4일짜리 워크숍을 운영할 필요가 없을 수도 있음을 시사합니다. 짧고 강렬한 3일간의 워크숍이 동일한 결과를 얻을 수 있으며, 비용을 약 25% 절감할 수 있습니다. 이는 체력을 기르기 위해 꼭 마라톤을 뛸 필요는 없으며, 때로는 몇 번의 강렬한 스프린트만으로도 충분하다는 것을 깨닫는 것과 같습니다.

예외 상황: 초보자가 승리하고 베테랑이 패배할 때

연구자들은 평균치만 본 것이 아니라, 특이한 사례들도 살펴보았습니다.

슈퍼 초보자들: 신입 교사 중 19%는 실제로 평균적인 베테랑보다 뛰어난 성과를 보였습니다. 그들의 공통점은 무엇이었을까요? 그들은 이전에 튜터링(개별 지도) 경험이 있었고, 가장 똑똑한 로봇인 DeepSeek를 사용했으며, 로봇에게 매우 상세한 질문을 던질 줄 알았습니다.
정체된 베테랑들: 경험 많은 교사 중 16%는 놀라울 정도로 일반적이고 지루한 피드백을 주었습니다. 이유는 무엇이었을까요? 그들은 지쳐 있었거나, 컴퓨터 활용 능력이 부족했거나, 혹은 기존의 습관에 갇혀 있었습니다.

이는 단순히 경력이 많다고 해서 AI를 잘 사용할 수 있다는 보장이 없음을 증명합니다. 당신은 새로운 도구를 배울 의지가 있어야 합니다.

결론

이 연구는 AI가 강력한 도구이지만, 교사의 두뇌나 마음을 대체할 수는 없다는 점을 시사합니다. 최고의 피드백은 숙련된 교사가 AI를 사용하여 정확한 실수를 찾아낸 다음, 그 교정 사항을 진심 어린 구체적인 격려로 감싸 안을 때 나옵니다.

연구자들은 AI가 단어를 생성할 수는 있지만, 그 단어를 학생의 성장을 실제로 돕는 하나의 '레슨'으로 바꾸는 데는 "교육적 추론(pedagogical reasoning, 교사처럼 생각하는 능력)"을 가진 인간이 필요하다는 것을 발견했습니다. 미래의 교육은 로봇이 인간을 대신하는 것이 아니라, 교사가 "이중 언어 사용자"가 되는 것입니다. 즉, 인간적인 친절함과 기계적 지능 모두에 능숙해지는 것입니다. 그리고 다행히도, 적절한 훈련(아마도 단 3번의 세션만으로도!)을 받는다면, 신입 교사들도 따뜻함과 지혜가 완벽하게 어우러진 최고의 요리를 내놓는 법을 배울 수 있습니다.

기술 요약: AI 보조 평가에서의 공감적 피드백

1. 문제 제기

생성형 AI의 교육적 평가 통합은 기술적 역량에 초점을 맞추는 방향으로 이동하며, "공감적 가르침(compassionate teaching)"을 지원하는 데 필요한 교육학적 의도성을 간과하는 경향이 있다. AI 도구는 피드백 생성을 자동화할 수 있지만, 종종 언어적으로는 격려하는 듯하나 진단적으로는 얕은 반응을 생성하여, 정서적 조율과 정밀한 인지적 비계 설정(cognitive scaffolding)을 통합하는 데 실패한다.

교사의 전문적 경험이 AI 매개 맥락 내에서 이러한 공감적 피드백을 생성하는 방식에 어떤 영향을 미치는지에 대한 이해에는 결정적인 격차가 존재한다. 특히, 더욱 정교한 교수 내용 지식(PCK)과 교육학적 추론 능력을 갖춘 숙련된 교사가 학생의 노력을 인정하면서도 자기 발견을 유도하는 피드백을 만들기 위해 AI의 출력을 더 잘 비판하고, 조정하며, 통합할 수 있는지 여부는 여전히 불분명하다. 본 연구는 교사 경험, AI 도구 선택, 그리고 통합 AI 삼각관계(Integrated AI Triad, IAT) 프레임워크 내에서의 공감적 피드백의 조작적 정의 사이의 교차점을 다룬다.

2. 연구 방법론

본 연구는 비판적 성찰적 프레임워크를 활용하여 설계 기반 연구(Design-Based Research, DBR) 지향 내에서 비교 질적 내용 분석 설계를 채택하였다.

참가자: 57명의 교사가 16회차 전문성 개발 워크숍에 참여하였으며, 두 집단으로 나뉘었다: 초임 교사(경력 0~3년, n=26)와 숙련된 교사(경력 7년 이상, n=31).
데이터 생성: 교사들은 노력의 인정, 개선 영역 식별, 사고 유도, 그리고 격려 섞인 마무리라는 명시적 요구사항이 포함된 IAT 프레임워크의 "템플릿 5"를 사용하여 취약한 학생 응답에 대한 피드백을 생성하였다.
AI 도구: 참가자들은 선호도 및 접근성에 따라 네 가지 생성형 AI 도구(ChatGPT, Microsoft Copilot, DeepSeek, Perplexity)를 활용하였다.
분석 절차:
- 코딩: 두 명의 독립적인 연구자가 57개의 피드백 항목을 코딩하였다(연구자 간 신뢰도 $\kappa$ = 0.82). 코딩은 구조적 패턴(길이, 질문 유형), 언어적 톤(공감, 구체성, 인지적 요구도에 대한 5점 리커트 척도), 그리고 IAT 정렬(인지적 파트너십, 교육적 매개)에 초점을 맞추었다.
- 통계 분석: 비정규 분포 데이터로 인한 비모수 검정을 사용하였다(Shapiro-Wilk, p < .05). 분석에는 경험, 과목, 코호트에 따른 Mann-Whitney U 검정, 도구 효과에 따른 Kruskal-Wallis H 검정, 그리고 세션 진행에 따른 Friedman 검정 및 Wilcoxon 사후 비교가 포함되었다.
- 성찰적 분석: 지배적인 패턴을 조사하기 위해 대안적 가설 검정, 부정 사례 분석(예외적인 초임 교사 및 성과가 저조한 숙련 교사 조사), 그리고 중첩 분석을 포함하였다.

3. 주요 결과

3.1 경험에 따른 차이

구체성 및 비계 설정: 숙련된 교사는 초임 교사(M=2.8/5)보다 유의미하게 더 구체적인 피드백(M=4.0/5)을 생성하였으며, 더 강력한 인지적 비계 설정(M=3.8/5 vs. M=3.0/5)을 보여주었다. 이들의 피드백은 더 밀도 높은 콘텐츠 특정적 참조와 타겟팅된 질문을 포함하였다(초임 교사는 15%인 반면, 숙련 교사는 42%가 콘텐츠 특정적 개방형 질문을 사용함).
공감: 초임 교사는 상대적으로 더 높은 공감 점수를 보였으나(M=4.0/5 vs. M=3.7/5), 이 공감은 종종 일반적이며 콘텐츠의 어려움과 분리되어 있었다. 숙련된 교사들은 "균형 잡힌 접근 방식"(높은 공감 + 높은 구체성)을 더 자주 달성하였으며(32% vs. 15%), 이를 통해 정서적 유효성과 진단적 안내를 통합하였다.
인지적 파트너십: 숙련된 교사들은 전략적 질문을 통해 학생을 자기 발견으로 유도하는 경향이 강했던 반면, 초임 교사들은 직접적인 교정이나 일반적인 격려를 제공하는 경우가 더 많았다.

3.2 도구 매개 효과

DeepSeek: ChatGPT 및 Copilot에 비해 유의미하게 더 소크라테스식의 층위가 있는 질문을 생성하였다. 그러나 그 효용성은 경험에 의해 조절되었다. 숙련된 교사들에게는 탁월한 피드백을 생성했으나, 초임 교사들에게는 때때로 "당혹스러울 정도로 고차원적인" 출력을 제공하기도 했다.
도구 선호도: 숙련된 교사들은 Copilot(52%)을 선호한 반면, 초임 교사들은 선택을 더 고르게 분산시켰다.
매개: 숙련된 교사들은 AI 출력물을 해석하고 조정(편집, 개인화)하는 "해석적 관계(hermeneutic relations)"를 보여주었다. 반면 초임 교사들은 비판적 평가 없이 AI 출력을 수용하는 "타자 관계(alterity relations)"를 주로 보였다.

3.3 과목 및 세션 진행

과목 영역: STEM 피드백은 더 지시적이고 절차적이었던 반면, 인문학 피드백은 더 해석적이고 개방적이었다. 이러한 인식론적 차이는 경험 수준 전반에 걸쳐 지속되었다.
워크숍 진행: 모든 지표(공감, 구체성, 인지적 요구도, IAT 정렬)에서 세션 1에서 세션 3으로 갈수록 피드백 품질이 유의미하게 향상되었다. 그러나 세션 3과 세션 4 사이에서 정체기가 관찰되었는데, 이는 추가 세션에 따른 한계 효용이 감소함을 시사한다.

3.4 부정 사례 및 예외

예외적인 초임 교사: 초임 교사 항목의 19%가 숙련된 교사의 평균을 상회하는 성과를 보였다. 이 사례들은 이전의 튜터링/커리큘럼 경험, DeepSeek 사용, 그리고 상세한 프롬프팅에 의해 특징지어졌다.
성과 저조 숙련 전문가: 숙련된 교사 항목의 16%가 초임 교사의 평균보다 낮은 성과를 보였으며, 이는 주로 세션 피로도, 제한된 디지털 리터러시, 또는 정형화된 사고 때문이었다.
AI 오류: 5%의 항목에서 목표를 벗어난 AI 응답이 포함되었다. 주목할 점은, 이러한 오류를 경험한 세 명의 교사 모두가 이를 인지하고 수정했다는 것이며, 이는 적절한 교육적 감독을 입증한다.

4. 주요 기여

공감적 피드백의 조작적 정의: 본 연구는 공감적 피드백을 단순한 표면적 AI 생성 온기가 아닌, 정서적 조율과 정밀한 인지적 비계 설정을 통합하는 측정 가능한 이중 구성 개념의 실천으로 경험적으로 정의한다.
IAT 프레임워크의 확장: 본 연구는 교사의 경험이 "이중 언어 전문가(인간 교육법과 AI 모두에 능숙한 역할)"로서의 역할을 어떻게 형성하는지 보여줌으로써 IAT 프레임워크를 확장한다. 연구 결과, 숙련된 교사는 해석적 관계(비판적 번역)를 통해 AI 매개를 탐색하는 반면, 초임 교사는 타자 관계(무비판적 수용)를 기본값으로 설정한다는 증거를 제공한다.
도구-경험 상호작용: 본 연구는 고유한 "도구 흔적(toolprints)"(예: DeepSeek의 소크라테스적 역량)을 식별하고, 도구의 기능이 교육적 의도와 교사의 전문성 사이의 원칙 있는 조율 없이는 교육적 가치를 보장하지 못함을 입증한다.
전문성 개발의 효율성: 세션 3 이후의 성과 정체를 확인함으로써, 압축된 3회차 워크숍이 더 긴 프로그램과 유사한 결과를 달 수 있음을 시사하며, 이는 구현 비용을 약 25% 절감할 수 있음을 의미한다.

5. 의의 및 주장

본 논문은 교사의 경험이 단순히 피드백의 양뿐만 아니라, 정서적 차원과 인지적 차원의 통합 측면에서 AI 보조 피드백의 품질을 결정하는 핵심 결정 요인이라고 주장한다. AI 도구가 피드백 생성을 자동화할 수는 있지만, 특정 학생의 오류를 진단하고 콘텐츠에 기반한 공감을 제공하는 데 필요한 인간의 판단을 대체할 수는 없다고 주장한다.

본 연구는 "이중 언어 전문가(AI-LDP)"에게는 AI 출력을 비판적으로 평가하고 조정할 수 있는 특정 역량(AI-내용 지식 및 AI-교수 지식)이 필요하다고 상정한다. 연구 결과는 다음과 같은 전문성 개발에 집중해야 함을 시사한다:

콘텐츠 기반의 공감(일반적인 칭찬을 넘어섬) 개발.
프롬프트 리터러시 및 도구 식별 능력 강화.
초기 학습 곡선을 활용하면서 불필요한 연장을 피하는 효율적인 훈련 구조 설계.

저자는 AI가 인간의 판단을 대체하기보다 증강해야 한다고 결론짓는다. 가장 효과적인 피드백은 AI의 역량과 교사의 전문성이 결 synthesis(합성)될 때 나타나며, 이 합성은 교육적 추론과 윤리적 감독을 유지할 수 있는 능력을 요구한다. 본 연구는 표본 크기(N=57), 과학 주제의 과잉 대표성(~60%), 단일 국가 맥락(이란) 등의 한계를 인정하며, 광범한 교차 문화적 및 종단적 연구 없이 일반화하는 것에 주의를 요한다.