Investigating Learner-Aware Design of LLM-Generated Educational Feedback

기술 요약: LLM 생성 교육 피드백의 학습자 인지적 설계 조사

문제 정의

대규모 언어 모델(LLM)은 다양한 교육적 피드백을 대규모로 생성할 수 있는 가능성을 제공하지만, 다양한 학습자 프로필에 따라 답변 수정과 학습자 수용을 효과적으로 지원하기 위해 어조, 정보 범위, 교수적 구체성과 같은 특정 피드백 설계가 어떻게 구조화되어야 하는지는 여전히 불분명하다. 기존 연구는 주로 인간과 LLM 피드백 간의 거친 수준의 비교나 자동화된 평가에 의존해 왔으며, 특정 교수적 요소가 학습자의 행동과 인식에 어떻게 영향을 미치는지 체계적으로 조사하는 데 실패했다. 또한, 인간이 설계한 맥락에서는 개인차(예: 성격 특성)가 피드백의 효과성에 영향을 미치는 것으로 알려져 있으나, LLM 생성 피드백에서의 역할은 아직 충분히 탐구되지 않았다. 본 연구는 어떤 피드백 요소가 수정 성능을 개선하고, 어떤 요소가 우호적인 주관적 평가를 이끌어내며, 이러한 선호도가 학습자 성격 프로필에 따라 어떻게 달라지는지에 대한 이해의 공백을 다룬다.

방법론

본 연구는 피드백 정의, 경험적 실험, 분석의 3단계 워크플로를 채택하였다:

1. 피드백 설계 및 생성:
   저자들은 여러 선택형 생물학 문제에 대해 여섯 가지 뚜렷한 피드백 요소를 정의하였다. 기준이 되는 "Normal(일반)" 조건은 수동으로 설계되었으며, 나머지 다섯 가지 요소는 이전 연구(Borges et al., 2024)에서 파생되었다:

• Keywords (키워드): 설명 내에서 중요한 용어를 강조함.
• Actionability (실행 가능성): 구체적인 수정 단계와 체크리스트를 제공함.
• Novelty (참신성): 학습된 내용 이상의 심화된 관점을 도입함.
• Coverage (범위): 정답에 필요한 모든 논리적 요소를 기술함.
• Positivity (긍정성): 칭찬과 격려의 메시지를 포함함.
  모든 피드백은 일관성을 보장하기 위해 GPT-5(Singh et al., 2026)를 사용하여 사전에 생성되었으며, 학습자가 정답을 직접적으로 드러내지 않고 스스로 유도하도록 권장하는 간접 피드백 방식을 채택하였다.

2. 경험적 실험:
   일본의 고등학교 1학년 학생 321명을 대상으로 실험을 진행하였다. 참가자들은 Big Five 성격 특성(개방성, 성실성, 외향성, 우호성, 신경증)과 배경 지식을 평가하는 사전 설문지를 작성하였다. 그 후, 이들은 7개의 생물학 문제가 포함된 웹 기반 과제에 참여하였다. 각 문제에 대해 특정 피드백 요소가 무작위로 할당되었으며, 수정 과정 전반에 걸쳐 고정되었다. 참가자들은 답변을 반복적으로 수정하였으며, 신뢰도, 검토 가이드라인, 표현 품질, 이해 용이성, 핵심 포인트 명확성, 새로운 지식의 6가지 기준에 대해 3점 척도로 피드백을 평가하였다.

3. 분석:
   연구는 즉각적인 수정 성능(첫 번째 수정 시도의 정확도)과 주관적 평가를 분석하였다. 동일한 학습자로부터 발생하는 반복 관측을 처리하기 위해 일반화 추정 방정식(GEE)을 사용하였다. 또한, k-평균 군집화를 사용하여 학습자를 세 가지 성격 프로필(Social, Reserved, Adaptable)로 분류하고, 그룹 간 선호도가 어떻게 변하는지 조사하였다.

주요 결과

수정 성능 (RQ1)

피드백 요소는 즉각적인 수정 정확도에 유의미한 영향을 미쳤다. Normal 설계가 가장 높은 정확도(64.2%)를 기록했으며, Keywords(58.2%)와 Coverage(52.9%)가 그 뒤를 이었다. 반면, Actionability와 Positivity는 기준점(baseline)에 비해 유의미하게 낮은 수정 정확도를 보였다. 이는 과업 관련 지점에 주의를 명확히 유도하고 포괄적인 안내를 제공하는 피드백이 즉각적인 교정에 가장 효과적인 반면, 지나치게 구체적인 실행 단계나 순수하게 정서적인 지원은 주의를 분산시키거나 수정 과정을 효과적으로 가이드하지 못할 수 있음을 시사한다.

주관적 평가 (RQ2)

학습자들은 일반적으로 실용적이고 적용하기 쉬운 피드백을 선호하였다. Normal, Keywords, Actionability는 대부분의 기준에서 가장 높은 주관적 점수를 받았다. Positivity는 6가지 모든 평가 기준에서 지속적으로 가장 낮은 점수를 받았는데, 이는 칭찬 중심의 피드백이 수정에 있어 신뢰도가 낮고 도움이 되지 않는다고 인식됨을 나타낸다. Novelty 또한 명확성과 표현 품질 측면에서 낮은 점수를 받았으며, 이는 문제의 범위를 벗어난 정보를 도입하는 것이 피드백의 유용성을 저해할 수 있음을 시사한다.

성격 기반 선호도 (RQ3)

피드백 요소에 대한 선호도는 학습자 클러스터에 따라 유의미하게 달랐다:

• Social Learners (사회적 학습자 - 높은 외향성/우호성): 타당성과 신뢰성을 우선시하며, Normal과 Keywords에 대해 균형 잡힌 선호를 보였다.
• Reserved Learners (내성적 학습자 - 낮은 외향성/높은 신경증): Keywords와 Normal에 강한 선호를 보였으며, Positivity와 Novelty에 대해서는 현저히 낮은 점수를 주었다. 이는 신경증이 높은 학습자들이 명확한 단서와 낮은 인지 부하를 선호한다는 결과와 일치한다.
• Adaptable Learners (적응형 학습자 - 높은 개방성/성실성/우호성): 더 넓은 범위의 요소를 수용하였으며, 특히 Actionability와 Coverage에 대한 선호를 보여 복잡하거나 상세한 안내에 대한 높은 수용력을 시사하였다.

Kruskal–Wallis 검정을 통해 모든 기준에 대해 클러스터 간 평가 패턴의 유의미한 차이를 확인하였으며, 이는 학습자 프로필이 생성된 피드백의 인식에 부분적으로 영향을 미침을 나타낸다.

기여 및 의의

본 논문은 세 가지 주요 기여를 한다:

1. 정의 및 경험적 검증: LLM 생성 피드백을 위한 6가지 제어 가능한 교육적 요소를 정의하고, 321명의 학생을 대상으로 한 대규모 연구를 통해 이러한 요소가 수정 성능과 주관적 평가에 미치는 영향을 경험적으로 조사하였다.
2. 프로필 의존적 효과의 입증: 피드백 선호도와 인지된 효과성이 균일하지 않으며, Big Five 성격 특성으로 정의된 학습자 프로필에 따라 유의미하게 달라진다는 것을 입증하였다.
3. 개인화를 위한 시사점: 효과적인 LLM 생성 피드백 설계는 학습자 프로필을 고려해야 함을 시사한다. 명확하고 포괄적인 안내는 보편적으로 유익하지만, 정보의 참신성이나 정서적 프레이밍과 같은 요소는 수용성과 유용성을 극대화하기 위해 개인의 성격 특성에 맞게 조정되어야 한다.

본 연구는 특정 피드백 특성(명확성, 포괄성)은 보편적으로 유익하지만, 특정 요소(예: 어조 또는 참신성)의 최적 설계는 학습자의 성격에 달려 있다는 결론을 내린다. 이는 학습자 프로필에 기반하여 LLM 생성 피드백을 개인화하는 것이 교육적 성과를 높이는 데 필수적임을 강조한다. 저자들은 특정 주제 영역(생물학), 단일 LLM 모델 사용, 그리고 장기적 학습 효과보다는 즉각적 학습 효과에 집중했다는 점을 한계로 언급하며, 향후 연구에서 더 넓은 도메인과 종단적 효과를 탐구해야 한다고 제언하였다.