"Bespoke Bots": Diverse Instructor Needs for Customizing Generative AI Classroom Chatbots

논문 개요

이 연구는 대학 강의실 환경에서 생성형 AI 챗봇을 활용하려는 교수진 (Instructors) 이 자신의 강의 맥락에 맞춰 챗봇을 어떻게 커스터마이징하고 싶은지, 그리고 그 요구사항이 어떻게 다양하게 나타나는지를 탐구합니다. 연구진은 단일한 챗봇 디자인이 모든 교육 맥락을 충족할 수 없음을 발견하고, 모듈형 AI 챗봇 (Modular AI Chatbots) 이 차세대 교육용 AI 시스템의 유망한 방향임을 제안합니다.

1. 문제 정의 (Problem)

• 이질적인 교수진 요구: 교수진들은 강의 규모, 학문 분야, 교수법, 기관 규범 등에 따라 매우 다양한 요구를 가집니다. 한 강의실에서 작동하는 방식이 다른 곳에서는 실패할 수 있어, "일률적인 (One-size-fits-all)" 챗봇은 현실적인 교실 환경에 적합하지 않습니다.
• 단일 프롬프트의 한계: 현재 많은 AI 도구들은 단일 프롬프트 (Monolithic Prompt) 에 의존합니다. 이는 강의 내용, 교수법, 톤, 안전 장치 (Guardrails) 등 여러 목표를 한 번에 처리하게 하여 예측 불가능한 행동 (예: 대화 중 페르소나 변경) 을 초래하거나, 재현성과 공유가 어렵게 만듭니다.
• 기술적 격차: 프롬프트 엔지니어링이나 RAG(검색 증강 생성) 와 같은 기술은 존재하지만, 이를 실제 교실의 복잡한 요구 (동적인 교수법, 다양한 플랫폼 통합 등) 에 맞게 분해하고 우선순위를 정하는 방법에 대한 실증적 이해가 부족합니다.

2. 연구 방법론 (Methodology)

연구진은 두 단계의 혼합 연구 방법을 사용했습니다.

• 1 단계: 콘텐츠 분석 (Content Analysis)
  • 공개된 교육용 프롬프트 리소스 (Microsoft, Anthropic, 대학 라이브러리 등) 에 있는 182 개의 프롬프트 및 기능을 분석했습니다.
  • 귀납적 코딩 (Inductive Coding) 을 통해 챗봇 커스터마이징의 10 가지 공통 카테고리를 도출했습니다 (예: 교수 전략, 강의 자료, 제약/가드레일, 페르소나/톤 등).
• 2 단계: 인터뷰 및 카드 정렬 (Interviews & Card-Sorting)
  • 참가자: AI 를 강의에 활용해 본 경험이 있는 10 명의 STEM(과학, 기술, 공학, 수학) 대학 교수진 (미국 및 유럽 지역).
  • 절차: 반구조화 인터뷰를 진행하며, 앞서 도출된 10 가지 커스터마이징 카드를 참가자에게 제시했습니다.
  • 카드 정렬 활동: 참가자들은 각 카드를 '높음 (High)', '중간 (Medium)', '낮음 (Low)', '중요하지 않음 (Not Important)'으로 우선순위를 분류하도록 요청받았습니다. 이를 통해 교수진들이 어떤 기능을 핵심으로 여기고, 어떤 기능을 희생할 수 있는지 그 트레이드오프를 파악했습니다.

3. 주요 기여 (Key Contributions)

1. 교수진의 커스터마이징 비전에 대한 실증적 기록: 교수진이 AI 챗봇을 어떻게 분해하고 우선순위를 매기는지에 대한 구체적인 데이터 제공.
2. 요구사항의 수렴과 이질성 매핑: 10 가지 기능 카테고리에 대한 교수진의 우선순위 정렬 결과를 제시하여, 어떤 부분은 표준화 가능하고 어떤 부분은 유연성이 필요한지 명확히 함.
3. 차세대 모듈형/에이전트 워크플로우 설계 시사점: 단순한 프롬프트 기반 시스템을 넘어, '가르칠 수 있는 팀원 (Teachable Teammates)'으로서의 모듈형 에이전트 아키텍처를 위한 설계 지침 제시.

4. 연구 결과 (Results)

4.1. 교수진들의 공통된 우선순위 (Convergence)

대부분의 교수진이 높게 평가한 3 가지 핵심 영역:

1. 강의 자료 (Course Material): 챗봇이 강의 슬라이드, 과제, 교재 등 구체적인 강의 자료에 접근하고 이를 기반으로 답변해야 한다는 점. (가장 일관된 요구)
2. 교수 전략 (Pedagogical Strategy): 챗봇이 교수자의 교수법 (예: 소크라틱 질문, 힌트 제공, 오답 분석 등) 을 반영해야 함. "중립적인 설명자"가 아닌 교수자의 철학을 구현해야 함.
3. 제약 및 가드레일 (Constraints/Guardrails): 안전성, 정확성, 직접적인 답변 금지 등 기본적인 규칙은 필수적이지만, 이는 '기본 탑재'로 간주되어 추가 커스터마이징의 최우선 목표보다는 필수 조건으로 인식됨.

4.2. 교수진들의 낮은 우선순위 (De-prioritization)

대부분의 교수진이 낮게 평가한 영역:

• 콘텐츠 형식 (Content Format): LaTeX, 표, 코드 블록 등 출력 형식은 편의사항일 뿐 핵심 요구사항이 아님.
• 페르소나/톤 (Persona/Tone): 챗봇의 성격이나 유머, 격려 톤 등은 중요하지 않거나 오히려 해로울 수 있다고 봄. (학생들이 AI 와 과도하게 정서적 유대감을 형성하는 것을 우려하는 교수진 다수)

4.3. 맥락에 따른 이질성 (Divergence)

다음 영역은 강의 규모, 학문 분야, 교수 스타일에 따라 요구사항이 극명하게 갈림:

• 개인화 (Personalization): 대규모 강의 (수천 명) 에서는 개인화가 동기 부여에 중요하다고 보는 반면, 소규모 프로젝트 기반 강의나 특정 학문 분야에서는 오히려 비개인화된 경험이 학습에 도움이 된다고 주장하는 등 양극화됨.
• 강의 관리 (Course Management): 대규모 강의에서는 채점, 재심사 요청 처리, 물류 질문 답변 등 관리 업무 자동화를 강력히 요구했으나, 소규모 강의에서는 직접 처리하거나 조교 (TA) 에게 맡기는 것을 선호함.
• 사용자 환경 (User Environment): 특정 플랫폼 (Discord, Canvas 등) 통합의 중요성도 교수진마다 다름.

5. 의의 및 설계 시사점 (Significance & Design Implications)

이 연구는 기존 AI 시스템이 교수진의 역동적이고 이질적인 요구를 충족시키지 못하는 구조적 불일치를 지적하며, 다음과 같은 기술적 방향성을 제시합니다.

• 모듈형 커스터마이징 (Modularization):
  • 공통 요구사항 (가드레일, 교수 전략, 강의 자료) 을 재사용 가능한 **구성 블록 (Building Blocks)**으로 모듈화해야 합니다.
  • 이를 통해 교수진은 커뮤니티 내에서 설정을 공유하고 리믹스 (Remix) 할 수 있으며, 불필요한 중복 작업을 줄일 수 있습니다.
• 에이전트 워크플로우 (Agentic Workflows) 로의 전환:
  • 단일 모놀리식 (Monolithic) 프롬프트 대신, **역할이 분리된 여러 에이전트 (Teachable Teammates)**로 구성된 워크플로우를 구축해야 합니다.
  • 예: 채점 에이전트 (루브릭 기반), 실험실 코치 에이전트 (안전 프로토콜 기반) 등. 이렇게 하면 안정적인 규칙 (채점 정책) 과 변화하는 강의 내용을 분리하여 유지보수와 반복적인 수정을 용이하게 합니다.
• 공유 및 재사용 메커니즘:
  • 교수진들은 설정을 공유하고 싶어 하지만, 개인정보 보호 및 기관적 제약이 존재합니다. 따라서 오픈소스 및 피어 투 피어 공유를 지원하면서도 프라이버시와 책임 소재를 고려한 설계가 필요합니다.

결론

이 논문은 "Bespoke Bots(맞춤형 봇)"의 성공은 단일한 완벽한 시스템이 아니라, 교수진이 자신의 교수법과 맥락에 따라 모듈을 조립하고 조정할 수 있는 유연한 아키텍처에 달려 있음을 보여줍니다. 차세대 교육용 AI 는 고정된 도구가 아니라, 교수진이 훈련하고 배치할 수 있는 '가르칠 수 있는 팀원'으로 설계되어야 합니다.