TeachMateGPT: A Multi-Agent Knowledge-Grounded Framework for Pedagogical Assessment Generation from Science Curriculum Materials

당신이 과학 수업을 위한 퀴즈를 만들려고 노력 중인 교사라고 상상해 보세요. 모든 정답이 담긴 두껍고 공식적인 교과서가 있지만, 완벽한 질문을 찾기 위해 모든 페이지를 일일이 넘겨볼 시간은 없습니다. 당신은 이 일을 도와줄 초지능형 컴퓨터 로봇(인공지능)에게 도움을 요청합니다. 당신이 "산성비에 관한 퀴즈를 만들어줘"라고 말하자 로봇이 타이핑을 시작합니다. 하지만 여기에는 함정이 있습니다. 때때로 이 로봇들은 몇 가지 사실만 암기한 채 똑똑해 보이려고 아무 말이나 늘어놓는 의욕 과잉 학생처럼 행동할 수 있습니다. 그들은 가짜 과학 법칙을 만들어내거나 전혀 다른 단원의 사실을 가져올 수도 있습니다. 이것을 "환각(hallucination)"이라고 부릅니다. 이를 방지하기 위해 과학자들은 **검색 증강 생성(Retrieval-Augmented Generation, RAG)**이라는 기술을 사용합니다. RAG를 로봇에게 도서관 대출 카드를 쥐여주며 내리는 엄격한 규칙이라고 생각하세요: "정답을 찾은 정확한 교과서 페이지를 지목할 수 있을 때만 퀴즈를 작성할 것."

하지만 도서관 대출 카드가 있어도 로봇은 여전히 혼란을 겪을 수 있습니다. 만약 교과서가 복잡하게 구성되어 있거나, 로봇이 주변 맥락 없이 아주 작은 문장 하나만을 덜렁 집어온다면, 여전히 잘못된 질문을 작성할 수 있습니다. 연구자들의 핵심 질문은 이것입니다: 어떻게 하면 로봇이 단순히 아무 페이지나 집어오는 것이 아니라, 수업의 구조를 이해하고, 답변을 위한 정보가 충분하지 않을 때 스스로 인지하며, 선생님에게 보여주기 전에 자신의 결과물을 스스로 검토하게 만들 수 있을까요? 이것이 바로 새로운 연구가 해결하고자 하는 문제이며, 특히 특정 국가의 교과서를 사용하는 방글라데시의 과학 교사들을 위해 설계되었습니다.

---

TeachMateGPT를 만나보세요: 안전망을 갖춘 로봇 사서

이 논문은 TeachMateGPT라는 새로운 시스템을 소개합니다. 이것을 단일 로봇이 아니라, 교사의 요청을 완벽하고 교과서에 충실한 퀴즈로 바꾸기 위해 함께 협력하는 하이테크 공장의 전문화된 작업 팀이라고 생각하면 됩니다. 이 시스템은 방글라데시의 국립 교육과정 및 교과서 위원회(NCTB) 8학년 과학 교과서에 맞춰 특별히 설계되었습니다. 이 교과서는 학생들에게 매우 중요하지만 AI가 완벽하게 탐색하기에는 어려운 자원입니다.

이 공장이 단계별로 어떻게 작동하는지 살펴보겠습니다:

1. 스마트 인덱스 (COPE)
먼저, 시스템은 교과서를 정리해야 합니다. 교과서가 거대하고 어지러운 다락방이라고 상상해 보세요. 일반적인 로봇은 그냥 무작위로 물건 상자를 집어 들 수 있습니다. 하지만 TeachMateGPT는 COPE(Curriculum-Oriented Pedagogical Embedding)라는 특별한 도구를 사용합니다. COPE는 텍스트를 무작위로 조각내는 대신, 교과서의 "가계도"를 이해합니다. 이는 "장(Chapter)" 안에 "단원(Lesson)"이 있고, 그 안에 "절(Section)"이 있으며, 그 안에 "정의(Definition)"가 있다는 것을 압니다. 시스템은 모든 정보 조각이 부모 및 이웃과 연결된 지도를 구축합니다. 만약 로봇이 특정 동물에 대해 알아야 한다면, 단순히 "동물"이라는 단어를 찾는 것이 아니라, 그 동물이 생명의 가계도에서 어디에 위치하는지에 대한 전체 문단을 찾아냅니다. 이를 통해 로봇은 단어뿐만 아니라 맥락을 이해하게 됩니다.

2. 문지기 (라우팅 에이전트들)
로봇이 답을 찾기 전, "문지기" 에이전트 팀이 교사의 요청을 검사합니다.

• **의도 에이전트(Intent Agent)**는 묻습니다: "이것이 진짜 과학 질문인가, 아니면 선생님이 그냥 '안녕'이라고 말한 것인가?"
• **모호성 에이전트(Ambiguity Agent)**는 묻습니다: "질문이 명확한가? 만약 선생님이 '동물에 관한 퀴즈를 만들어줘'라고 한다면, 이 에이전트는 멈춰서 '어떤 단원인가요? 어떤 종류의 동물인가요?'라고 되묻습니다."
• **안전 에이전트(Safety Agent)**는 유해하거나 주제에서 벗어난 요청이 통과되지 않도록 확인합니다.
  만약 요청이 너무 모호하거나 안전하지 않다면, 시스템은 정중하게 멈추고 더 자세한 내용을 요청합니다. 추측하기를 거부하는 것입니다.

3. 탐정 팀 (하이브리드 검색)
요청이 명확해지면, 시스템은 증거를 찾아 나섭니다. 시스템은 동시에 두 가지 유형의 검색을 수행합니다.

• 의미론적 탐정(Semantic Detective): 단어의 의미를 찾습니다 (예: 텍스트에 "높은 산도를 가진 비"라고 되어 있어도 "산성비"를 찾아냄).
• 어휘적 탐정(Lexical Detective): 의미만으로는 놓칠 수 있는 정확한 과학 용어를 찾습니다.
  만약 시스템이 증거를 찾으면, "Fail-Closed" 규칙을 사용합니다. 이것은 마치 엄격한 선생님이 "증거가 충분하지 않으면 0점이다"라고 말하는 것과 같습니다. 만약 질문을 뒷받支持할 교과서 페이지를 충분히 찾지 못한다면, 시스템은 무언가를 지어내는 대신 단순히 질문 생성을 거부합니다.

4. 작가들 (전문가 에이전트)
증거가 수집되면, 서로 다른 "작가"들이 업무를 이어받습니다.

• 객관식(MCQ) 전문가: 객관식 질문(예: "A, B, C, D 중 무엇인가?")을 작성합니다.
• 서술형 질문 전문가: 보드 시험(학생이 시나리오를 읽고 네 부분의 답을 하는 방식)에서 흔히 볼 수 있는 긴 형태의 질문을 작성합니다.
  이 작가들은 오직 탐정들이 찾아낸 증거만을 사용하도록 강제됩니다. 자신의 "기억"을 사용하여 사실을 지어낼 수 없습니다.

5. 검사관 (SAVER)
퀴즈가 선생님에게 전달되기 전, SAVER(Source-Attributed Verification and Evidence Ranking)라는 이름의 최종 검사관이 결과물을 점검합니다. 검사관은 모든 질문을 보고 다음 세 가지를 묻습니다:

1. 충실성(Faithfulness): 이 사실을 실제로 교과서에서 찾았는가?
2. 관련성(Relevance): 이것이 선생님이 요청한 것과 일치하는가?
3. 환각 위험(Hallucination Risk): 무언가를 지어내지는 않았는가?
   점수가 낮으면 시스템은 해당 질문을 선생님이 검토할 수 있도록 표시합니다. 자동으로 삭제하는 것이 아니라, "이 부분은 100% 확신할 수 없으니 확인해 보세요"라고 알려주는 것입니다.

무엇을 발견했는가?

연구진은 14개 장 전체를 다루는 198개의 과학 질문(객관식 143개, 서술형 55개)을 생성하여 이 시스템을 테스트했습니다. 그 후 세 명의 실제 과학 교사들이 결과를 채점하게 했습니다.

결과는 매우 인상적이었습니다. 텍ست을 단순히 가져와서 쓰는 일반적인 "바닐라" AI 시스템과 비교했을 때:

• 충실성(출처에 대한 사실의 정확도)이 0.68에서 0.96으로 급증했습니다. 이는 새로운 시스템이 정보를 얻은 출처에 대해 거의 완벽하게 정직하다는 것을 의미합니다.
• 답변 관련성(답변이 질문에 얼마나 잘 부합하는가)이 0.60에서 0.89로 높아졌습니다.
• 교사 유용성(선생님들이 느낀 질문의 유용성)이 5점 만점 기준으로 2.00에서 4.80으로 수직 상승했습니다.

또한 연구는 "스마트 인덱스"(COPE)를 제거하면 품질이 크게 떨어진다는 것을 보여주었습니다. "검사관"(SAVER)을 제거하면 시스템이 다시 사실을 지어내기 시작합니다. 이는 책의 구조를 이해하는 것과 결과물을 재검토하는 것 모두가 필수적임을 입증합니다.

한계와 미래

저자들은 이 시스템이 아직 할 수 없는 부분에 대해 주의를 기울였습니다.

• 텍스트 전용: 이 시스템은 교과서의 글을 읽지만, 그림은 다루는 데 어려움이 있습니다. 만약 질문이 회로도나 세포의 도표를 보는 것을 필요로 한다면, 시스템은 이미지를 "볼" 수 없습니다. 텍스트 설명에 의존해야 하는데, 이는 시각적 질문의 핵심을 놓칠 수 있습니다.
• 사람의 눈이 필요함: 이 시스템은 대체제가 아닌 조력자로 설계되었습니다. 질문을 검토하도록 표시하긴 하지만, 최종 결정을 내리지는 않습니다. 선생님은 학생들에게 전달하기 전에 반드시 작업을 검토해야 합니다.
• 특정 도서에 국한됨: 이 시스템은 방글라데시의 8학년 과학 교과서에 맞춰 구축되었습니다. 상당한 변화 없이는 다른 학년, 다른 과목, 또는 다른 국가의 커리큘럼에서 완벽하게 작동하지 않을 수 있습니다.

요약하자면, TeachMateGPT는 AI에게 교과서에 대한 더 나은 지도를 제공하고, 추측을 멈추라는 엄격한 규칙을 부여하며, 내장된 검사관을 갖춤으로써, 정확성을 희생하지 않으면서 교사의 시간을 절약해 줄 수 있는 도구를 만들 수 있음을 시사합니다. 이는 AI가 위험한 자동 조종 장치가 아니라, 신뢰할 수 있는 부조종사로서 교육의 미래를 향해 나아가는 한 걸음입니다.