Auditing Curriculum-Order Representations in Educational AI: Held-Out Metadata-Transition Prediction in Synthetic and Oak Corpora

로봇에게 도서관을 탐색하는 법을 가르치고 있다고 상상해 보세요. 단순히 선반에 어떤 책이 있는지만 알기를 원하는 것이 아니라, 어떤 순서로 책을 읽어야 하는지 그 '순서'를 이해하기를 원합니다. 이것이 바로 컴퓨터가 학생을 위한 최적의 학습 경로를 찾아내려 노력하는 **교육용 AI(Educational AI)**의 세계입니다. 하지만 여기서 까다로운 문제가 있습니다. 로봇이 정말로 경로의 '규칙'을 배운 것일까요, 아니면 그저 훈련 과정에서 본 특정 책들의 순서를 암기한 것일까요?

이를 이해하기 위해 두 가지 핵심 개념이 필요합니다. 첫째, **커리큘럼 메타데이터(curriculum metadata)**를 생각해보세요. 이는 책에 붙은 라벨과 같습니다. 예를 들어 "5학년", "수학", 또는 "제3장"처럼 해당 레슨이 어디에 속하는지 알려주는 명시적인 태그입니다. 둘째, **일반화(generalization)**는 한 번도 본 적 없는 퍼즐을 해결하는 능력입니다. 만약 로봇이 몇 가지 예시를 통해 "수학은 독서 다음에 온다"는 것을 배웠다면, 그 특정 책들이 함께 등장하지 않은 새로운 상황에서도 "수학은 독서 다음에 온다"는 것을 알아낼 수 있을까요? 만약 그러지 못한다면, 그것은 똑똑한 길잡이가 아니라 그저 소리를 흉내 내는 앵무새에 불과합니다. 이것은 매우 중요합니다. 왜냐하면 AI가 잘못된 다음 레슨을 추천하면 학생이 막히거나 혼란을 겪을 수 있기 때문입니다. 우리는 AI가 진정으로 지도를 이해하고 있는지, 아니면 그저 마지막 몇 단계에 기반해 추측하고 있는 것인지 알아야 합니다.

---

위대한 도서관 강도 사건: 로봇은 지도를 배웠는가?

이 연구에서 연구원 토모키 사카(Tomoki Saka)는 AI를 대상으로 "틀린 그림 찾기" 게임을 하기로 했습니다. 그는 글자 단위로 읽는 작은 로봇이, 훈련 중에 특정 단계가 누락되었을 때 다음 학습 단계를 예측할 수 있는지 확인하고 싶었습니다. 이것은 마치 학생에게 도시의 지도 중 공원에서 도서관으로 연결되는 거리 하나가 빠진 지도를 보여준 뒤, "공원에 있다면 다음에 어디로 가야 할까?"라고 묻는 것과 같습니다.

합성 놀이터: 가상의 레슨 격자

먼저, 연구원은 완벽하게 정리된 가상의 세계를 구축했습니다. 세 가지 과목(영어, 수학, 과학)과 네 가지 주제(식물, 동물, 재료, 계절)가 있는 거대한 격자를 상상해 보세요. 이는 12개의 서로 다른 "레슨 박스"를 만듭니다.

그는 AI에게 수천 개의 가짜 레슨을 특정 순서로 배치하여 가르쳤습니다. 때로는 과목은 유지하되 주제가 바뀌기도 했고(예: "영어-식물"에서 "영어-동물"로 이동), 때로는 주제는 유지하되 과목이 바뀌기도 했습니다(예: "영어-식물"에서 "수학-식물"로 이동). 결정적으로, 그는 AI의 훈련 과정에서 두 가지 특정 연결 고리를 숨겼습니다. AI는 여정의 시작과 끝은 보았지만, 그 사이를 잇는 다리는 결코 보지 못했습니다.

위대한 발견:
AI를 이 숨겨진 다리들에 대해 테스트했을 때, 결과는 놀라울 정도로 좋았습니다! 만약 레슨이 명확하고 반복적인 패턴(예: "항상 과목은 유지하고 주제를 바꾼다")을 따른다면, AI는 높은 정확도로 다음 단계를 맞출 수 있었습니다. 이는 마치 로봇이 "아, 전에 이런 패턴을 봤어. 과목은 그대로 두고 주제를 바꾸는 거야. 그러니 내가 '영어-식물'에 있다면, 다음은 '영어-동물'이어야 해"라고 깨달은 것과 같았습니다.

하지만 연구원은 여기서 멈추지 않았습니다. 그는 로봇이 어떻게 이 일을 해내고 있는지 알고 싶었습니다. 로봇이 레슨 내부의 이야기를 읽고 있는 것일까요? 아니면 그저 라벨만 보고 있는 것일까요?

• 라벨 테스트: 연구원은 레슨 텍스트 없이 라벨(메타데이터)만으로 AI를 훈련시켜 보았습니다. AI는 여전히 정답을 맞혔습니다.
• 텍스트 테스트: 반대로 라벨 없이 레슨 텍스트만으로 훈련시켰을 때, AI는 실패했습니다.
• 충돌 테스트: 연구원은 텍스트에는 "과학"이라고 적혀 있지만 라벨에는 "수학"이라고 적힌 레슨을 주었습니다. AI는 텍classList를 따랐고 텍스트는 무시했습니다.

결론: 로봇은 이야기를 읽거나 식물이나 동물의 개념을 이해하고 있는 것이 아니었습니다. 로봇은 단순히 명시적인 라벨을 따르고 있었습니다. 로봇이 "과목은 유지하고 주제는 바뀐다"는 규칙을 배운 이유는 라벨이 그 규칙을 명확하게 보여주었기 때문입니다. 만약 라벨이 엉망이거나 없다면 로봇은 길을 잃었습니다.

실제 세계 테스트: 오크 내셔널 아카데미(Oak National Academy)

다음으로, 연구원은 이 테스트를 실제 세계로 가져가 영국 학교 프로그램인 오크 내셔널 아카데미의 실제 레슨 383개를 사용했습니다. 이것은 가상의 격자보다 훨씬 더 무질서했습니다. 레슨의 길이는 제각각이었고, 패턴도 완벽하게 반복적이지 않았습니다.

그는 두 가지 버전의 테스트를 실행했습니다:

1. 고정 테스트: 특정 숨겨진 연결 고리 하나를 골랐습니다. 결과는 어땠을까요? AI는 무작위 추측보다 겨우 조금 나은 수준이었습니다. 거의 제로에 가까웠습니다.
2. 강건성(Robustness) 테스트: 그는 숨겨진 연결 고리를 선택하고 데이터를 섞는 네 가지 다른 방법을 시도했습니다. 이번에 AI는 긍정적인 결과를 보여주었지만, 불안정했습니다. 어떤 때는 잘 작동했고, 어떤 때는 그렇지 않았습니다.

함정: AI가 "과목"과 "순서"를 맞혔을 때조차도, 구체적인 다음 레슨의 제목이나 텍스트를 예측하지는 못했습니다. AI는 일반적인 카테고리(예: "수학, 레슨 3")는 알 수 있었지만, 구체적인 책은 예측할 수 없었습니다. 이는 AI가 라벨이 명확하다면 광범위한 구조는 학습할 수 있지만, 실제의 무질서한 커리큘럼 속에서 구체적인 콘텐츠를 예측하는 데는 어려움을 겪는다는 것을 시사합니다.

로봇이 배우지 못한 것

이 연구는 몇 가지 대중적인 아이디어를 명시적으로 배제했습니다:

• 읽기에 관한 것이 아니다: AI는 레슨 텍스트를 이해할 필요 없이 순서를 예측했습니다. 사실, 텍스트가 라벨과 다를 경우 오히려 AI를 혼란스럽게 만들기도 했습니다.
• 단순한 반복에 관한 것도 아니다: AI가 레슨을 반복했기 때문에 성공한 것이 아닙니다. 연구원이 논리적인 "과목/주제" 규칙을 따르지 않는 반복적인 경로를 만들었을 때, AI는 실패했습니다. AI에게는 단순한 반복 시퀀스가 아니라 '재사용 가능한 패턴'이 필요했습니다.
• 마법의 뇌가 아니다: AI가 갑자기 천재 교사가 된 것이 아닙니다. AI는 그저 라벨에서 특정하고 단순한 패턴을 찾아내는 데 능숙했을 뿐입니다.

시사점

핵심 교훈은 레슨의 순서를 배우는 것이 지도를 이해하는 것과는 다르다는 점입니다.

만약 당신이 AI에게 레슨 목록을 훈련시킨다면, AI는 그 순서를 암기할 수는 있겠지만, 만약 중간 단계가 빠진다면 라벨(메타드데이터)이 규칙을 명확하게 보여주지 않는 한 그 빈칸을 채우는 법을 알지 못할 것입니다. 완벽한 가상의 세계에서 AI는 라벨을 따라 숨겨진 다리를 찾을 수 있었습니다. 하지만 실제의 무질서한 세계에서 AI는 라벨이 매우 명확하지 않으면 어려움을 겪었습니다.

연구원은 만약 우리가 AI를 신뢰할 수 있는 길잡이로 만들고 싶다면, 단순히 텍스트로부터 순서를 "학습"하도록 내버려 두어서는 안 된다고 제안합니다. 대신, 연결 관계를 보여주는 명시적이고 명확한 지도(그래프나 표와 같은)를 제공해야 합니다. 이렇게 하면 로봇이 스스로 깨닫기를 기대하는 대신, 우리가 직접 지도를 검토하여 그것이 맞는지 확인할 수 있습니다. 이 연구는 AI가 라벨의 패턴을 포착하는 데는 뛰어날 수 있지만, 도움 없이는 실제 교실의 깊고 복잡한 논리를 이해하는 마스터가 되기에는 아직 부족하다는 것을 보여줍니다.