Fine-Tuning Large Language Models for Codebook-Guided Coding of Students' Mathematics Metaphor Responses

당신이 탐정이라고 상상해 보세요. 지문 대신 사람들이 감정을 말하는 방식에서 단서를 찾고 있습니다. 교육의 세계에서 연구자들은 종종 학생들에게 "수학이 음식이라면 무엇일까요?"와 같이 자신의 생각을 자신의 언어로 적도록 요청합니다. 이러한 개방형 답변은 아이들이 학교에 대해 어떻게 느끼는지 이해하는 데 있어 금광과 같습니다. 하지만 이를 하나하나 읽어 내려가는 것은 매우 고된 일입니다. 인간 전문가가 수천 개의 이야기를 읽고 이를 '행복', '좌절', 또는 '혼란'과 같은 카테 categories로 분류하는 데는 오랜 시간이 걸립니다. 바로 이 지점에서 인공지능(AI)이 등장합니다. 구체적으로, 거대 언어 모델(LLM)은 인간의 언어를 읽고 이해할 수 있는 초스마트 로봇과 같습니다. 연구자들이 던져온 핵심적인 질문은 이것입니다: "우리는 이 로봇들에게 전문적인 인간 탐정처럼 행동하도록 가르칠 수 있을까? 만약 그렇다면, 빅테크 기업에 개인 데이터를 보내는 대신 우리 자신의 컴퓨터에서 작동하여 학생들의 비밀을 안전하게 지킬 수 있을까?"

이 연구는 바로 그 질문을 깊이 파고듭니다. 연구자들은 수학적 은유에 관한 2,265개의 실제 학생 응답 모음을 가져와, 두 개의 작은 오픈 소스 AI 모델이 인간 전문가와 똑같이 이를 코딩할 수 있도록 가르쳤습니다. 그들은 "파인튜닝(fine-tuning)"이라는 특별한 훈련 기법을 사용했는데, 이는 마치 로봇에게 인간 전문가의 정답지를 사용하여 속성 과외를 시키는 것과 같습니다. 결과는 놀라웠습니다. 이 훈련을 거친 작고 저렴한 AI 모델들은 매우 뛰어나서, 기업들이 보통 판매하는 거대하고 비싼 "블랙박스" AI 모델들을 종종 능가했습니다. 이 연구는 적절한 훈련만 있다면, 우리는 학생들의 데이터를 어디에도 보낼 필요 없이, 수학에 대한 학생들의 감정을 이해하기 위해 우리 교실 안에 직접 강력하고 사적이며 정확한 AI 도구를 보유할 수 있다는 점을 시사합니다.

탐정의 딜레마: 행간을 읽다

학생의 은유를 비밀 암호라고 생각해 보세요. 어떤 학생이 "수학은 충직한 친구이기 때문에 강아지와 같다"라고 말한다면, 그들은 단순히 반려동물에 대해 이야기하는 것이 아닙니다. 그들은 수학에 대해 안전함과 행복함을 느낀다는 것을 말하고 있는 것입니다. 하지만 만약 "수학은 나를 떠나지 않는 모기 같다"라고 말한다면, 그들은 수학이 짜증 나고 피할 수 없는 존재라고 말하는 것입니다. 이것들은 단순한 단어들 속에 담긴 복잡한 감정들입니다.

수십 년 동안 연구자들은 이 메시지들을 해독하기 위해 인간 전문가에게 의존해 왔습니다. 그것은 마치 도서관의 책들을 손으로 번역하려는 번역가 팀을 두는 것과 같습니다. 느리고, 비용이 많이 들며, 규모를 키우기 어렵습니다. 학생이 100명이면 인간이 할 수 있지만, 100,000명이 되면 인간은 지치고 과정은 멈춰버립니다.

거대 언어 모델(LLM)이 등장합니다. LLM을 인터넷에 있는 거의 모든 것을 읽은 로봇이라고 생각할 수 있습니다. LLM은 문장에서 다음에 올 단어를 추측하고 맥락을 이해하는 데 매우 뛰어납니다. 하지만, 특정 수업을 듣지 않은 똑똑한 학생처럼, 일반적인 로봇은 당신이 이 은유들을 정확히 어떻게 분류하기를 원하는지 모를 수도 있습니다. 당신이 '중립'을 원했을 때 '행복'이라고 추측하거나, '도전적'인 것과 '위협적'인 것 사이의 미묘한 차이를 놓칠 수도 있습니다.

게다가, 프라이버시 문제가 있습니다. 가장 강력한 로봇들(빅테크 기업의 것들처럼)은 그들의 서버에 살고 있습니다. 그것들을 사용하려면 학생들의 사적인 글을 그들에게 보내야 합니다. 학교 입장에서 이것은 비밀이 가득 담긴 일기장을 낯선 사람에게 건네주는 것과 같습니다. 연구자들은 자신의 컴퓨터에서 실행되면서, 특정 작업에 특화되어 훈련되었고, 비밀을 안전하게 지킬 수 있는 로봇을 만들 수 있는지 알고 싶었습니다.

실험: 로봇에게 규칙을 가르치다

연구자들은 경주를 설정했습니다. 한쪽에는 "빅테크" 챔피언들이 있었습니다. 아무런 특별한 훈련 없이 주어진 규칙(코드북)에 따라 학생의 은유를 분류하도록 요청받은 두 개의 강력한 독점 모델(GPT-4o mini 및 GPT-5 mini)입니다. 이들은 그저 지침으로부터 스스로 알아내야 했습니다.

다른 한쪽에는 "오픈 웨이트(Open-Weight)" 모델들이 있었습니다(DeepSeek-R1 1.5B 및 Mistral 7B). 이들은 누구나 다운로드하여 자신의 서버에서 실행할 수 있는 더 작고 저렴한 모델들입니다. 연구자들은 이 모델들을 가져와 LoRA 기반의 지도 학습 파인튜닝(supervised fine-tuning) 기법을 사용하여 "속성 과외"를 실시했습니다.

당신이 강아지에게 공 가져오기를 가르친다고 상상해 보세요. "프롬프트 전용(prompt-only)" 방식은 그저 강아지에게 "공 가져와!"라고 반복해서 말하는 것과 같습니다. 반면 "파인튜닝" 방식은 강아지를 훈련 캠프로 데려가서, 사람이 완벽하게 하는 모습을 수천 번 보여주며 어떻게 공을 잡고, 가져오고, 손에 떨어뜨리는지 정확히 가르치는 것과 같습니다. 연구자들은 이미 인간 전문가에 의해 올바르게 분류된 2,265개의 학생 은유 예시를 오픈 웨이트 모델들에게 입력했습니다. 모델들은 인간 전문가의 결정을 모방하는 법을 배웠습니다.

이 과업은 두 부분으로 나뉘었습니다:

1. 정서-강도 코딩(Valence-Intensity Coding): 감정이 얼마나 강한가? 매우 부정적인가(1), 중립적인가(3), 아니면 매우 긍정적인가(5)?
2. 주제 코딩(Thematic Coding): 이야기는 무엇인가? 수학은 "도구"인가, "위협"인가, "여정"인가, 아니면 "지루한 숙제"인가?

결과: 언더독의 승리

경주의 결과는 명확하고 흥려웠습니다. 훈련 전에는 작은 오픈 웨이트 모델들이 이 작업에 형편없었습니다. 그들은 무작정 추측하고 있었습니다. 하지만 "속성 과외"(파인튜닝)를 거친 후, 그들은 완전히 변모했습니다.

성능의 도약:
파인튜닝된 모델들은 단순히 조금 나아진 것이 아니라, 훨씬 더 좋아졌습니다.

• "음식" 은유의 경우, DeepSeek 모델의 정확도는 0.369에서 0.787로 급증했습니다.
• 음식 은유에 대한 Mistral 모델의 정확도는 0.207에서 0.778로 올라갔습니다.
• "동물" 은유에서 Mistral 모델은 0.267에서 0.766으로 개선되었습니다.

AI의 세계에서 이 수치들은 엄청난 것입니다. 이는 훈련된 로봇들이 이제 두 명의 인간 전문가가 서로 일치하는 빈도만큼이나 자주 인간 전문가와 일치한다는 것을 의미합니다.

거인들을 이기다:
여기 반전이 있습니다. 훈련된 작은 모델들이 많은 카테고리에서 "프롬프트 전용"으로 사용된 비싸고 거대한 모델들을 실제로 앞질렀습니다.

• 파인튜닝된 Mistral 7B 모델은 음식과 동물 은유 모두에서 거의 모든 지표에 대해 GPT-4o mini와 GPT-5 mini를 능가했습니다.
• 작은 모델들이 여전히 조금 어려워했던 매우 드문 특정 주제에서만 거대 모델들이 승리했지만, 그 차이조차 미미했습니다.

"안정성" 테스트:
AI의 가장 큰 문제 중 중 하나는 동일한 질문을 두 번 했을 때 서로 다른 답을 내놓을 수 있다는 점입니다. 이는 과학에 좋지 않습니다. 연구자들은 모델을 세 번 실행함으로써 이를 테스트했습니다.

• 훈련되지 않은 DeepSeek 모델은 안정성 점수가 0.592에 불과할 정도로 매우 불안정했습니다.
• 하지만 훈련 후, 그 안정성은 0.992로 치솟았습니다.
• 파인튜닝된 Mistral 모델은 1.000으로 완벽했습니다.
• 심지어 거대 상업용 모델들도 훈련된 오픈 모델만큼 안정적이지 못했습니다(GPT-5 mini의 주제 안정성은 0.644였습니다).

이는 모델을 특정 사례로 훈련시키는 것이 모델을 더 똑똑하게 만들 뿐만 아니라, 더 일관되고 신뢰할 수 있게 만든다는 것을 시사합니다.

이것이 미래에 의미하는 바

이 연구는 우리가 학생들의 감정을 분석하기 위해 거대하고 비싸며 프라이버시 위험이 있는 AI 시스템에 의존할 필요가 없음을 시사합니다. 작은 오픈 모델을 가져와 인간의 사례로 가르침으로써, 우리는 다음과 같은 도구를 만들 수 있습니다:

1. 정확함: 인간 전문가와 일치합니다.
2. 사생활 보호: 학교 자체 컴퓨터에서 실행될 수 있어 학생 데이터를 안전하게 지킵니다.
3. 확장성: 수천 개의 응답을 몇 초 만에 처리할 수 있습니다.

하지만 연구자들은 이것이 모든 것을 해결해 주는 마법 지팡이는 아니라고 주의를 기울입니다. 모델들은 여전히 매우 드문 주제(예: 수학에 대한 특정 사회적 견해)에서 다소 어려움을 겪었으며, 이는 주제가 매우 흔치 않을 경우 로봇이 배울 수 있는 더 많은 사례가 필요함을 시사합니다. 또한, 이 연구는 음식과 동물을 주제로 한 6~8학년의 응답만을 다루었으므로, 대수학을 말하는 고등학생이나 미적분을 말하는 대학생에게도 적용되는지는 아직 알 수 없습니다.

그러나 핵심적인 결론은 희망적입니다: 우리는 학생들의 말 속에 숨겨진 감정을 이해하도록 돕기 위해 똑똑하고 안전하며 준비된 "탐정 로봇"을 구축할 수 있습니다. 교육 측정의 미래는 클라우드가 아니라, 학생들을 가장 잘 아는 전문가들에 의해 훈련된 바로 그 학교 서버에 있을지도 모릅니다.