Temporal Stability and Few-Shot Prompting in Math Task Assessment

두 명의 서로 다른 "AI 학습 조교"를 고용하여 수학 숙제 문제 더미를 분류하도록 돕는 상황을 상상해 보세요. 당신의 목표는 이를 "쉬운, 반복적인 연습 문제"와 "어려운, 사고가 많이 필요한 도전 과제"라는 두 개의 더미로 나누는 것입니다. 이를 결정하는 데 도움이 되는 규칙집 (과제 분석 가이드) 을 그들에게 제공합니다.

이 연구는 이러한 두 조교가 시간이 지나도 일관성을 유지하는지, 그리고 "요령" 예시들을 제공함으로써 그들이 더 나은 일을 할 수 있는지 확인하기 위한 장기적인 건강 진단과 같습니다.

다음은 간단히 설명한 결과입니다:

두 명의 조교

연구자들은 두 가지 다른 AI 도구를 테스트했습니다:

1. Gemini: "범용" 조교입니다. 이는 수학을 포함해 모든 것에 대해 조금씩 알고 있는 매우 똑똑하고 잘 읽은 사서와 같다고 생각하세요.
2. Coteach: "교육 특화" 조교입니다. 이는 수년간 시험지를 채점해 온 베테랑 수학 교사처럼 학교 수학의 구체적인 특징을 잘 알고 있다고 생각하세요.

1 부: "시간 여행" 테스트 (시간적 안정성)

연구자들은 두 조교 모두에게 1 일차에 수학 문제들을 분류하도록 요청했습니다. 그런 다음 일곱 주를 기다린 후, 정확히 같은 문제들을 다시 분류하도록 요청했습니다.

실제 세계에서는 소프트웨어 업데이트가 끊임없이 발생합니다. 이는 마치 좋아하는 비디오 게임이 패치 업데이트를 받는 것과 같습니다. 때로는 게임이 나아지기도 하지만, 때로는 이전에 좋아했던 캐릭터가 갑자기 다르게 움직이거나 약해지기도 합니다.

• 범용 조교 (Gemini) 에게 무슨 일이 일어났나요?
  전체 점수는 정확히 동일하게 유지되었습니다 (58% 정답). 그러나 자세히 살펴보면 특정 문제들에 대해 생각을 바꾼 것이 드러났습니다. 이전에 놓쳤던 세 가지 새로운 문제를 맞혔지만, 이전에 풀었던 세 가지 오래된 문제를 틀렸습니다.

  • 비유: 평균적으로 동일한 형량을 선고하는 판사가, 어떤 특정 범죄에 사형을 선고하고 어떤 것에 무기징역을 선고하는지 바꾸는 상황을 상상해 보세요. "평균"은 동일해 보이지만, 당신의 사건에 대한 구체적인 결과는 예측 불가능하게 변합니다. 이를 "프롬프트 드리프트 (prompt drift)"라고 합니다.

• 교사 조교 (Coteach) 에게 무슨 일이 일어났나요?
  이 조교는 더 나빠졌습니다. 점수가 75% 정답에서 50% 로 크게 떨어졌습니다.

  • 비유: 갑자기 기본 시험지 채점 방법을 잊어버리기 시작한 베테랑 교사를 상상해 보세요. 그들은 단순히 답을 바꾸는 것이 아니라, 실제로 일을 올바르게 수행하는 능력을 일부 잃어버린 것입니다.

핵심 교훈: AI 도구가 "새 버전"을 받거나 배경에서 업데이트된다고 해서 반드시 특정 작업에 더 능숙해지는 것은 아닙니다. 때로는 동일하게 유지되더라도 다르게 행동하기도 하고, 때로는 실제로 더 나빠지기도 합니다.

2 부: "요령" 테스트 (퓨샷 프롬프팅)

일곱 주간의 대기 후, 연구자들은 새로운 방법을 시도했습니다. 조교들에게 단순히 문제를 분류하도록 요청하는 대신, 그들에게 "요령"을 제공했습니다. 이 시트에는 "쉬운" 문제의 완벽한 예시 두 개와 "어려운" 문제의 완벽한 예시 두 개가 각자의 올바른 라벨과 함께 제시되었습니다.

이를 **퓨샷 프롬프팅 (Few-Shot Prompting)**이라고 합니다. 이는 새로운 직원에게 "여기에 좋은 보고서의 샘플과 나쁜 보고서의 샘플이 있습니다. 이제 이 새로운 더미를 보고 이 샘플들처럼 분류하세요"라고 말하는 것과 같습니다.

• 결과:
  • Gemini (사서): 더 좋아졌습니다! 점수가 58% 에서 67% 로 상승했습니다.
  • Coteach (교사): 훨씬 더 좋아졌습니다! 낮은 50% 점수에서 원래의 "전문가" 수준인 75% 까지 완전히 회복했습니다.

핵심 교훈: AI 에게 몇 가지 명확한 예시 (요령) 를 제공하는 것이 소프트웨어 회사가 새로운 버전을 출시할 때까지 기다리는 것보다 더 나은 성능을 발휘하는 데 도움이 되었습니다. 실제로 "요령"은 교사 조교의 실수를 완전히 수정했습니다.

"어려운 것" 문제

하나의 함정이 있었습니다. AI 도구들은 "쉬운" 반복적인 문제들을 분류하는 데 뛰어났습니다. 하지만 "어려운, 사고가 많이 필요한" 문제들 (수학 수행) 에서는 정말로 어려움을 겪었습니다.

요령을 제공했음에도 불구하고, AI 는 가장 어려운 문제들을 여전히 잘못 분류했습니다.

• 비유: 곱셈 공식을 암기하는 데는 뛰어나지만, 새로운 사고 방식을 발명해야 하는 응용 문제를 제시받으면 혼란스러워하는 학생과 같습니다. AI 는 "계산하라"거나 "풀이 과정을 보여라"와 같은 표면적인 단어들을 보는 경향이 있으며, 필요한 깊은 사고를 이해하지 못합니다. AI 는 어려운 정신적 작업을 수행하는 대신 단서를 찾으려 합니다.

논문의 주장 요약

1. AI 는 불안정합니다: 짧은 시간 (7 주) 만 지나도 AI 도구가 질문에 답하는 방식을 바꿀 수 있으며, 때로는 더 나빠지기도 하고 때로는 단순히 예측 불가능하게 행동하기도 합니다.
2. 업데이트는 마법이 아닙니다: AI 의 더 새로운 버전이 특정 학교 과제에서 더 나은 성능을 자동으로 의미하지는 않습니다.
3. 예시가 도움이 됩니다: AI 에게 몇 가지 명확한 예시 (퓨샷 프롬프팅) 를 제공하는 것은 실수를 수정하고 정확도를 높이는 강력한 방법이며, 종종 소프트웨어 업데이트를 기다리는 것보다 더 효과적입니다.
4. 특화 도구는 도움이 필요합니다: 교육 특화 도구 (Coteach) 는 변화에 더 민감했습니다 (더 빨리 나빠졌음) 하지만 범용 도구보다 "요령"에 더 잘 반응했습니다.
5. 어려운 사고는 여전히 어렵습니다: AI 는 예시를 제공받더라도 여전히 가장 복잡한 수학 과제를 식별하는 데 어려움을 겪으며, 종종 이를 더 간단한 문제들과 혼동합니다.

이 논문은 교사나 연구자로서 AI 를 사용할 때 단순히 도구가 "새롭다"는 사실에만 의존해서는 안 된다고 결론 내립니다. 도구가 여전히 올바르게 작동하는지 능동적으로 확인하고, 그 사고를 이끌기 위해 명확한 예시를 제공할 준비가 되어 있어야 합니다.