The challenging task of investigating student thinking: an example from quantum computing

이 논문은 양자 컴퓨팅 개념 평가 도구 (QCCS) 의 한 문항 개발 과정을 통해 학생들의 추론을 파악하는 어려움과 '위상 킥백'과 같은 학습 현상에 대한 통찰을 공유하며, 물리학 교육 연구에서 객관식 문항을 통한 학생 사고 평가의 한계를 경고합니다.

핵심

이 논문은 물리학 교육 연구 (PER) 팀이 양자 컴퓨팅을 배우는 학생들의 생각을 어떻게 파악하려 했는지, 그리고 그 과정에서 겪었던 어려움과 교훈을 흥미진진한 이야기로 풀어낸 글입니다.

핵심은 **"학생들이 문제를 풀 때 머릿속에서 무슨 생각을 하는지 파악하는 것은, 단순히 정답을 맞히는 것보다 훨씬 어렵다"**는 점입니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

🎬 스토리: "15 번 문제의 2 년 전쟁"

연구진들은 '양자 컴퓨팅 개념 설문지 (QCCS)'라는 시험지를 만들었습니다. 이 시험지에는 총 20 개의 문제가 있었는데, 그중 15 번 문제가 유독 특별한 사연을 가지고 있습니다. 나머지 19 개 문제를 다 합친 것보다 이 15 번 문제를 고치고 토론한 시간이 더 길었습니다.

이 문제는 **'위상 킥백 (Phase Kickback)'**이라는 양자 컴퓨팅의 핵심 개념을 테스트하는 것이었습니다.

• 비유: 고전 컴퓨터는 스위치를 켜고 끄는 것 (0 또는 1) 만 하지만, 양자 컴퓨터는 스위치가 동시에 켜지고 꺼지는 '중첩' 상태를 가질 수 있습니다. '위상 킥백'은 한 스위치를 건드리면 멀리 떨어진 다른 스위치의 상태가 바뀐다는 신비로운 현상입니다. (고전 물리에서는 상상하기 힘든 일입니다.)

연구진은 이 복잡한 개념을 4 지 선다형 문제로 만들어 학생들의 이해도를 측정하려 했습니다. 하지만 문제는 생각보다 훨씬 까다로웠습니다.

🕵️‍♂️ 1 단계: "왜 학생들은 엉뚱한 답을 고르지?" (v1.0 ~ v2.0)

처음 만든 문제 (v1.0) 는 학생들에게 혼란을 주었습니다.

• 문제: "측정하면 위쪽 전자의 상태가 어떻게 변할까요?"
• 학생들의 반응: "측정이란 게 정확히 무엇을 의미하는지 모르겠어요", "그림에서 화살표가 어디를 가리키는지 모르겠어요"라고 불평했습니다.

연구진이 문제를 다듬어 v2.0 을 만들었습니다. 하지만 결과는 참담했습니다.

• 현상: 점수가 낮은 학생들은 운으로 정답을 맞혔고, 점수가 중간인 학생들은 오히려 틀린 답을 더 많이 고릅니다.
• 원인: 학생들은 문제를 제대로 읽지 않고, **'시험 기술'**로 답을 유추했습니다. 예를 들어, "정답은 보통 C 나 D 가 아니야"라는 식의 추측을 했거나, 문제의 뉘앙스를 잘못 파악했습니다.

🤯 2 단계: "너무 어려워서 아무도 못 맞췄다" (v2.1)

연구진은 "아, 학생들이 헷갈려서 그런가? 문제를 더 명확하게, 그리고 논리적으로 만들자"라고 생각했습니다.

• 변경: 문제를 두 단계로 나누고, "이 상태는 하나의 식으로 표현할 수 없다"는 선택지를 넣었습니다.
• 결과: 정답률이 3% 로 떨어졌습니다. 거의 아무도 맞히지 못했습니다.
• 이유: 학생들은 "어? '없음 (None of these)'이라는 답이 있나? 아, 이건 함정인가?"라고 생각하며 정답을 고르지 않았습니다. 연구진이 만든 논리는 완벽했지만, **학생들의 심리 (시험에 대한 두려움)**를 간과한 것입니다.

✨ 3 단계: "드디어 정답을 찾았다" (v2.2)

마지막으로 연구진은 문제를 다시 수정했습니다.

• 변경: "이 상태는 하나의 식으로 표현할 수 없다"는 선택지를 **"이 상태는 단일 입자로 표현할 수 없다 (연결되어 있다)"**는 더 명확한 표현으로 바꾸고, 오답들을 학생들의 흔한 오개념에 맞춰 조정했습니다.
• 결과: 비록 여전히 어려운 문제 (정답률 23%) 였지만, 고득점 학생이 정답을 많이 고르고, 저득점 학생이 틀린 답을 고르는 완벽한 패턴이 나타났습니다.
• 의미: 이제 이 문제는 학생들의 '운'이나 '시험 기술'이 아니라, 실제 양자 역학에 대한 이해도를 정확히 재고 있다는 것을 증명했습니다.

---

💡 이 이야기에서 배우는 교훈 (일상적인 비유)

이 논문은 단순히 물리학 문제를 고친 이야기가 아니라, 사람의 마음을 읽는 것의 어려움을 보여줍니다.

1. 시험지는 거울이 아니라, 렌즈다:
   연구진은 문제를 통해 학생의 생각을 보려 했지만, 문제는 때로는 학생의 생각을 왜곡해서 보여줍니다. 마치 거울에 비친 상이 왜곡되어 보일 때, 거울을 닦는 게 아니라 거울의 각도를 조절해야 하듯, 문제의 wording(표현) 을 조금만 바꿔도 학생의 반응이 완전히 달라집니다.

2. 학생들은 '시험 전문가'다:
   학생들은 문제를 풀 때 물리 지식을 쓰는 것보다, "어떤 답이 정답처럼 보이는지", "선지 중에 이상한 게 있는지"를 먼저 봅니다. 연구진이 아무리 논리적인 문제를 만들어도, 학생들은 그걸 '시험 문제'라는 틀에서 해석합니다.

3. 실패는 발견의 시작이다:
   15 번 문제는 2 년 동안 4 번이나 고쳐졌습니다. 이 과정에서 연구진은 학생들이 양자 상태를 어떻게 오해하는지, 어떤 용어가 혼란을 주는지 등 물리 교육에 대한 중요한 통찰을 얻었습니다. 만약 실패를 두려워하고 처음 문제만 냈다면, 이런 깊은 통찰은 얻지 못했을 것입니다.

📝 결론

이 논문은 **"학생들이 어떻게 생각하는지 알아내는 일은 매우 어렵지만, 그 과정을 통해 우리는 학생들의 마음을 더 깊이 이해하게 된다"**는 메시지를 전달합니다.

마치 미스터리 소설을 쓰다가, 독자들이 예상치 못한 반전을 만들어내면 작가가 다시 줄거리를 고쳐야 하는 것처럼, 교육 연구자들도 학생들의 반응을 보며 문제를 끊임없이 다듬어 나갑니다. 결국 15 번 문제는 단순한 시험 문제가 아니라, 학생들의 사고 과정을 탐구하는 여정의 상징이 되었습니다.

기술 요약

1. 문제 제기 (Problem)

• 학생 사고의 미묘함 포착의 어려움: 물리 교육 연구 (PER) 의 주요 목표는 학생이 물리를 어떻게 사고하는지 이해하는 것이지만, 학생의 추론 (reasoning) 의 미묘한 뉘앙스를 포착하는 것은 매우 어렵습니다.
• 다지선다형 평가의 한계: 연구 기반의 개념 평가 도구를 개발할 때, 복잡한 학생 사고를 다지선다형 (Multiple-Choice) 문항으로 정확히 측정하는 것은 난제입니다. 문항의 wording(표현) 이나 구조에 사소한 변화만으로도 학생이 사용하는 추론 방식이 극적으로 달라질 수 있습니다.
• 구체적 사례: 본 논문은 QCCS 의 15 번 문항 (양자 위상 킥백, Phase Kickback 개념 관련) 이 팀 내 다른 19 개의 문항 합계보다 더 많은 수정과 논의를 거쳤던 '배후 이야기'를 통해 이러한 도전을 구체화합니다.

2. 방법론 (Methodology)

• 연구 도구: 양자 컴퓨팅 개념 설문지 (QCCS) 개발 및 검증 과정.
• 데이터 수집 및 분석:
  • 대규모 실사: 미국 전역의 다양한 대학 (최대 55 개 과정, 46 개 기관) 에서 2023 년 가을부터 2025 년까지 4 번의 파일럿 (v1.0 ~ v2.2) 을 진행하여 총 2,015 명 이상의 학생 응답을 수집했습니다.
  • 정성적 연구: 학생 사고 구술 인터뷰 (Think-aloud interviews, 총 36 명), 전문가 (교수) 인터뷰, 개방형 응답 (Open-response) 분석을 병행했습니다.
  • 정량적 지표: 문항 난이도 (Item difficulty, $p_i$) 와 문항 변별력 (Item discrimination, $\rho^*_i$) 을 분석하여 문항의 성능을 평가했습니다.
• 반복적 개선 (Iterative Refinement): 각 파일럿 단계에서 수집된 정성적/정량적 데이터를 바탕으로 문항의 표현, 회로도, 보기를 수정하며 v1.0 에서 v2.2 로 진화시켰습니다.

3. 주요 기여 및 발견 (Key Contributions & Findings)

본 논문은 단순한 평가 도구 개발을 넘어, 학생의 양자 역학 이해에 대한 심층적인 통찰을 제공합니다.

A. 문항 개발의 진화 과정 (Item 15 의 변천사)

1. v1.0 (2023 가을):
   • 문제점: '측정'의 기준 (기저, Basis) 이 모호함, '효과 (effect)'와 'CAN'이라는 단어의 모호성, 회로도 해석의 혼란.
   • 결과: 학생들의 응답 패턴이 일관되지 않았고, 문항 구조가 비효율적이었음.
2. v2.0 (2024 봄):
   • 수정: 입력 상태를 구체화 ($|+\rangle$), 시간 슬라이스 (dashed line) 추가, 측정 기호 명확화 ('0/1' 레이블).
   • 문제점: 변별력이 매우 낮음 ($\rho^* = 0.14$). 저성적 학생이 운으로 정답을 맞춘 반면, 중위권 학생은 오답을 선택하는 비단조적 (non-monotonic) 패턴 발생.
   • 원인: 학생이 문항의 개념적 이해 없이 다지선다형 추측 전략을 사용하거나, 문맥을 잘못 해석함.
3. v2.1 (2024 가을):
   • 수정: 2 단계 질문 구조 도입 (측정 전/후 상태 분리).
   • 문제점: 정답률이 3% 로 급락하여 사실상 불가능한 문항이 됨.
   • 원인: 학생들이 'e' (없음/정의되지 않음) 와 같은 보기를 기피하는 '시험 전략' (Test-taking strategy) 이 개념적 추론을 압도함.
4. v2.2 (2025):
   • 최종 수정: "단일 큐비트 ket 으로 표현할 수 없다"는 명확한 옵션 추가.
   • 결과: 난이도는 높았으나 ($p=0.23$), 변별력이 양호해짐 ($\rho^* \gtrsim 0.3$). 정답률이 전체 점수와 함께 단조 증가하여 문항이 의도한 대로 작동함을 확인.

B. 학생 사고에 대한 통찰

• 위상 킥백 (Phase Kickback) 의 오개념: 많은 학생이 CNOT 게이트의 '제어 (control)' 큐비트는 측정이나 타겟의 상태 변화에 영향을 받지 않는다고 잘못 이해함 (고전적 XOR 게이트와의 유추 오류).
• 얽힘 상태 (Entangled State) 와 단일 큐비트 표현: 학생들은 얽힘 상태에서도 개별 큐비트의 상태를 항상 단일 ket($|\psi\rangle$) 으로 표현할 수 있다고 잘못 생각하는 경향이 있음.
• 측정 기호의 혼란: 일부 과정에서는 측정 기저 (Basis) 를 명시하지 않으면 무의미하다고 가르치는 반면, 다른 과정에서는 암묵적으로 Z 기저를 가정하는 등 교육적 관례의 차이가 학생의 혼란을 야기함.

4. 결과 (Results)

• 최종 문항 성능: v2.2 버전의 15 번 문항은 정답률이 낮지만 (약 23%), 고득점 학생일수록 정답률이 높아지는 양호한 변별력을 보임. 이는 문항이 단순한 추측이 아닌, 복잡한 개념적 통합 (얽힘, 부분 측정, 위상 킥백) 을 요구하는 것으로 해석됨.
• 오답 패턴 분석:
  • 가장 흔한 오답 ('ca') 은 얽힘 상태에서도 개별 큐비트 상태를 ket 으로 표현할 수 있다는 오개념과 관련됨.
  • 다른 오답 ('cc') 은 제어 큐비트가 변하지 않는다는 고전적 유추 오류를 반영함.
• 통계적 유의성: 초기 버전들의 낮은 변별력은 문항의 설계 결함이나 학생의 시험 전략 때문이었으며, 최종 수정을 통해 이를 해결함.

5. 의의 및 시사점 (Significance)

• PER 평가 도구 개발의 교훈:
  • 반복적 검증의 필수성: 전문가의 직관이나 화이트보드 토론만으로는 실제 학생의 반응을 예측하기 어렵다. 실제 학생을 대상으로 한 지속적인 필드 테스트 (Field testing) 가 필수적이다.
  • 문항 설계의 민감성: 문항의 표현이나 구조에 사소한 변화 (예: 'none of these' 옵션의 유무) 가 학생의 사고 과정과 문항 성능에 지대한 영향을 미친다.
  • 시험 전략의 간섭: 학생들은 개념적 이해가 부족할 때, 시험 기술 (시험 전략) 을 사용하여 정답을 유도하거나 오답을 피하려 할 수 있으며, 이는 평가 도구의 타당성을 훼손할 수 있다.
• 교육적 함의:
  • 양자 컴퓨팅 교육에서 '측정'의 정의와 기저 (Basis) 표기법에 대한 명확한 합의가 필요함.
  • 학생들의 오개념 (예: 얽힘 상태의 개별 큐비트 표현, 위상 킥백의 메커니즘) 을 해결하기 위한 구체적인 교수 전략이 필요함.
• 학문적 기여: 이 연구는 PER 분야에서 평가 도구 개발의 '배후 (Behind-the-scenes)' 과정을 공개함으로써, 연구 기반 교육 자료 개발의 복잡성과 중요성을 보여주며, 향후 유사한 연구자들에게 귀중한 사례를 제공한다.

결론적으로, 이 논문은 양자 컴퓨팅 개념 평가의 구체적 사례를 통해, 학생의 복잡한 사고를 측정하기 위해서는 단순한 지식 확인을 넘어 심층적인 인지 과정 분석과 반복적인 문항 개선이 필수적임을 강조합니다.