Thinking-Visibility: An Interventionist Reconceptualisation of Assessment in the Age of AI Co-Production

기술 요약: 사고의 가시성(Thinking-Visibility): AI 공동 생산 시대의 평가에 대한 개입주의적 재개념화

문제 제기
본 논문은 현대 교육의 구조적 역설을 다룬다. 교육자들이 전문적 실무에 생성형 AI(GenAI)를 점점 더 많이 통합하고 있는 반면, 평가 기준은 여전히 독립적인 인간 저작을 위해 설계되어 있다는 점이다. 기존 문헌은 주로 무결성 감시, 부정행위 탐지, 타당성 재설정에 집중해 왔으나, AI 공동 생산이 학생의 작업에 구조적으로 통합될 때 평가 기준이 어떻게 변화하는지에 대한 경험적 근거를 제공하는 데는 실패했다. 프로세스 문서화와 같은 기존의 해결책들은 그 자체가 AI에 의해 생성될 수 있다는 취약성을 드러냈으며, 이로 인해 실무자들은 실행 가능한 프레임워크를 얻지 못하고 정책 입안자들은 증거 기반을 확보하지 못하는 상황에 놓였다. 핵심 문제는 전통적인 기준들이 학생들이 자신의 사고를 진정으로 평가하고 있는 것인지, 아니면 그 판단을 AI에 외주 주고 있는 것인지를 포착할 수 없다는 점이며, 이는 진정성과 타당성의 위기를 초래한다.

방법론
본 연구는 **문화-역사적 활동 이론(CHAT)**을 분석적 렌즈로 채택하고, **변화 실험실(Change Laboratory)**을 개입주의적 방법론으로 사용한다. 이 접근 방식은 체계적 모순을 제거해야 할 오류가 아니라 변혁의 동력으로 취급한다.

• 참여자: 초등, 중등, 고등 교육 부문에 걸친 9개국(영국, 뉴 Zealand, 인도네시아, 사우디아라비아 포함) 출신의 교육자 11명. 이들은 피험자가 아닌 공동 연구자로 배치되었다.
• 개입 설계: 엥게스트룀(Engeström)의 7단계 확장 학습 순환(질문, 분석, 모델링, 검토, 실행, 성찰, 공고화)을 중심으로 구성된 3주간의 5회 워크숍 개입.
• 데이터 생성: 워크숍 1에서 AI 사용 정도가 각기 다른 세 개의 채점된 학생 답안지인 "미러 데이터(mirror data)"를 도입하여, 전문적 가치와 기존 기준 사이의 모순을 표면화했다. 데이터 소스는 워크숍 전사본, 협업 결과물(재설계된 기준), 채팅 로그, 그리고 사전/사후 인터뷰 성찰 기록을 포함한다.
• 분석: 본 연구는 활동 시스템 내의 모순(일차, 이차, 삼차, 사차 모순)을 추적하며, 미러 데이터에서 관찰된 방해 요소들을 통해 질문 단계에서 재정의된 대상(object)으로 이어지는 궤적을 추적함으로써 '평가 대상'의 변천 과정을 분석했다.

주요 결과
개입 결과, 평가의 모순은 단순한 기술적 결함이 아니라 깊은 체계적 긴장임을 드러냈다.

1. 대상 궤적 (O1–O7): 본 연구는 평가 대상의 진화를 7단계에 걸쳐 경험적으로 추적했다:
   • O1–O2: AI를 탐지하고 인지 수준(블룸의 교육 목표 분류학)에 맞춰 조정하기 위한 더 나은 기준을 만들려는 초기 시도.
   • O3–O4: 프로세스의 엄격성을 평가하는 방향으로의 전환. 여기서 엄격한 과정의 결과로 나타난 실패한 결과물은 성취로 간-주된다. 그러나 참가자들은 프로세스 문서화 자체도 AI에 의해 생성될 수 있음을 발견했으며, 이에 따라 **교사 판단(teacher judgement)**을 필수적이지만 위험성이 따르는 인식론적 도구로서 재도입했다.
   • O5–O7: 기준의 개편만으로는 불충분하다는 깨달음. 대상은 이중 트랙 평가(형성적 과정 + 총괄적 역량)로 확장되었으며, 궁극적으로 완전한 변혁을 위해서는 제도적 및 정치적 개혁이 필요함을 인식했다.
2. 과정-증거의 역설: 프로세스 문서화는 최종 결과물과 마찬가지로 AI 생성에 취약하기 때문에 유효한 타당성 해결책이 될 수 없음을 발견했다.
3. 모순의 전이: 본 개입은 제품에서 과정으로 초점을 옮김으로써 주요 모순을 부분적으로 해결했으나, 대부분의 모순은 해결되지 않고 전이되었다. 정책의 파편화와 제도적 지원의 부재는 여전히 변하지 않은 상태로 남았다.
4. 사고의 가시성(Thinking-Visibility): 제품이나 과정의 단계가 아닌, 학생의 사고를 가시화할 필요성을 확인했다. 이는 구두 질의, 프롬프트 주석 달기, 실시간 책임 대화와 같은 메커니즘을 통해 구체화되었다.

주요 기여
본 논문은 AI 매개 평가에 관한 문헌에 네 가지 구체적인 기여를 한다:

1. 확장 학습의 경험적 운용화: 본 연구는 O1–O7 대상 궤적에 대한 경험적 설명을 제공함으로써, 실무자들이 체계적 긴장과 마주하며 어떻게 평가 대상을 점진적으로 재형성하는지(단순히 모순을 식별하는 것을 넘어 그 발전적 결과를 추적함)를 입증했다.
2. 과정-증거 역설의 해결: 프로세스 문서화가 AI 생성에 취약하여 평가 타당성을 보장할 수 없음을 보여준다. 결과적으로, 교사 판단은 일관성 및 편향성의 내재적 위험에도 불구하고, 진정한 인지를 해석하기 위한 대체 불가능한 필수 기제로서 식별된다.
3. 제도적 필연성: 기준의 개편은 병행되는 제도적, 정치적 변화 없이는 성공할 수 없음을 확립한다. 본 연구는 고립된 교육적 변화를 무력하게 만드는 정책의 파편화(예: 시험 위원회 간의 상이한 규칙)와 제도적 저항의 깊이를 폭로한다.
4. 사고의 가시성이라는 이론적 구성 개념: 본 논문은 AI 매개 맥락에서 평가가 지향해야 할 긍정적 모습으로서 "사고의 가시성"이라는 임시적 구성 개념을 제안한다. 이는 평가가 무엇을 '그만두어야 하는가'(감시)에서 무엇이 '되어야 하는가'(학생의 추론과 AI 출력물에 대한 소유권을 가시화함)로 초점을 전환한다.

의의 및 주장
본 논문은 AI 통합이 단순한 선형적 개선을 가져오는 것이 아니라, 기준, 진정성, 공정성, 정책의 모순이 집단적으로 다뤄지는지에 따라 부분적 안정화와 퇴보 사이의 움직임을 생성한다고 주장한다.

• 제한적 범위: 저자들은 본 개입이 모든 모순을 완전히 해결하지 못했으며, 많은 모순이 전이되었음을 인정한다. 연구는 완성된 해결책이 아닌, 두 번째 개입을 위한 "열림(opening)" 상태에서 결론을 맺는다.
• 이론적 닻: 의의는 기준 설계 원칙을 넘어 평가 대상 자체를 재개념화하기 위한 이론적 닻("사고의 가시성")을 제공하는 데 있다.
• 향후 방향: AI 대체에 더 강한 메커니즘(예: 문서화가 아닌 실시간 현존성)을 통해 "사고"의 정의와 "사고의 가시성"의 운용화가 여전히 열려 있는 과제임을 명시하며, 정책, 교사 리터러시, 블룸의 분류학 조정을 다루는 두 번째 개입을 권고한다.