Who Designs the Designer? Behavioural Architecture for GenAI in Education

기술 요약: 누가 디자이너를 디자인하는가? 교육 분야 생성형 AI를 위한 행동 아키텍처(Behavioural Architecture)

문제 제기
본 논문은 현재 교육 분야의 AI 담론이 두 가지 비효과적인 패러다임 사이에 "갇혀" 있다고 지적한다. 하나는 "AI 방어(AI-proofing)" 접근법(도구 사용을 금지하고 신뢰할 수 없는 탐지기에 의존하는 방식)이며, 다른 하나는 "튜터로서의 AI(AI-as-tutor)" 접근법(콘텐츠 적응형 시스템)이다. 두 방식 모두 실패하는데, 그 이유는 인간의 인지 능력만큼이나 성격, 동기, 정서적 상태가 학습 결과에 결정적인 영향을 미친다는 수십 년간의 연구 결과를 무시하기 때문이다. 현재의 시스템들은 학생의 동의나 이해 없이 불투명한 행동 흔적(예: 클릭 패턴, 응답 시간)으로부터 이러한 특성들을 추론하며, 이는 신뢰할 수 없는 프로파일링과 학생의 주체성 결여로 이어진다. 나아가, '디자이너 역할'—즉, 시스템이 학생에 대해 무엇을 진실로 간직할 것인지를 정의하는 주체—은 현재 AI 벤더들이 독점하고 있으며, 이로 인해 교육 기관이 스스로 통제하지 못하는 시스템을 사용하여 학생을 평가하는 권력 불균형이 발생하고 있다.

방법론 및 제안된 아키텍처
본 논문은 실증적인 결과를 제시하는 대신, **행동 아키텍처(Behavioural Architecture)**라고 불리는 이론적 프레임워크를 제안한다. 이 아키텍처는 세 가지 핵심 메커니즘을 통해 교육용 AI 시스템의 설계를 재정의한다:

1. 공동 저작 학습 기록(Co-authored Learning Records): 숨겨진 데이터 흔적으로서 학생의 특성을 추론하는 대신, 시스템은 학생과 시스템이 공동으로 저작한 기록에 기반하여 적응한다.
   • 학생의 주체성: 학생은 자신의 학습 패턴에 이름을 붙일 수 있고, 시스템의 제안을 수락하거나 거부할 수 있으며, 언제든 기록을 읽고 수정할 수 있다.
   • 명시적 채택: 어떤 패턴도 학생의 확인(또는 시스템의 확인 요청)을 통한 명시적 채택 없이는 규칙이 되지 않는다.
   • 종단적 인프라: 본 모델은 단기적인 교과 과정 차원의 개입이 아니라, 학교에서 지급하는 노트북처럼 학생의 이해가 초기에 구축되고 수년에 걸쳐 지속적으로 정교화되는 제도적 인프라를 지향한다.
2. 디자이너 역할의 재분배: '디자이너'(학생의 표상을 정의하는 역할)의 역할은 다음 세 주체에게 분산된다:
   • 교육자: 교육적 틀, 학습 목표, 그리고 기초 경로를 설정한다.
   • 학생: 자신의 학습 패턴과 동기에 대한 표상을 공동 저작한다.
   • AI: 교육자와 학생이 설정한 제약 조건 내에서 실행한다.
3. 윤리적 제약: 이 아키텍처는 시스템이 학습 패턴으로부터 심리학적 결론을 도출하는 것을 명시적으로 금지한다. 이는 '학습 관찰'(예: "당신은 휴식 후에 글을 더 잘 씁니다")과 '심리학적 주장'을 구분함으로써, 시스템이 학생의 학업 미래에 권력을 가진 기관 내에서 무면허 임상 도구처럼 행동하는 것을 방지한다.

주요 기여
본 논문의 주요 기여는 빈자리(vacancy)를 명명한 것이다: 교육용 AI의 '디자이너 역할'은 현재 비어 있다. 저자들은 이 역할을 수행하기 위해서는 아직 존재하지 않는 인프라가 필요하다고 주장한다. 논문은 다음 내용을 개괄한다:

• 적응의 전환: 콘텐츠 적응(숨겨진 흔적에 따라 자료를 조정함)에서 행동 적응(대화를 통해 드러나는 성격, 동기, 정서에 적응함)으로의 이동.
• 메타 리터러시(Meta-literacy)를 핵심 목표로 설정: 공동 저작은 현재 가르치지 않는 기술임을 식별한다. 저자들은 적응형 시스템 내에서 정보를 평가, 수정, 형성하는 능력인 '메타 리터러시'가 디지털 격차(특권층 학생들만이 효과적으로 참여할 수 있는 상황)를 방지하기 위한 핵심 학습 목표가 되어야 한다고 주장한다.
• "솔라리아 리스크(Solaria Risk)": 매우 효과적인 사적 학습 환경이 교육의 집단적 역량을 해체할 수 있다는 새로운 위험을 식별한다(아시모프의 솔라리아에 비유). 개인의 성취만을 측정하는 현재의 지표로는 이러한 공유 학습의 침식을 감지할 수 없다.

거버번스 요구사항
본 논문은 개별 교육 기관이 시스템의 운영자인 동시에 학생의 평가자인 상황에서 필요한 구조적 보호를 제공할 수 없다고 주장한다. 따라서 세 가지 메커로리즘에 기반한 EU 차원의 거버넌스를 제안한다:

1. GDPR의 간극 메우기: 데이터 이동성(제20조)을 추론 및 파생된 행동 프로필까지 확장하여 벤더 종속(vendor lock-in)을 방지한다.
2. 독립적 인증: 행동 아키텍처가 교육적으로 건전하고 심리학적으로 안전하다는 것을 보장하기 위해 EU AI 법(AI Act)을 확장 적용한다.
3. 상호운용성 표준: 유럽 보건 데이터 공간(European Health Data Space)의 선례를 적용하여 학생들이 종단적 기록을 잃지 않고 시스템 간에 이동할 수 있도록 한다.

결과 및 주장
본 논문은 실증적 결과나 실험 데이터를 제시하지 않는다. 이는 개념적 제안이다.

• 주장: 저자들은 현재의 시스템이 비인지적 요인을 무시하고 학생의 주체성이 부족하기 때문에 실패한다고 주장한다. 또한, 제안된 아키텍처가 행동 적응을 윤리적으로 배치할 수 있는 유일한 방법이라고 단언한다.
• 겸손함: 저자들은 해당 아키텍처를 무엇이 "교육적으로 안전하게" 만드는지 결정할 수 있는 연구 기반이 아직 존재하지 않음을 인정하며, 현재 분야의 상태에 대해 겸손한 태도를 취한다.
• 미래 검증: 논문은 아키텍처의 타당성을 테스트하기 위한 다섯 가지 실증적 질문을 제안하며 결론을 맺는다:
  1. 이 모델이 콘텐츠 전용 적응보다 더 나은 학습 결과를 만들어내는가?
  2. 공동 저작이 진정으로 권력 불균형을 줄이는가, 아니면 형식적인 행위인가?
  3. "솔라리아 효과"(협력적 역량의 상실)가 나타나는가?
  4. 시스템이 학습 관찰에서 심리학적 주장으로 선을 넘지 않도록 설계될 수 있는가?
  5. 메타 리터러시 교육이 학생의 성과를 변화시켜, 필수 교육의 필요성을 입증하는가?

의의
본 논문의 의의는 현재 교육용 AI 트렌드에 대한 구조적 비판에 있다. 저자들은 디자이너 역할을 재분배하고 초국가적 수준의 거버넌스를 확립하는 의도적인 설계가 없다면, 이 분야가 감시 시스템이나 고립된 학습 경험으로 전락할 위험이 있다고 주장한다. 이는 기술적인 알고리즘 개선의 문제가 아니라, 학습자에 대한 진실을 누가 정의하느냐라는 거버넌스와 아키텍처의 문제로 프레임화한다.