From Student Risk Prediction to SC2R: Semantics-Constrained Counterfactual Recourse for Educational Decision Support

현대 교육의 광활한 디지털 환경 속에서 학습 관리 시스템은 학생 활동의 끊임없는 흐름을 기록합니다: 강의 페이지 클릭, 퀴즈 제출, 포럼 참여, 그리고 모든 로그인 시점까지 말입니다. 수년 동안 데이터 과학자들은 이러한 디지털 흔적을 사용하여 어떤 학생이 어려움을 겪거나 낙제할 가능성이 높은지 예측하는 모델을 구축해 왔습니다. 이러한 예측 도구는 위기가 발생하기 전 위험군 학습자를 식별하는 조기 경보 시스템 역할을 합니다. 그러나 문제에 대한 예측은 해결책의 절반에 불과합니다. 학생이 위험하다는 것을 아는 것만으로는 교사나 상담사에게 구체적으로 어떤 실질적인 조치를 취할 수 있는지 알려주지 못합니다. "이 학생은 낙제할 것이다"라는 경고는 "이 학생이 이 세 개의 페이지를 복습하고 지원 세션에 한 번 참여한다면, 통과 확률이 크게 높아진다"라고 안내하는 가이드보다 유용성이 떨어집니다. 과제는 통계적 위험 점수를 시간, 자원, 학생의 개인정보 보호라는 현실 세계의 제약 조건을 존중하면서도 구체적이고 실행 가능한 계획으로 전환하는 데 있습니다.

이것이 바로 연구진이 예측된 실패를 성공으로 연결하기 위해 개발한 새로운 프레임워크인 SC2R이 다루는 핵심 문제입니다. Open University Learning Analytics 데이터셋의 데이터를 활용하여 작업한 연구팀은 단순한 위험 점수를 넘어, 수학적으로 가능할 뿐만 아니라 실제 교실의 제약 조건 내에서 실제로 실행 가능한 중재 계획을 생성하고자 했습니다. 그들은 만약 추천 내용이 마감 기한이 지난 후 수업에 참석하라고 하거나, 영구적인 개인적 특성을 변경하라고 하거나, 혹은 이용 불가능한 자원에 접근하라고 요구하는 것처럼 불가능한 일을 학생에게 요구한다면 그 추천은 무용지물이라는 점을 인식했습니다. 이를 해결하기 위해 그들은 예측 모델을 시간, 예산, 가용성에 관한 일련의 엄격하고 기계 판독 가능한 규칙들과 대조하여 모든 제안된 행동을 검증하는 시스템과 결합했습니다.

연구진은 세 가지 뚜렷한 단계로 작동하는 시스템을 구축했습니다. 첫째, 시스템은 학생의 현재 상태를 살펴보고, 다가오는 시험 전 특정 시점에서의 최근 활동과 과거 성과를 포착합니다. 그다음 예측 모델은 해당 학생이 다음 평가를 통과할 확률을 추정합니다. 만약 그 확률이 너무 낮다면, 시스템은 두 번째 단계로 전환하여 결과(성공)를 개선하기 위한 잠재적 행동 목록을 생성합니다. 이는 모호한 제안이 아니라, 특정 횟수의 연습 퀴즈를 검토하거나 일련의 강의 페이지를 다시 방문하는 것과 같이 이산적이고 셀 수 있는 단계들입니다. 시스템은 수학적 최적화 방법을 사용하여 학생의 노력을 최소화하면서도 성공 가능성을 가장 높일 수 있는 행동의 조합을 찾아냅니다.

그러나 이 연구의 진정한 혁신은 시스템이 엄격한 문지기 역할을 하는 세 번째 단계에 있습니다. 제안된 계획이 인간에게 전달되기 전, 이는 구조화된 디지털 형식으로 변환되어 의미론적 검증(semantic validation) 과정을 거칩니다. 이 과정은 제안된 모든 행동이 교육 환경의 현실에 부합하는지를 검증합니다. 즉, 제안된 활동들이 시험 마감일 전에 완료될 수 있는지, 총 노력이 합리적인 한도를 초 exceed하지 않는지, 그리고 학생이 자신의 정체성이나 이력에 관한 불변의 사실을 변경하도록 요구받지 않는지를 확인합니다. 또한 시스템은 특정 실험 세션이나 지원 사무실과 같은 필수 자원이 제안된 시간 동안 실제로 열려 있고 이용 가능한지도 확인합니다.

연구진이 127,000명 이상의 학생 스냅샷 데이터를 통해 이 프레임워크를 테스트했을 때, 결과는 이러한 제약 조건의 결정적인 중요성을 강조했습니다. 시스템의 예측 구성 요소는 높은 신뢰도로 위험군 학생을 정확하게 식별하며 강력한 성능을 보였습니다. 더 중요한 것은, 시스템이 수천 개의 압축된 중재 계획을 성공적으로 생성했다는 점이며, 평균 계획은 원하는 성공 확률 개선을 달성하기 위해 1개 이상의 행동을 요구했습니다. 이러한 중재의 평균 비용은 노력의 척도인 단위로 계산했을 때 약 10.3 유닛이었습니다. 결정적으로, 의미론적 검증 계층은 이러한 엄격한 검사 없이는 서류상으로는 좋아 보이는 많은 계획이 실제로는 거부되었을 것임을 드러냈습니다. 자원의 가용성을 고려하도록 요청된 200가지 사례에 대한 통제된 테스트에서, 초기에는 유효해 보였던 계획 중 거의 13%가 제안된 시간에 필요한 자원을 사용할 수 없다는 이유로 불가능한 것으로 분류되었습니다.

이 연구는 이러한 시스템의 가치가 학생의 통과를 보장하는 데 있는 것이 아니라, 제공되는 조언이 신뢰할 수 있고 운영상 타당함을 보장하는 데 있다고 시사합니다. 연구진은 시스템이 수학적으로 유효한 계획을 생성할 수는 있지만, 실질적인 실행을 위해서는 의미론적 제약이 필수적이라는 것을 발견했습니다. 이러한 구분은 교육자와 인공지능 사이의 신뢰를 구축하는 데 매우 중요합니다. 만약 시스템이 교사가 실행 불가능하다고 알고 있는 계획을 제안한다면, 도구 전체의 신뢰성을 잃게 됩니다. 계획의 실행 가능성을 기계적으로 확인할 수 있게 함으로써, 이 프레임워크는 권장 사항이 단지 모델상으로만 유효한 것이 아니라 의미론적으로 실행 가능하고 해석 가능하다는 것을 보장합니다.

또한 이 연구는 기초 데이터가 약간 변하거나 모델이 재학습될 때 이러한 권장 사항이 얼마나 안정적인지를 조사했습니다. 결과에 따르면, 학생의 입력값이 미세하게 변할 때는 계획이 어느 정도 안정적이었으나, 예측 모델 자체가 업데이트될 때는 안정성이 떨어졌습니다. 이는 프레임워크가 즉각적인 의사결정에는 견고하지만, 학습 환경이나 모델의 이해도가 크게 변화할 경우 권장 사항을 재검토해야 할 수도 있음을 나타냅니다. 연구진은 자신들의 평가가 과거 데이터를 사용한 오프라인 방식으로 수행되었음을 주의 깊게 명시하였으며, 이는 이 계획을 따르는 것이 실제 환경에서 학생의 성과를 실제로 변화시킨다는 것을 증명할 수는 없음을 의미합니다. 이 연구는 개입의 인과적 영향을 입증하는 것이 아니라, 방법론의 타당성을 확립하는 것입니다.

궁극적으로, 이 연구는 교육적 지원을 생각하는 새로운 방식을 제시합니다. 이는 단순히 누가 위험한지를 식별하는 차원을 넘어, 교육을 지배하는 시간, 자원, 규칙이라는 복잡한 그물망을 존중하면서 무엇을 할 수 있는지를 정의하는 단계로 나아갑니다. 중재 계획 수립을 수학적 최적화와 의미론적 현실 검증이 모두 필요한 문제로 다룸으로써, 이 프레임워크는 예측만큼이나 실용적인 의사 결정 지원을 위한 경로를 제공합니다. 연구 결과는 인공지능이 교육 분야에서 진정으로 유용해지기 위해서는 단순히 숫자만을 이해하는 것이 아니라, 그 숫자를 의미 있게 만드는 제약 조건들을 이해하며 교실의 언어로 말할 수 있어야 함을 시사합니다.