T-TExTS (Teaching Text Expansion for Teacher Scaffolding): Enhancing Text Selection in High School Literature through Knowledge Graph-Based Recommendation

기술 요약: T-TExTS (교사 발판을 위한 교수 텍스트 확장)

문제 제기
고등학교 영어 문학 교사들은 제한된 수업 준비 시간과 교수학적 자원의 부재로 인해 다양하고 주제적으로 정렬된 텍스트 세트를 구성하는 데 상당한 장벽에 직면해 있습니다. 협업 필터링 (CF) 과 콘텐츠 기반 필터링 (CBF) 과 같은 전통적인 추천 시스템은 이 도메인에 적합하지 않습니다. CF 는 희소한 상호작용 데이터로 인해 콜드스타트 (cold-start) 문제에 시달리고, CBF 는 사용자의 기존 선호도를 넘어선 새로운 주제를 도입하는 데 어려움을 겪습니다. 또한, 교육 분야의 기존 지식 그래프 (KG) 응용 프로그램은 주로 STEM 또는 대규모 온라인 공개 강좌 (MOOC) 에서의 선형적 개념 순서에 초점을 맞추어, 문해력 교육에 필요한 비선형적 의미 연결 (예: 공유된 주제, 사회적 정의 속성, 장르 복잡성) 을 다루지 못했습니다. 중등 영어 언어 예술 (ELA) 을 위한 텍스트 세트의 교수학적 발판을 지원하는 도구에 있어 명확한 공백이 존재합니다.

방법론
저자들은 표면적 메타데이터보다 교수학적 가치를 우선시하는 KG 기반 추천 시스템인 T-TExTS 를 제안합니다. 방법론은 세 가지 주요 구성 요소로 이루어집니다:

1. 도메인 특화 온톨로지 구축:
   지식 획득 및 표현 방법론 (KNARM) 을 사용하여 저자들은 교수학적 기준에 기반한 도메인 특화 온톨로지를 구축했습니다. 이 과정은 다음을 포함했습니다:

   • 데이터 수집: 캔자스 주 연구, 교육자 상담, 그리고 고등 교육 과정 (ENGL 545 및 ENGL 580) 에서 텍스트를 집계했습니다.
   • 텍스트 분석: 텍스트의 복잡성과 교수학적 가치를 평가하기 위해 정량적 도구 (Lexile, Flesch-Kincaid, ATOS) 와 정성적 평가 기준 (Achieve the Core) 을 적용했습니다.
   • 온톨로지 설계: 스키마를 클래스 (Text, Author, Genre, Theme, TextComplexity) 를 정의하는 용어 상자 (TBox) 와 특정 명제를 포함하는 명제 상자 (ABox) 로 분리했습니다. 온톨로지는 hasGenre, hasTheme, hasTextComplexity 와 같은 관계를 명시적으로 모델링합니다.

2. 지식 그래프 생성:
   온톨로지는 RDFLib 를 사용하여 지식 그래프로 인스턴스화되었고 GraphDB 저장소에 저장되었습니다. 이 그래프는 교수학적 및 구조적 관계로 연결된 개인 (개체) 으로서 텍스트와 저자를 표현합니다.

3. 임베딩 및 추천 전략:
   시스템은 무작위 보행 기반 그래프 임베딩 기법을 사용하여 KG 의 상징적 관계를 연속적인 벡터 공간에 투영합니다. 네 가지 전략이 평가되었습니다:

   • DeepWalk: 균일한 무작위 보행.
   • 편향된 무작위 보행 (Biased Random Walk): 특정 교수학적 관계 (예: 장르, 주제) 를 우선시하도록 도메인 전문가가 전이 확률에 가중치를 부여하여 안내하는 전문가 주도 보행.
   • Node2Vec: 복귀 ($p$) 및 내부 - 외부 ($q$) 매개변수로 제어되는 매개변수화 무작위 보행으로, 너비 우선 탐색 (BFS) 과 깊이 우선 탐색 (DFS) 탐색 사이의 균형을 맞춥니다.
   • 하이브리드 모델: DeepWalk (균일) 와 편향된 무작위 보행 (전문가 가중치) 임베딩의 연결을 통해 구조적 범위와 교수학적 초점을 결합합니다.

   추천은 앵커 텍스트의 임베딩과 코퍼스 내 모든 다른 텍스트 간의 코사인 유사도를 계산하여 생성됩니다.

실험 설정
시스템은 98 개, 196 개, 351 개의 텍스트를 포함하는 세 가지 데이터셋 구성에서 평가되었습니다. 그래프는 학습 (80%), 검증 (10%), 테스트 (10%) 세트로 분할되었습니다. 하이퍼파라미터는 링크 예측 (AUC) 을 최적화 목표로 하여 Optuna 를 사용하여 조정되었습니다. 성능은 다음을 사용하여 측정되었습니다:

• 링크 예측: 수신자 작동 특성 (ROC) 곡선 아래의 면적 (AUC).
• 순위 지표: Hits@K, 평균 역순위 (MRR), 그리고 정규화된 할인 누적 이득 (nDCG@10).
• 민감도 분석: 기본 가중치 대 "장르 강조" 가중치 체계의 비교.

주요 결과

• 구조적 튜닝 대 전문가 가중치: 탐색 수준의 전문가 가중치 (편향된 무작위 보행) 만으로는 알고리즘적 구조적 튜닝보다 성능이 우수하지 않았습니다. 편향된 무작위 보행은 모든 규모에서 가장 낮은 AUC(0.6888–0.7466) 를 달성했습니다.
• Node2Vec 의 우세: Node2Vec 은 모든 데이터셋 크기에서 가장 높은 AUC(0.9642–0.9750) 를 달성했으며, 더 큰 규모 (196 개 및 351 개 텍스트) 에서 가장 강력한 순위 지표 (Hits@K, MRR, nDCG) 를 보였습니다. 최적의 하이퍼파라미터 구성은 일관되게 높은 내부 - 외부 매개변수 ($q=4.0$) 를 선호했는데, 이는 더 긴 주제 연관성 체인을 포착하기 위한 깊이 우선 탐색 (DFS) 탐색을 선호함을 나타냅니다.
• 하이브리드 모델 성능: 하이브리드 모델 (DeepWalk 와 편향된 보행의 연결) 은 모든 규모에서 높은 AUC(0.9122–0.9350) 를 유지했으며, 순위 지표에서 Node2Vec 과 몇 퍼센트 포인트 이내의 성능을 보였습니다. 결정적으로, 하이브리드 모델은 가중치 교란에 대한 견고성을 보여주었습니다. 장르 가중치가 조정될 때 편향된 보행의 성능이 약 3% 변동한 반면, 하이브리드 모델의 변동은 약 1.5% 로 감쇠되었습니다.
• 정성적 사례 연구: 앵커 텍스트인 1984의 경우, Node2Vec 만이 구조적으로 멀지만 주제적으로 정렬된 텍스트 (예: Marrow Thieves) 를 포함한 다섯 가지 전문가 선별의 실제 지상 진실 (ground-truth) 추천을 모두 검색했습니다. 하이브리드 모델은 편향된 보행이 놓친 실제 지상 진실 텍스트 (예: Animal Farm) 를 성공적으로 복원하여 구조적 범위와 교수학적 편향을 결합하는 것의 가치를 입증했습니다.

의의 및 주장
본 논문은 T-TExTS 가 사용자 유사성 또는 인기 기반 시스템과 구별되는, 교수학 중심의 새로운 교육 추천 접근법을 제공한다고 주장합니다. 핵심 실증적 발견은 고충실도 전문가 선별 온톨로지가 본질적으로 충분한 교수학적 신호를 인코딩하여, 추가적인 탐색 수준 가중치 없이 알고리즘적 구조적 튜닝 (특히 Node2Vec) 이 이를 복원할 수 있다는 점입니다.

그러나 저자들은 하이브리드 모델이 교사 대상 도구에 대한 가장 실용적인 배포 선택이라고 주장합니다. 이는 경쟁력 있는 순위 품질과 해석 가능성의 균형을 제공하여, 교육자가 추천에 영향을 미친 전문가 할당 가중치를 추적할 수 있게 합니다. 이 연구는 온톨로지 기반 KG 임베딩이 소규모 데이터 규모 (최대 351 개 텍스트) 에서도 교육적 발판에 유효하며, 커리큘럼이 확장됨에 따라 임베딩 방법의 상대적 성능이 안정적으로 유지됨을 보여줍니다.

한계점
저자들은 데이터셋이 전문가에 의해 선별되었음에도 불구하고 일반 벤치마크에 비해 규모가 작음을 인정합니다. 평가는 실제 교실 사용자 연구 대신 전문가 선별의 실제 지상 진실에 의존하므로, 시스템이 실제 교실에서의 계획 시간과 실제 텍스트 세트 다양성에 미치는 영향은 측정되지 않았습니다. 또한, 표준 순위 지표는 커리큘럼 설계에 여전히 가치 있지만 특정 실제 지상 진실 목록과 일치하지 않는 "교수학적으로 타당한 근접 실패"를 불리하게 평가할 수 있습니다. 저자들은 향후 연구가 교사 대상 검증과 신경 - 심볼릭, 전문가 주도 추천 시스템에 더 적합한 새로운 평가 지표 개발에 초점을 맞춰야 한다고 제안합니다.