TeamUp: Semantic Project Matching and Team Formation for Learning at Scale

기술 요약: TeamUp – 대규모 학습을 위한 시맨틱 프로젝트 매칭 및 팀 구성

문제 제기
프로젝트 기반 학습 (PBL) 은 현대 공학 교육의 초석이지만, 200~300 명 이상의 대규모 학급으로 확장할 때는 상당한 교육학적 과제를 안고 있습니다. 현재 할당 방식은 수동 스프레드시트, 임시 선호도 조사, 그리고 강사의 직관에 의존하고 있으며, 이는 세 가지 지속적인 문제를 해결하지 못합니다:

1. 부적절한 기술 - 프로젝트 적합성: 미묘한 역량 차이가 간과되어 프로젝트가 너무 쉬워 (참여도 저하) 또는 너무 어려워 (압도감) 지는 결과를 초래하며, 이는 학생의 근접 발달 영역 (ZPD) 과 부합하지 않습니다.
2. 동질적 팀 클러스터링: 수동 또는 학생 주도의 팀 구성은 종종 동일한 강점을 가진 학생들을 그룹화하여, 향상된 문제 해결 및 학습 결과를 위해 필요한 인지적 다양성을 놓칩니다.
3. 불공평한 기회 분배: 원칙적인 메커니즘이 부재할 경우, 고성과 학생들은 눈에 띄는 프로젝트를 스스로 선택하는 반면, 소수 그룹은 기회 접근성이 감소합니다.

전통적인 접근 방식은 할당을 학습 설계 문제라기보다 물류 최적화 문제로 취급하여, 학생 역량과 프로젝트 요구사항의 다차원적 특성을 포착하지 못합니다.

방법론
TeamUp 은 학습 과학 원칙을 준수하면서 프로젝트 할당 및 팀 구성을 자동화하도록 설계된 경량 임베딩 기반 시스템입니다. 시스템 아키텍처는 네 가지 핵심 구성 요소를 통합합니다:

1. 데이터 준비 및 임베딩 생성:

   • 입력: 학생들은 자기 평가 기술 숙련도, 교과 과정, 프로젝트 경험, 그리고 도메인 선호도를 포함한 프로필을 제공합니다. 이력서는 NLP 기반 추출을 위해 업로드할 수 있습니다. 감독자는 필수/선택 기술, 난이도 등급, 도메인 태그를 포함하여 프로젝트를 정의합니다.
   • 벡터화: 모든 텍스트 및 범주형 데이터는 사전 훈련된 언어 모델 (예: text-embedding-ada-002, Google Gemini) 을 사용하여 밀집 벡터 표현으로 변환됩니다.
   • 집계: 학생 임베딩 ($s$) 은 자기 보고된 숙련도 수준에 해당하는 가중치를 적용하여 기술 및 경험 임베딩의 가중 평균을 통해 계산됩니다. 프로젝트 임베딩은 필수 기술 (1.5 배 가중치), 선택 기술 (0.75 배 가중치), 그리고 설명을 결합합니다.
   • 저장: 벡터는 pgvector 확장 기능을 사용하는 PostgreSQL 에 저장되어, 별도의 벡터 데이터베이스 인프라 없이 HNSW 인덱싱을 통한 효율적인 유사도 검색을 가능하게 합니다.

2. 유사도 기반 매칭 (하이브리드 랭킹):

   • 기본 점수: 초기 매칭은 학생과 프로젝트 임베딩 간의 코사인 유사도를 사용합니다.
   • 교육학적 조정: 원시 유사도 점수는 세 가지 제약 조건에 의해 수정됩니다:
     • 난이도 정렬 (ZPD): 프로젝트 난이도가 학생의 경험 수준과 현저히 불일치하는 경우 2 차 페널티가 적용되어 압도적이거나 지루한 과제를 방지합니다.
     • 도메인 선호도: 프로젝트가 학생의 명시된 도메인 관심사와 일치할 경우 점수가 15~20% 증액되어 자기 결정 이론을 지원합니다.
     • 수요 균형: 프로젝트의 구독 비율이 수용 능력에 가까워질수록 점수가 지수적으로 감소하여 고수요 프로젝트의 공평한 분배를 보장합니다.

3. 팀 상호 보완성 모델링:

   • 동질적 클러스터링을 방지하기 위해 TeamUp 은 기술 상호 보완성을 최대화하는 탐욕 알고리즘을 사용합니다.
   • 가장 높은 매칭을 가진 학생으로 시작하여, 추가 구성원은 상호 보완성 점수에 따라 선택됩니다: $comp(t, c) = \alpha \cdot sim(c, p) - \beta \cdot sim(t, c)$, 여기서 $t$는 현재 팀의 평균 임베딩, $c$는 후보, $p$는 프로젝트입니다.
   • 이 수식은 기존 팀 구성원과 너무 유사한 후보를 패널티로 처리하는 것과 프로젝트 적합성 사이의 균형을 맞춥니다. 팀 다양성은 팀 평균 임베딩 벡터의 분산으로 정량화됩니다.

4. 시스템 아키텍처:

   • Next.js/React(프론트엔드) 및 Supabase/PostgreSQL(백엔드) 으로 구축되었습니다.
   • 500 명 이상의 학급을 위해 1 초 미만의 지연 시간으로 실시간 추천을 지원합니다.
   • 운영 비용은 학생당 $0.10 미만으로 유지됩니다.

주요 기여

1. 원칙적 할당 시스템: 단순 키워드 매칭이나 선호도 랭킹을 넘어 학습 과학 (ZPD, 자기 결정 이론, 협력 학습) 에 기반한 시맨틱 임베딩 기반 시스템.
2. 인지적 다양성 모델링: 임베딩 분산을 통해 기술 상호 보완성을 명시적으로 모델링하는 팀 구성에 대한 새로운 접근 방식으로, 다양한 팀이 동질적인 팀보다 우수하다는 원칙을 운영화합니다.
3. 책임 있는 AI 설계: 투명하고 설명 가능한 추천 (기술 정렬 및 근거 표시) 을 제공하면서 최종 결정에 대한 강사의 권한을 유지하는 'human-in-the-loop' 도구로 설계되었습니다. 맞춤형 학습 데이터나 특수 ML 인프라 없이 현실적인 교육 예산 내에서 작동합니다.
4. 가상 검증: 무작위 할당에 비해 우수한 할당을 생성하는 시스템의 능력을 입증하는 가상 실험의 증거.

결과 (가상 실험)
시스템은 250 개의 더미 학생 프로필과 60 개의 프로젝트 설명을 사용하여 평가되었으며, TeamUp 과 무작위 할당을 비교했습니다:

• 매칭 품질: TeamUp 은 평균 코사인 유사도 0.74를 달성한 반면, 무작위 할당은 0.43이었습니다.
• 난이도 정렬: TeamUp 학생의 **83%**가 경험 수준과 난이도 차이가 1 단계 이내로 배치된 반면, 무작위 할당에서는 **34%**에 불과했습니다.
• 팀 다양성: TeamUp 팀의 **82%**가 세 개 이상의 기술 영역을 포괄한 반면, 무작위 팀은 **41%**였습니다.
• 성능: 시스템은 전체 학급에 대해 4.2 초 (쿼리당 1 초 미만) 내에 모든 추천을 생성했으며, API 비용은 $0.024 였습니다.

의의 및 주장
이 논문은 TeamUp 이 대규모 PBL 의 교육학적 과제를 해결하는 확장 가능하고 비용 효율적인 솔루션을 제공한다고 주장합니다. 시맨틱 임베딩을 활용함으로써 시스템은 세밀한 기술 - 프로젝트 적합성 포착과 인지적 다양성 촉진을 위한 수동 할당의 한계를 극복합니다.

저자들은 현재 결과가 예비적이며 합성 데이터를 사용한 가상 실험에서 도출된 것이라고 명시적으로 밝힙니다. 더미 데이터는 실제 학생 프로필의 '지저분함', 자기 평가의 불일치, 또는 대인 관계 팀 역동성을 포착할 수 없다고 인정합니다. 따라서 이 논문은 TeamUp 이 실제 학습 결과나 형평성을 보장한다고 주장하지는 않습니다. 대신, 시스템을 교육용 책임 있는 AI 를 위한 유망한 설계 패턴으로 제시하며, 다음 중요한 단계는 공정성, 사용자 만족도, 실제 학습 향상을 검증하기 위해 실제 사용자를 대상으로 한 통제된 배포임을 강조합니다. 이 시스템은 인간의 판단을 대체하는 것이 아니라, routine 매칭을 처리하여 강사들이 엣지 케이스와 맥락적 결정에 집중할 수 있도록 하는 도구로 자리매김합니다.