기술 요약: EmbeddedKittens: Scratch를 위한 코드 임베딩 평가

문제 정의

코드 임베딩과 대규모 언어 모델(LLM)의 확산은 소프트웨어 공학 및 교육 분석, 특히 Python이나 Java와 같은 텍스트 기반 언어 분야를 변화시켰습니다. 그러나 Scratch와 같은 시각적, 블록 기반 프로그래밍 환경에 대한 적용은 여전히 미해결 과제로 남아 있습니다. Scratch는 다음과 같은 독특한 과제를 제시합니다:

1. 구조적 차이: Scratch 코드는 선형적인 토큰 시퀀스가 아니라 자유롭게 배치 가능한 시각적 블록으로 구성되며, 표준 텍스트 기반 임베딩이 포착하기 어려운 스프라이트 간의 동시 실행 및 이벤트 기반 메시징에 크게 의존합니다.
2. 언어적 다양성: Scratch 커뮤니티는 매우 국제적이어서, 사용자들이 식별자, 주석, UI 요소에 다양한 자연어를 사용합니다. 표준 모델은 대개 영어 중심의 식별자를 가정합니다.
3. 교육을 위한 데이터 부족: 일반적인 코드 임베딩 벤치마크(예: 메서드 명명, 문서 생성)는 주석이나 문서가 부족한 Scratch 프로젝트의 특성상 실행이 불가능합니다. 또한, 교실 데이터셋은 일반적으로 특정 작업용 모델을 처음부터 학습시키기에는 너무 작습니다.

핵심 문제는 데이터가 부족한 교육 환경에서 대규모 미세 조정(fine-tuning) 없이 어떤 코드 임베딩 접근 방식이 Scratch의 학습 분석에 가장 적합한지를 결정하는 것입니다.

방법론

저자인 Benedikt Fein과 Gordon Fraser는 다양한 임베딩 접근 방식의 타당성과 성능을 평가하기 위해 네 가지 연구 질문(RQ)을 포함하는 실증적 평가를 수행했습니다.

1. 데이터 전처리 및 표현

저자들은 Scratch 프로젝트(JSON 형식)를 추상 구문 트리(AST)로 파싱하기 위해 LitterBox를 활용했습니다. 또한, 다양한 모델 아키텍처에 적합한 형식으로 Scratch 코드를 변환하기 위해 EmbeddedKittens라는 전처리 도구를 구현했습니다:

• 평탄한 토큰 시퀀스(Flat Token Sequences): NeuralCodeSum(Transformer) 및 LLM(GPT-5-mini, DeepSeek Coder v2, Mistral Small 3.1, Gemma 3)에 사용되었습니다. AST를 깊이 우선 탐색(depth-first traversal)하여 텍스트 표현(예: motion_movesteps(10))을 생성했습니다. LLM의 경우, 이들의 사전 학습 데이터와 더 잘 일치하는 ScratchBlocks 형식을 사용했습니다.
• AST 경로(AST Paths): code2vec 및 code2seq에 사용되었으며, 코드를 AST 리프 노드 사이의 경로 집합으로 표현합니다.
• 문장 서브트리(Statement Subtrees): ASTNN에 사용되었으며, AST를 양방향 GRU로 인코딩되는 문장별 서브트리로 분할합니다.
• 제어/데이터 흐름 그래프(Control/Data Flow Graphs): GGNN(Gated Graph Neural Network)에 사용되었습니다. 이 방식은 데이터 흐름(LastRead, LastWrite, ComputedFrom), 제어 흐름(GuardedBy), 그리고 Scratch 특유의 이벤트 핸들링(스프라이트 간 메시지 브로드캐스팅)을 나타내는 시맨틱 엣지를 추가하여 AST를 확장했습니다.

2. 실험 과제

• RQ1 (스프라이트 명명): 모델이 코드를 바탕으로 스프라이트의 이름을 예측하는 베이스라인 과제입니다. 이는 Scratch에 메서드 이름이나 문서가 없다는 점을 고려하여 코드 요약의 대리 과제로 기능합니다.
• RQ2 (국제성): 모델의 성능을 10가지 다른 자연어(한국어, 중국어, 일본어, 러시아어 등 비라틴 문자 포함)에 대해 평가하여 언어적 다양성의 영향을 측정합니다.
• RQ3 (프로그램 분류): 사전 학습된 스프라이트 임베딩을 미세 조정하여 전체 프로그램을 카테고리(예: 게임, 애니메이션) 또는 기본 프로젝트(리믹스 분류)별로 분류합니다.
• RQ4 (정확도 추정): 임베딩을 대리 모델로 사용하여, 실제 테스트 스위트 결과와 비교했을 때 임베딩 공간 내의 "모델 솔루션"과의 거리를 측정함으로써 학생 프로그램의 기능적 정확도를 추정합니다.
• RQ5 (진전도 추적): 임베ming을 사용하여 학생의 진전도를 시각화하기 위해 "진전-분산-투영(progress-variance-projection)" 기법을 적용하며, 스타터 프로젝트에서 솔루션까지의 거리를 매핑합니다.

3. 평가된 모델

• 전용 임베딩 모델: NeuralCodeSum, code2vec, code2seq, ASTNN, GGNN.
• 사전 학습된 LLM: GPT-5-mini, DeepSeek Coder v2, Mistral Small 3.1, Gemma 3, Qwen 3 Embedding.

주요 기여

1. 체계적 평가: Scratch 도메인에 대해 다섯 가지 다른 코드 임베딩 접근 방식과 네 가지 LLM을 구체적으로 비교한 첫 번째 구조적 연구입니다.
2. 스프라이트 명명 과제: 전통적인 벤치마크의 부재를 극복하기 위해 코드 요약의 베이스라인 역할을 하는 새로운 "스프라이트 명명" 과제를 도입했습니다.
3. 다국어 분석: 10가지 서로 다른 자연어에 걸친 데이터셋을 생성하고 평가하여, 비라틴 문자 환경에서의 성능 격차를 강조했습니다.
4. 교육적 적용 가능성: 사전 학습된 임베딩이 데이터가 부족한 교실 환경에서 작업별 미세 조정 없이도 교육적 과제(정확도 추정, 진전도 추적)로 전이될 수 있음을 입증했습니다.
5. 오픈 소스 툴링: Scratch 코드를 다양한 임베딩 가능 형식으로 변환하는 전처리 도구인 EmbeddedKittens를 공개했습니다.

결과

RQ1: 코드 요약 (스프라이트 명명)

• 구조적 정보의 중요성: 구조적 및 제어 흐름 정보를 포함하는 모델이 평탄한 토큰 시퀀스를 사용하는 모델보다 성능이 현저히 높았습니다. GGNN이 최고의 성능(F1 = 0.550)을 기록했으며, 그 뒤를 ASTNN(F1 = 0.342)이 이었습니다.
• LLM의 한계: 사전 학습된 LLM은 특정 스프라이트 이름을 생성하는 과제에서 낮은 성능(F1 ≤ 0.081)을 보였는데, 이는 Scratch에 LLM이 텍els 기반 언어에서 추론할 때 주로 사용하는 사용자 정의 프로시저나 변수명이 부족하기 때문인 것으로 보입니다.
• 지표 불일치: GGNN은 높은 BLEU 점수를 기록했지만 ROUGE-2 점수는 더 낮았는데, 이는 모델이 올바른 서브토큰을 생성하더라도 순서가 틀리거나 반복되는 경우가 많음을 시사합니다.

RQ2: 국제성

• 언어 편향: 모델은 영어 및 기타 라틴 기반 언어에서 가장 좋은 성능을 보였습니다. 비라틴 문자(예: 한국어, 러시아어, 중국어)의 경우 성능이 크게 하락했습니다.
• 토큰화 문제: 저자들은 비라틴 문자의 성능 저하 원인을 공백이나 카멜 케이스(camel case)를 기준으로 나누는 서브토큰화 전략이 이러한 구분자가 없는 스크립트에는 효과적이지 않기 때문이라고 분석했습니다.
• 데이터 부족: 한국어와 같이 Scratch 사용자가 적은 언어에서의 낮은 성능은 해당 언어의 학습 데이터 부족과 연관이 있습니다.

RQ3: 프로그램 분류

• 전이 가능성: 사전 학습된 스프라이트 임베딩(특히 GGNN 및 Qwen 3 Embedding)은 프로그램 분류를 위해 효과적으로 미세 조정될 수 있었습니다.
• LLM 성능: 놀랍게롭게도, Qwen 3 Embedding(LLM 기반 접근 방식)이 프로그램 카테고리 분류에서 전용 GGNN 모델보다 우수한 성능(F1 = 0.562 vs. 0.475)을 보였습니다. 이는 고차원적 분류의 경우, 구조적 세부 사항보다 LLM이 포착하는 시맨틱 유사성이 더 중요하다는 것을 시사합니다.
• 강건성: GGNN과 LLM 기반 임베딩 모두 견고한 클러스터를 형성하여, 기본 프로젝트의 리믹스를 높은 정확도(>97%)로 올바르게 식별했습니다.

RQ4 & RQ5: 정확도 및 진전도

• 대리 모델의 유효성: 임베딩 기반 적합도(솔루션과의 거리)와 실제 테스트 스위트 적합도 사이에 통계적으로 유의미한 선형 상관관계가 발견되었습니다. 이는 사전 학습된 임베딩이 정확도와 관련된 시맨틱 및 구조적 정보를 포착함을 확인시켜 줍니다.
• 진전도 시각화: 임베딩은 학생의 진전도를 2D 공간에 성공적으로 매핑했습니다. GGNN과 Qwen-whole(전체 프로그램을 처리하는 LLM)은 실제 진전도와 강한 상관관계($R^2 \approx 0.7$)를 보인 반면, LLM을 이용한 스프라이트별 집계 방식은 효과가 덜했습니다.
• 미세 조정 불필요: 중요한 점은, 이러한 결과들이 정확도나 진전도를 위해 추가적인 미세 조정을 거치지 않고 오직 '스프라이트 명명' 과제만으로 사전 학습된 모델을 통해 달성되었다는 것이며, 이는 저데이터 교실 환경에서의 유용성을 입증합니다.

의의 및 주장

본 논문은 모델이 Scratch의 구조적 복잡성을 고려한다면 코드 임베딩이 Scratch에서 실현 가능하고 효과적임을 주장합니다.

• 상호 보완적 역할: 저자들은 다음과 같은 상호 보완적 사용 모델을 제안합니다:
  • 전용 구조 모델 (예: GGNN): 버그 탐지나 다음 단계 힌트 생성과 같이 깊은 구조적 통찰이 필요한 작업에 적합하며, 낮은 리소스 오버헤드로 로컬에서 배포할 수 있습니다.
  • 사전 학습된 LLM: 프로젝트 추천이나 진전도 추정과 같이 시맨틱 유사성을 다루는 고차원적 작업에 적합하며, 광범위한 사전 학습을 활용하지만 더 많은 계산 자원을 필요로 합니다.
• 교육적 영향: 본 연구는 사전 학습된 임베딩이 특정 작업용 학습을 위한 대규모 레이블 데이터 수집이 불가능한 환경에서도 학습 분석을 위한 "대리 모델" 역할을 할 수 있음을 보여줍니다. 이를 통해 일반적인 교실 환경에서 자동 채점, 진전도 추적, 연습 문제 난이도 추정과 같은 도구 구현이 가능해집니다.
• 향atic 방향: 저자들은 향후 연구에서 비라틴 문자를 위한 개선된 토큰화, 시각적 정보(블록 위치)의 통합, 그리고 이러한 개념을 다른 이벤트 기반 시스템으로 확장하는 방안을 탐구해야 한다고 제언합니다.

결론적으로, 본 논문은 코드 임베딩의 Scratch 전이가 성공적이지만, 모델의 선택은 구체적인 교육적 응용 분야와 가용한 계산 자원에 따라 크게 달라질 수 있음을 밝히고 있습니다.