Technische Samenvatting: EmbeddedKittens: Een Evaluatie van Code-embeddings voor Scratch

Probleemstelling

De proliferatie van code-embeddings en Large Language Models (LLMs) heeft software engineering en educatieve analytics getransformeerd, met name voor tekstgebaseerde talen zoals Python en Java. De toepassing ervan op visuele, blokgebaseerde programmeeromgevingen zoals Scratch blijft echter een open vraag. Scratch presenteert unieke uitdagingen:

1. Structurele Verschillen: Scratch-code bestaat uit vrij plaatsbare visuele blokken in plaats van lineaire tokensequenties, en vertrouwt zwaar op gelijktijdige uitvoering en event-gestuurde berichtgeving tussen "sprites", wat standaard tekstgebaseerde embeddings mogelijk niet kunnen vatten.
2. Linguïstische Diversiteit: De Scratch-gemeenschap is zeer internationaal, waarbij gebruikers diverse natuurlijke talen gebruiken voor identifiers, commentaar en UI-elementen. Standaardmodellen gaan vaak uit van Engelstalige identifiers.
3. Data-schaarste voor Onderwijs: Veelvoorkomende benchmarks voor code-embeddings (bijv. methodebenaming, documentatiegeneratie) zijn onhaalbaar voor Scratch vanwege het gebrek aan commentaar en documentatie in studentenprojecten. Bovendien zijn datasets uit de klas meestal te klein voor het trainen van taakspecifieke modellen vanaf nul.

Het kernprobleem is te bepalen welke benadering van code-embeddings het meest geschikt is voor leeranalyse in Scratch, specifiek of modellen structurele en semantische informatie kunnen vatten zonder uitgebreide fine-tuning in data-arme onderwijsomgevingen.

Methodologie

De auteurs, Benedikt Fein en Gordon Fraser, voerden een empirische evaluatie uit bestaande uit vier onderzoeksvragen (RQs) om de haalbaarheid en prestaties van verschillende embedding-benaderingen te beoordelen.

1. Data Preprocessing en Representatie

De auteurs gebruikten LitterBox om Scratch-projecten (JSON-formaat) te parsen naar Abstract Syntax Trees (AST's). Ze implementeerden EmbeddedKittens, een preprocessing-tool, om Scratch-code om te zetten in formaten die geschikt zijn voor verschillende modelarchitecturen:

• Flat Token Sequences: Gebruikt voor NeuralCodeSum (Transformer) en LLMs (GPT-5-mini, DeepSeek Coder v2, Mistral Small 3.1, Gemma 3). De AST werd via een depth-first doorloop omgezet in een tekstuele representatie (bijv. motion_movesteps(10)). Voor LLMs werd het ScratchBlocks-formaat gebruikt, omdat dit beter aansluit bij hun pre-training data.
• AST Paths: Gebruikt voor code2vec en code2seq, waarbij code wordt gerepresenteerd als sets van paden tussen AST-bladnodes.
• Statement Subtrees: Gebruikt voor ASTNN, waarbij de AST wordt opgesplitst in per statement subtrees die worden gecodeerd door een bidirectionele GRU.
• Control/Data Flow Graphs: Gebruikt voor GGNN (Gated Graph Neural Network). Deze benadering breidde de AST uit met semantische randen die dataflow representeren (LastRead, LastWrite, ComputedFrom), control flow (GuardedBy), en Scratch-specifieke event-afhandeling (bericht verzenden tussen sprites).

2. Experimentele Taken

• RQ1 (Sprite Naming): Een baseline-taak waarbij modellen de naam van een sprite voorspellen op basis van de code. Dit dient als een proxy voor code-samenvatting, aangezien Scratch-projecten geen methode namen of documentatie bevatten.
• RQ2 (Internationaliteit): Evaluatie van de modelprestaties over 10 verschillende natuurlijke talen (inclusief niet-Latijnse schriften zoals Chinees, Japans en Russisch) om de impact van linguïstische diversiteit te beoordelen.
• RQ3 (Programma Classificatie): Het fine-tunen van pre-trained sprite embeddings om volledige programma's te classificeren op categorie (bijv. spel, animatie) of op basis van hun bronproject (remix classificatie).
• RQ4 (Correctheidsschatting): Het gebruik van embeddings als een surrogaatmodel om de functionele correctheid van studentenprogramma's te schatten door de afstand tot een "modeloplossing" in de embedding-ruimte te meten, vergeleken met werkelijke testsuite-resultaten.
• RQ5 (Progressie Tracking): Het toepassen van de "progress-variance-projection" techniek om studentenprogressie in de loop van de tijd te visualiseren met behulp van de embeddings, waarbij de afstand van een startproject naar een oplossing wordt in kaart gebracht.

3. Geëvalueerde Modellen

• Dedicated Embedding Modellen: NeuralCodeSum, code2vec, code2seq, ASTNN, GGNN.
• Pre-trained LLMs: GPT-5-mini, DeepSeek Coder v2, Mistral Small 3.1, Gemma 3, en Qwen 3 Embedding.

Belangrijkste Bijdragen

1. Systematische Evaluatie: De eerste gestructureerde vergelijking van vijf verschillende code-embedding benaderingen en vier LLM's specifiek voor het Scratch-domein.
2. Sprite Naming Taak: De introductie van een nieuwe "sprite naming" taak om te dienen als baseline voor code-samenvatting in Scratch, waarmee het gebrek aan traditionele benchmarks wordt overwonnen.
3. Multilinguale Analyse: De creatie en evaluatie van datasets over 10 verschillende natuurlijke talen, waarbij de prestatieverschillen in omgevingen met niet-Latijnse schriften worden belicht.
4. Educatieve Toepasbaarheid: Demonstratie dat pre-trained embeddings kunnen worden overgedragen naar educatieve taken (correctheidsschatting, progressie tracking) zonder taakspecifieke fine-tuning, wat het probleem van data-schaarste in de klas aanpakt.
5. Open Source Tooling: De release van EmbeddedKittens, een preprocessing-tool voor het converteren van Scratch-code naar diverse embedding-klare formaten.

Resultaten

RQ1: Code Summarization (Sprite Naming)

• Structurele Informatie is Cruciaal: Modellen die structurele en control-flow informatie bevatten, presteerden aanzienlijk beter dan modellen die alleen platte tokensequenties gebruikten. GGNN behaalde de beste prestaties (F1 = 0.550), gevolgd door ASTNN (F1 = 0.342).
• LLM Beperkingen: Pre-trained LLMs presteerden slecht (F1 ≤ 0.081) op de specifieke taak van het genereren van sprite namen, waarschijnlijk omdat Scratch een gebrek heeft aan de aangepaste procedures en variabelenamen waar LLM's doorgaans op vertrouwen voor inferentie in tekstgebaseerde talen.
• Metric Discrepancy: Hoewel GGNN hoge BLEU-scores behaalde, waren de ROUGE-2 scores lager, wat suggereert dat het vaak correcte subtokens genereerde maar in een onjuiste volgorde of met duplicaties.

RQ2: Internationaliteit

• Taalbias: Modellen presteerden het best op Engels en andere Latijnse talen. De prestaties daalden aanzienlijk voor niet-Latijnse schriften (bijv. Koreaans, Russisch, Chinees).
• Tokenisatie Problemen: De auteurs wijten de slechte prestaties op niet-Latijnse schriften aan de subtokenisatie-strategie (splitsen op witruimte/camel case), die ineffectief is voor schriften zonder deze delimiters.
• Data-schaarste: De lage prestaties in talen met minder Scratch-gebruikers (bijv. Koreaans) werd gekoppeld aan de schaarste aan trainingsdata in die specifieke talen.

RQ3: Programma Classificatie

• Transferability: Pre-trained sprite embeddings (met name GGGG en Qwen 3 Embedding) konden effectief worden gefinetuned voor programma classificatie.
• LLM Prestaties: Verrassend genoeg presteerde Qwen 3 Embedding (een LLM-gebaseerde benadering) beter dan het toegewijde GGNN model bij programma categorie classificatie (F1 = 0.562 vs. 0.475), wat suggereert dat voor hoogwaardige categorisering de semantische gelijkenis die door LLM's wordt gevangen voldoende is, zelfs als structurele details minder kritisch zijn.
• Robuustheid: Zowel GGNN als LLM-gebaseerde embeddings vormden robuuste clusters en identificeerden remixes van basisprojecten met een hoge nauwkeurigheid (>97%).

RQ4 & RQ5: Correctheid en Progressie

• Validiteit van Surrogaat: Er werd een statistisch significante lineaire correlatie gevonden tussen de embedding-gebaseerde fitness (afstand tot oplossing) en de werkelijke testsuite fitness. Dit bevestigt dat pre-trained embeddings semantische en structurele informatie bevatten die relevant is voor correctheid.
• Progressie Visualisatie: De embeddings brachten de studentenprogressie succesvol in kaart in een 2D-ruimte. GGNN en Qwen-whole (LLM die het hele programma verwerkt) vertoonden sterke correlaties met de werkelijke progressie ($R^2 \approx 0.7$), terwijl aggregatie per sprite met LLM's minder effectief was.
• Geen Fine-Tuning Vereist: Cruciaal is dat deze resultaten werden bereikt met modellen die uitsluitend zijn pre-trained op de sprite naming taak, zonder verdere fine-tuning voor correctheid of progressie, wat het nut ervan valideert in situaties met weinig data in de klas.

Betekenis en Claims

Het artikel claimt dat code-embeddings haalbaar en effectief zijn voor Scratch, mits de modellen rekening houden met de structurele complexiteit van de taal.

• Complementaire Rollen: De auteurs stellen een complementair gebruiksmodel voor:
  • Dedicated Structurele Modellen (bijv. GGNN): Het best geschikt voor taken die diepe structurele inzichten vereisen, zoals foutdetectie of het genereren van hints voor de volgende stap, en kunnen lokaal worden ingezet met een lage resource overhead.
  • Pre-trained LLMs: Het best geschikt voor hoogwaardige taken die betrekking hebben op semantische gelijkenis, zoals projectaanbevelingen of progressie-inschatting, waarbij ze profiteren van hun brede pre-training maar meer computationele middelen vereisen.
• Educatieve Impact: De studie demonstreert dat pre-trained embeddings kunnen dienen als "surrogaatmodellen" voor leeranalyse in omgevingen waar het verzamelen van grote, gelabelde datasets voor taakspecifieke training onmogelijk is. Dit maakt tools mogelijk zoals automatische beoordeling, progressie tracking en het inschatten van de moeilijkheidsgraad van oefeningen in typische klaslokalen.
• Toekomstige Richtingen: De auteurs suggereren bescheiden dat toekomstig werk de tokenisatie voor niet-Latijnse schriften moet verbeteren, de integratie van visuele informatie (blokposities) moet onderzoeken, en de adaptatie van deze concepten naar andere event-gestuurde systemen moet onderzoeken.

Het artikel concludeert dat hoewel de transfer van code-embeddings naar Scratch succesvol is, de keuze van een model sterk afhangt van de specifieke educatieve toepassing en de beschikbare computationele middelen.