ArkTS-CodeSearch: A Open-Source ArkTS Dataset for Code Retrieval

Technische Samenvatting: ArkTS-CodeSearch

1. Probleemstelling (The Problem)

ArkTS is de kernprogrammeertaal van het OpenHarmony-ecosysteem, een snelgroeiend platform voor smart devices. Ondanks de groeiende relevantie van ArkTS, is er een gebrek aan publiek beschikbare datasets en gestandaardiseerde benchmarks voor onderzoek naar "code intelligence" (zoals code-zoeken, aanbevelingen en automatische analyse). Bestaande taalmodellen en datasets (zoals CodeSearchNet) richten zich voornamelijk op mainstream talen zoals Python en Java, waardoor de specifieke semantiek van ArkTS — zoals declaratieve UI-annotaties en gedistribueerde primitieven — onderbelicht blijft.

2. Methodologie (Methodology)

De auteurs hebben een end-to-end workflow ontwikkeld voor het construeren van een dataset en het trainen van retrieval-modellen:

• Dataverzameling: Er is een corpus samengesteld door repositories te crawlen van zowel GitHub als Gitee (om de sterke aanwezigheid van Chinese ontwikkelaars in het OpenHarmony-ecosysteem te dekken). Er zijn 1.577 unieke repositories geïdentificeerd.
• Extractie via AST: In plaats van eenvoudige tekstextractie gebruikten de onderzoekers tree-sitter-arkts om de broncode te parsen naar Abstract Syntax Trees (AST). Hierdoor konden ze nauwkeurig functies en klassen extraheren, gekoppeld aan hun bijbehorende natuurlijke taal-docstrings.
• Retrieval Taak: Er is een "single-search" taak gedefinieerd: het gebruik van natuurlijke taal (docstrings) om de juiste ArkTS-functies terug te vinden.
• Fine-tuning Strategie: Om de semantische kloof te overbruggen, hebben de auteurs drie trainingsconfiguraties getest met behulp van supervised contrastive learning:
  1. ARKTS-TRAINING: Alleen op ArkTS-data.
  2. TS-TRAINING: Alleen op TypeScript-data (gezien de verwantschap tussen beide talen).
  3. TS $\rightarrow$ ARKTS-TRAINING: Een tweestapsstrategie waarbij het model eerst wordt aangepast aan TypeScript en daarna wordt verfijnd op ArkTS.

3. Belangrijkste Bijdragen (Key Contributions)

• Eerste ArkTS-dataset: De publicatie van de eerste grootschalige, open-source dataset voor ArkTS-code retrieval (beschikbaar op HuggingFace).
• Gestandaardiseerde Benchmark: Het vaststellen van een evaluatieprotocol (gebaseerd op CodeSearchNet) met metrieken zoals MRR, NDCG en Recall.
• Fine-tuned Model: Het aanbieden van een specifiek getraind embedding-model dat superieur presteert op ArkTS-taken vergeleken met algemene modellen.

4. Resultaten (Results)

• Prestaties van bestaande modellen: Algemene modellen zoals Qwen3-Embedding presteren out-of-the-box het best, maar de prestaties zijn nog steeds beperkt voor specifieke ArkTS-taken.
• Effectiviteit van Fine-tuning: Fine-tuning leidt tot een significante verbetering in alle metrieken. Opvallend is dat het model google/embeddinggemma-300m na fine-tuning (vooral met de tweestapsstrategie) grotere modellen kan overtreffen.
• Taalinvloed: Modellen die sterk zijn in Chinees (zoals bge-base-zh) presteren beter dan puur Engelstalige modellen, omdat een groot deel van de docstrings in de dataset in het Chinees is geschreven.
• Lexicale vs. Semantische zoekopdrachten: De traditionele BM25-methode (keyword matching) presteert aanzienlijk slechter dan de neurale embedding-methoden, wat bewijst dat semantisch begrip essentieel is voor ArkTS.

5. Betekenis (Significance)

Dit werk legt de fundering voor intelligentere ontwikkeltools binnen het OpenHarmony-ecosysteem. Door een gestandaardiseerde benchmark en dataset te bieden, kunnen onderzoekers voortaan systematisch werken aan:

• Verbeterde code-zoekmachines.
• Automatisering van migratie van TypeScript naar ArkTS.
• Betere AI-ondersteuning (zoals Copilots) voor ontwikkelaars in dit specifieke ecosysteem.

Het onderzoek toont aan dat voor opkomende programmeertalen domeinspecifieke adaptatie (fine-tuning op relevante data) belangrijker is dan simpelweg het vergroten van de modelgrootte.