💬 NLP

ArkTS-CodeSearch: A Open-Source ArkTS Dataset for Code Retrieval

Questo articolo presenta ArkTS-CodeSearch, il primo benchmark open-source per l'ecosistema OpenHarmony, che introduce un dataset su larga scala e un modello ottimizzato per compiti di recupero del codice ArkTS tramite linguaggio naturale.

Autori originali: Yulong He, Artem Ermakov, Sergey Kovalchuk, Artem Aliev, Dmitry Shalymov

Pubblicato 2026-02-10

📖 3 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Yulong He, Artem Ermakov, Sergey Kovalchuk, Artem Aliev, Dmitry Shalymov

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Problema: Il "Dialetto Perduto" di OpenHarmony

Immaginate che il mondo della tecnologia sia una gigantesca biblioteca universale. Quasi tutti i libri sono scritti in lingue famose come l'Inglese, il Francese o lo Spagnolo (che nel mondo del codice sono linguaggi come Python o Java). Grazie a questi, abbiamo dei "traduttori magici" (l'Intelligenza Artificiale) che sanno trovare istantaneamente qualsiasi informazione.

Tuttavia, sta nascendo un nuovo, importantissimo linguaggio chiamato ArkTS. È il linguaggio usato per far funzionare l'ecosistema OpenHarmony (un sistema operativo che sta entrando in milioni di dispositivi intelligenti).

Il problema? ArkTS è come un dialetto locale molto specifico: è bellissimo e potente, ma i nostri "traduttori magici" (i modelli di IA attuali) non lo conoscono bene. Se chiedi a un traduttore che sa solo l'inglese di cercarti un concetto in questo nuovo dialetto, lui si confonde, ti dà risposte sbagliate o, peggio, non trova nulla.

La Soluzione: Il Progetto "ArkTS-CodeSearch"

Un gruppo di ricercatori ha deciso di risolvere questo problema creando due cose fondamentali:

Il Grande Dizionario (Il Dataset): Hanno "cacciato" migliaia di esempi di ArkTS da internet (GitHub e Gitee). Hanno preso il codice (le istruzioni tecniche) e l'hanno accoppiato con le spiegazioni scritte in linguaggio umano (i commenti). È come se avessero creato un enorme libro di testo dove, per ogni frase complicata in dialetto, c'è una spiegazione semplice in italiano.
L'Allenamento del Traduttore (Il Benchmark): Non si sono limitati a creare il libro, ma hanno preso i traduttori esistenti e li hanno messi a scuola. Hanno testato quanto fossero bravi a "indovinare" il codice partendo da una descrizione testuale.

Come hanno "istruito" l'IA? (L'analogia dello studente)

I ricercatori hanno usato una strategia molto intelligente per far imparare l'IA, chiamata "TS $\rightarrow$ ArkTS". Immaginatela così:

Immaginate di voler insegnare a un bambino un dialetto molto stretto e difficile della Sardegna. Invece di dargli subito il dialetto, fate prima due cose:

Fase 1: Gli insegnate l'Italiano (che è simile, come il linguaggio TypeScript, il "fratello maggiore" di ArkTS). Questo gli dà una base solida.
Fase 2: Una volta che l'italiano lo mastica bene, gli insegnate le sfumature specifiche del dialetto sardo.

Questo metodo "a due step" ha funzionato benissimo! Gli studenti (i modelli di IA) sono diventati molto più bravi a capire cosa l'utente sta cercando.

Cosa hanno scoperto? (I risultati)

La dimensione non è tutto: Non è detto che un traduttore enorme e costoso sia il migliore. Un traduttore di medie dimensioni, se studiato bene con il "libro di testo" creato dai ricercatori, può battere un gigante che non ha mai sentito parlare di ArkTS.
Il tocco multiculturale: Poiché molti sviluppatori di questo linguaggio parlano cinese, i modelli di IA che già conoscevano bene il cinese sono stati molto più efficaci nel capire le spiegazioni.
Il superamento del "cerca parole": Prima si cercava per "parole chiave" (come cercare in un indice). Ora, grazie a questo lavoro, l'IA cerca per significato. Se scrivi "funzione per accendere la luce", l'IA capisce il concetto, anche se nel codice non c'è la parola "luce".

In sintesi

Questo studio ha costruito le fondamenta per permettere ai programmatori del futuro di scrivere software per dispositivi intelligenti in modo molto più veloce e assistito dall'IA, colmando il vuoto che c'era tra questo nuovo linguaggio e l'intelligenza artificiale.

Riassunto Tecnico: ArkTS-CodeSearch

1. Il Problema (Problem Statement)

ArkTS è il linguaggio di programmazione principale dell'ecosistema OpenHarmony, fondamentale per lo sviluppo di applicazioni su dispositivi smart. Nonostante la rapida crescita di questo ecosistema, la ricerca sull'intelligenza del codice (code intelligence) per ArkTS è fortemente limitata dalla mancanza di dataset pubblici e di benchmark standardizzati per la valutazione.

I modelli di linguaggio esistenti, pur essendo avanzati, presentano un "gap di rappresentazione": non sono stati addestrati su costrutti specifici di ArkTS (come le annotazioni UI dichiarative o le primitive per applicazioni distribuite), rendendo difficile l'uso di strumenti di ricerca semantica, raccomandazione di codice o traduzione automatica.

2. Metodologia (Methodology)

Gli autori hanno sviluppato un framework completo per la costruzione del dataset e l'addestramento di modelli di retrieval.

Raccolta Dati: Il dataset è stato costruito tramite il crawling di repository da GitHub (ricerca per keyword) e Gitee (fonti curate ufficiali di OpenHarmony), garantendo una copertura bilanciata. Sono stati identificati 1.577 repository unici.
Estrazione Strutturata: Invece di usare semplici espressioni regolari, il team ha utilizzato tree-sitter-arkts per analizzare il codice tramite Abstract Syntax Trees (AST). Questo ha permesso di estrarre coppie precise di "docstring (commento in linguaggio naturale) $\rightarrow$ funzione/classe (codice)".
Task di Retrieval: È stato definito un task di single-search, dove l'obiettivo è recuperare la funzione corretta partendo da una descrizione testuale.
Strategie di Fine-Tuning: Per migliorare i modelli di embedding pre-addestrati, sono stati testati tre approcci:
1. ARKTS-TRAINING: Fine-tuning solo su dati ArkTS.
2. TS-TRAINING: Fine-tuning solo su dati TypeScript (linguaggio affine).
3. TS $\rightarrow$ ARKTS-TRAINING: Una strategia a due stadi che prima adatta il modello su TypeScript e poi lo specializza su ArkTS.
Obiettivo di Addestramento: È stato utilizzato il Multiple Negatives Ranking Loss, una tecnica di contrastive learning che spinge le coppie semantiche correlate (docstring-codice) vicine nello spazio vettoriale e allontana quelle non correlate.

3. Contributi Chiave (Key Contributions)

Primo Dataset su larga scala: La creazione e il rilascio del primo dataset pubblico di ArkTS per il code retrieval (disponibile su HuggingFace).
Benchmark Standardizzato: L'istituzione di un protocollo di valutazione basato su metriche standard (MRR, NDCG, Recall@k) specifico per ArkTS.
Modello Fine-tuned: Il rilascio di un modello di embedding ottimizzato per ArkTS, che supera le prestazioni dei modelli generalisti.

4. Risultati (Results)

I risultati sperimentali evidenziano diversi punti cruciali:

Superiorità del Fine-tuning: Il fine-tuning specifico per il dominio migliora drasticamente le prestazioni rispetto ai modelli "zero-shot". Ad esempio, il modello google/embeddinggemma-300m raggiunge un MRR di 0.8013 con la strategia a due stadi, superando modelli molto più grandi.
Efficacia della Strategia a due stadi: La tecnica TS $\rightarrow$ ARKTS si è dimostrata la più efficace per i modelli di dimensioni maggiori, poiché sfrutta la somiglianza strutturale tra TypeScript e ArkTS.
Impatto della Lingua: I modelli con una forte componente multilingue (specialmente orientati al cinese, come bge-base-zh) hanno ottenuto risultati migliori, poiché una parte significativa della documentazione nel dataset è in lingua cinese.
Limiti del Lexical Search: Il metodo tradizionale BM25 (basato su parole chiave) è risultato molto meno efficace rispetto alla ricerca semantica (embedding), confermando che la comprensione del significato è essenziale per ArkTS.

5. Significato e Impatto (Significance)

Questo lavoro colma un vuoto critico nell'ecosistema OpenHarmony. Fornendo le infrastrutture necessarie (dati e benchmark), gli autori permettono alla comunità scientifica di sviluppare strumenti di sviluppo assistiti dall'IA (come Copilot per ArkTS) più accurati. Il paper dimostra inoltre che, per linguaggi emergenti, la specializzazione del dominio (fine-tuning su dati specifici) è più importante della semplice dimensione del modello (numero di parametri).