💬 NLP

ArkTS-CodeSearch: A Open-Source ArkTS Dataset for Code Retrieval

Este artículo presenta ArkTS-CodeSearch, el primer conjunto de datos y referente de evaluación de código abierto diseñado para mejorar la recuperación y comprensión de código en el lenguaje ArkTS mediante tareas de búsqueda de funciones a partir de comentarios.

Autores originales: Yulong He, Artem Ermakov, Sergey Kovalchuk, Artem Aliev, Dmitry Shalymov

Publicado 2026-02-10

📖 3 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Yulong He, Artem Ermakov, Sergey Kovalchuk, Artem Aliev, Dmitry Shalymov

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Problema: El "Idioma Perdido" de los Dispositivos Inteligentes

Imagina que estás en un país extranjero muy avanzado tecnológicamente, lleno de dispositivos inteligentes (relojes, neveras, coches). En este país, todos los programadores hablan un idioma especial llamado ArkTS. Este idioma es el corazón de un sistema llamado OpenHarmony, que hace que todos estos aparatos funcionen juntos de forma mágica.

El problema es que, aunque hay muchísimos programadores usando ArkTS, no existe un "Diccionario de Google" o un "Traductor Universal" que sea realmente bueno para este idioma. Si un programador quiere buscar una función específica (como "cómo hacer que la luz del reloj parpadee"), las herramientas actuales se pierden porque no entienden bien las reglas de ArkTS. Es como intentar buscar una receta en un libro de cocina usando un buscador que solo entiende de manuales de carpintería.

La Solución: El Proyecto "ArkTS-CodeSearch"

Un grupo de investigadores decidió construir ese "Diccionario Inteligente". Su trabajo se divide en tres grandes pasos:

1. La Gran Recolección (El "Gran Archivo")

Imagina que quieres enseñar a un niño a reconocer frutas, pero no tienes fotos. ¿Qué haces? Vas al mercado, a la huerta y a la tienda, y recoges miles de ejemplos.

Los investigadores hicieron lo mismo: fueron a las "bibliotecas" de código más grandes del mundo (GitHub y Gitee) y recolectaron miles de fragmentos de código ArkTS. No solo recogieron el código, sino también las notas de los programadores (los comentarios que explican qué hace cada trozo de código). Ahora tienen un tesoro de "Pregunta (en lenguaje humano) $\rightarrow$ Respuesta (en código ArkTS)".

2. El Entrenamiento (El "Entrenamiento del Perro Sabueso")

Ahora tienen los datos, pero necesitan un "buscador". Imagina que quieres entrenar a un perro sabueso para encontrar un aroma específico entre miles de olores.

Los investigadores tomaron modelos de Inteligencia Artificial que ya eran inteligentes (como los que usa Google o Microsoft) y los sometieron a un entrenamiento intensivo. Les dijeron: "Mira, si alguien pregunta por 'movimiento', el código que tiene que encontrar es este, y NO este otro".

Incluso usaron un truco inteligente: como el ArkTS se parece mucho al lenguaje TypeScript, primero entrenaron a la IA con TypeScript (como si le enseñaran primero a un perro a rastrear patos antes de pedirle que rastree algo más difícil) y luego le dieron el toque final con ArkTS.

3. El Resultado: Un Buscador con "Olfato"

Al final, descubrieron que:

El tamaño no lo es todo: Un modelo de IA de tamaño mediano, si se entrena bien con los datos correctos, puede ser más listo que un modelo gigante que no conoce el idioma. Es como un estudiante que no es un genio, pero que se ha memorizado el libro de texto a la perfección.
El idioma importa: Como muchos programadores de este sistema usan chino, los modelos que ya sabían un poco de chino funcionaron mucho mejor.

¿Por qué es esto importante para ti?

Aunque tú no escribas código, esto es vital. Gracias a este trabajo, en el futuro, cuando se fabriquen más dispositivos inteligentes (relojes, casas conectadas, etc.), los programadores podrán crear aplicaciones de forma mucho más rápida y con menos errores.

Es como si, en lugar de tener que construir cada pieza de un motor a mano, ahora tuvieras un asistente que te entrega la pieza exacta que necesitas en cuanto se la pides. Este estudio es el primer paso para construir ese asistente para el mundo de OpenHarmony.

1. El Problema (Contexto y Motivación)

ArkTS es el lenguaje de programación central del ecosistema OpenHarmony, diseñado para el desarrollo de aplicaciones en dispositivos inteligentes. A pesar de su rápido crecimiento y la expansión de HarmonyOS, la investigación en inteligencia de código para ArkTS es casi inexistente.

El problema principal es la falta de infraestructura de investigación: no existen conjuntos de datos (datasets) públicos ni marcos de evaluación estandarizados para tareas de comprensión de código (como búsqueda semántica, recomendación o traducción) específicas para este lenguaje. Además, existe una brecha de representación, ya que los modelos de lenguaje de gran escala (LLMs) no han sido expuestos suficientemente a las particularidades sintácticas de ArkTS (como sus anotaciones de UI declarativa o primitivas de aplicaciones distribuidas).

2. Metodología

Los autores proponen un flujo de trabajo integral para construir un benchmark y entrenar modelos de recuperación:

Recolección de Datos: Se realizó un rastreo (crawling) en GitHub y Gitee para identificar repositorios relacionados con OpenHarmony. Se filtraron archivos con extensión .ets (estándar de ArkTS) y se eliminaron duplicados, resultando en 1,577 repositorios únicos.
Extracción Estructurada: Utilizaron el parser tree-sitter-arkts para convertir el código fuente en Árboles de Sintaxis Abstracta (AST). Esto permitió extraer de forma precisa pares de docstring (comentario en lenguaje natural) y función (código), garantizando la integridad sintáctica.
Tarea de Recuperación (Single-Search): Se definió una tarea de búsqueda donde, dada una consulta en lenguaje natural (docstring), el sistema debe recuperar la función de código correspondiente.
Estrategias de Fine-Tuning (Ajuste Fino): Para mejorar los modelos de embedding (representación vectorial), probaron tres configuraciones:
1. ARKTS-TRAINING: Solo con datos de ArkTS.
2. TS-TRAINING: Solo con datos de TypeScript (lenguaje base de ArkTS).
3. TS $\rightarrow$ ARKTS-TRAINING: Una estrategia de dos etapas (primero adaptar el modelo a TypeScript y luego a ArkTS) para aprovechar la similitud estructural entre ambos.
Objetivo de Entrenamiento: Utilizaron el Multiple Negatives Ranking Loss para el aprendizaje contrastivo, alineando los vectores de texto y código en un espacio semántico común.

3. Contribuciones Clave

Primer Dataset de ArkTS a gran escala: Un conjunto de datos público con 24,452 funciones emparejadas con sus docstrings, disponible en HuggingFace.
Benchmark Estandarizado: Establecimiento de un protocolo de evaluación para la búsqueda de código en ArkTS utilizando métricas estándar de recuperación de información (MRR, NDCG y Recall).
Modelo Fine-tuned: La liberación de un modelo de embedding optimizado para ArkTS que supera significativamente a los modelos genéricos.

4. Resultados Principales

Superioridad del Aprendizaje Semántico: Los métodos basados en embeddings superaron ampliamente al método tradicional de búsqueda léxica (BM25), demostrando que la búsqueda semántica es crucial debido a la naturaleza bilingüe (chino/inglés) de la documentación.
Impacto del Fine-Tuning: El ajuste fino mejoró drásticamente el rendimiento de todos los modelos probados. El modelo google/embeddinggemma-300m demostró ser excepcionalmente eficiente, superando a modelos más grandes tras el entrenamiento específico.
Efectividad de la Estrategia de Dos Etapas: La estrategia TS $\rightarrow$ ARKTS resultó ser la más efectiva para modelos de mayor tamaño, demostrando que el conocimiento previo de TypeScript actúa como un puente semántico valioso.
Influencia del Idioma: Los modelos con capacidades multilingües y optimizados para el chino (como bge-base-zh) obtuvieron mejores resultados, ya que una parte significativa de la documentación en el dataset está en chino.

5. Significado e Impacto

Este trabajo sienta las bases para el desarrollo de herramientas de asistencia de IA (como Copilots) dentro del ecosistema OpenHarmony. Al proporcionar datos y métricas, los autores permiten que la comunidad científica aborde problemas críticos como la migración de código entre ecosistemas, la detección de defectos y la generación de código automatizada para ArkTS, reduciendo la brecha tecnológica entre los lenguajes dominantes (como JavaScript/TypeScript) y los emergentes.