🤖 AI

LSem2Vec: A Simple yet Effective Two-Stage Approach for Source Code Embedding

Este artículo presenta LSem2Vec, un marco de dos etapas simple pero efectivo que combina modelos de lenguaje de gran tamaño para la extracción semántica con modelos de incrustación de oraciones para generar representaciones de código fuente robustas sin requerir un costoso entrenamiento o ajuste fino específico para la tarea, superando a los métodos no supervisados existentes en múltiples conjuntos de datos.

Autores originales: Zixiang Xian, Chenhui Cui, Rubing Huang, Chunrong Fang, Zhenyu Chen

Publicado 2026-08-19

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zixiang Xian, Chenhui Cui, Rubing Huang, Chunrong Fang, Zhenyu Chen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el vasto paisaje del software moderno, las líneas de código son los ladrillos y el mortero de nuestro mundo digital. Así como un planificador urbano necesita comprender el trazado de calles y edificios para gestionar una metrópolis, los ingenieros de software necesitan comprender la estructura y el significado del código para mantener, mejorar y asegurar los sistemas que construyen. Un desafío crítico en este campo es reconocer cuándo dos piezas de código están haciendo esencialmente lo mismo, incluso si se ven diferentes en la superficie. Esto se conoce como la búsqueda de "clones", y ayuda a los desarrolladores a evitar la redundancia y detectar riesgos de seguridad. Durante años, las computadoras han luchado con esta tarea porque a menudo se pierden en el puro volumen de texto o no logran captar la lógica subyacente cuando la redacción cambia. Aunque han surgido recientemente potentes herramientas de inteligencia artificial capaces de leer y escribir código, usarlas para comparar miles de archivos ha resultado difícil, costoso y propenso a errores, debido a que las herramientas se ven abrumadas por la longitud del código o dan respuestas incorrectas cuando se les pide realizar juicios complejos de una sola vez.

Un equipo de investigadores ha introducido ahora un nuevo método llamado LSEM2VEC que resuelve estos problemas cambiando la forma en que la computadora "lee" el código. En lugar de pedirle a una inteligencia artificial masiva que observe fijamente dos archivos largos y decida si son similares —una tarea que a menudo conduce a la confusión o a errores—, el nuevo enfoque divide el trabajo en dos pasos simples y manejables. Primero, el sistema utiliza un modelo de lenguaje extenso para actuar como un traductor, leyendo un fragmento de código y escribiendo una única oración clara que resume qué hace ese código. Este paso elimina los detalles confusos y deja solo el significado central. Luego, una segunda herramienta especializada toma esa oración de resumen y la convierte en un punto matemático en el espacio, conocido como un embedding. Al convertir el código en estos puntos, la computadora puede medir fácilmente la distancia entre ellos para ver qué tan similares son, sin necesidad de volver a leer los archivos originales y extensos. Este proceso es como tener un bibliotecario que primero escribe una descripción de una sola oración de cada libro en una biblioteca masiva y luego agrupa los libros basándose en esas descripciones, en lugar de intentar leer cada página de cada libro para encontrar coincidencias.

Los investigadores probaron este método en tres conjuntos diferentes de código escrito en varios lenguajes de programación, incluyendo C y Java, utilizando diferentes modelos de inteligencia artificial para asegurar que los resultados fueran robustos. Compararon su nuevo enfoque contra muchos métodos existentes, incluyendo aquellos que requieren un entrenamiento extensivo en datos etiquetados o aquellos que intentan usar la inteligencia artificial directamente para la comparación. Los resultados fueron sorprendentes: el nuevo método superó consistentemente a los demás, encontrando clones de código con una precisión mucho mayor. En una prueba que involucraba código C, el sistema logró una puntuación de precisión de más del 95 por ciento, superando significativamente al siguiente mejor método. También demostró ser altamente efectivo para agrupar código similar, una tarea conocida como clustering (agrupamiento), donde alcanzó una puntuación de 0.99 en el Índice de Rand Ajustado, superando incluso a los métodos que habían sido entrenados con supervisión humana, los cuales alcanzaron una puntuación de 0.90.

Una ventaja clave de este trabajo es que no requiere el proceso costoso y lento de entrenar la inteligencia artificial en conjuntos de datos específicos. Los métodos tradicionales a menudo necesitan miles de ejemplos de pares de código etiquetados por humanos para aprender a detectar similitudes, lo cual es lento y costoso. El nuevo enfoque funciona de inmediato, utilizando el conocimiento existente de los modelos de inteligencia artificial sin ningún entrenamiento adicional. También resuelve un obstáculo técnico importante: la memoria limitada de estos modelos. Los modelos de lenguaje extensos solo pueden procesar una cierta cantidad de texto a la vez; si el código es demasiado largo, el modelo falla o se rinde. Al resumir el código primero, los investigadores sortearon este límite, permitiendo que el sistema maneje archivos grandes que anteriormente habrían sido imposibles de analizar. Además, el método es mucho más eficiente, requiriendo muchas menos llamadas a los modelos de inteligencia artificial, lo que ahorra tiempo y dinero.

El estudio también exploró cómo diferentes elecciones afectan el resultado, como el uso de diferentes tipos de modelos de inteligencia artificial o la eliminación de "palabras vacías" (stop words) de los resúmenes. Encontraron que, si bien las herramientas específicas importan, el enfoque general se mantiene sólido a través de diferentes configuraciones. Por ejemplo, utilizar un modelo de inteligencia artificial más avanzado para escribir los resúmenes condujo a mejores resultados, pero incluso los modelos estándar funcionaron excepcionalmente bien. Los investigadores también visualizaron los resultados, mostrando que los puntos de código generados por su método formaban grupos apretados y claros, mientras que otros métodos producían grupos desordenados y superpuestos. Esta claridad sugiere que el sistema realmente comprende el significado del código en lugar de solo coincidir patrones superficiales.

En última instancia, esta investigación ofrece una forma práctica y eficiente de comprender los vastos océanos de código que impulsan nuestro mundo. Al simplificar la compleja tarea de la comparación de código en un proceso de dos pasos de resumen y medición, los investigadores han creado una herramienta que es tanto poderosa como accesible. Demuestra que no siempre necesitamos construir modelos más grandes y complejos para resolver problemas difíciles; a veces, una forma más inteligente de usar las herramientas que ya tenemos es suficiente para ver el bosque a través de los árboles. Este enfoque podría ayudar a los ingenieros de software a limpiar sus bases de código, encontrar vulnerabilidades de seguridad ocultas y organizar sus proyectos de manera más efectiva, todo ello sin el pesado costo computacional que anteriormente había limitado estas capacidades.

Resumen Técnico de LSEM2VEC: Un Enfoque de Embedding Efectivo para la Detección y Agrupación de Clones de Código

Planteamiento del Problema
La integración de los Modelos de Lenguaje de Gran Escala (LLMs) en la ingeniería de software (SE) ha avanzado tareas como la detección y agrupación de clones de código fuente. Sin embargo, los métodos existentes para generar embeddings de código fuente enfrentan limitaciones significativas. Los modelos pre-entrenados (PTMs) tradicionales suelen requerir un entrenamiento supervisado extensivo o un ajuste fino (fine-tuning) con datos específicos de la tarea, lo que demanda recursos computacionales y conjuntos de datos etiquetados considerables. Aunque los LLMs poseen capacidades impresionantes de aprendizaje zero-shot, la aplicación directa de estos a tareas de SE presenta dos desafíos críticos:

Respuestas Erróneas: Los LLMs frecuentemente producen salidas incorrectas cuando se les asignan razonamientos complejos, como determinar si dos fragmentos de código son clones, especialmente cuando el flujo de trabajo implica resumir la funcionalidad y luego tomar una decisión binaria.
Limitaciones de la Longitud de Contexto: Los LLMs tienen ventanas de contexto fijas. Procesar grandes volúmenes de código fuente o comparar múltiples pares de código simultáneamente suele exceder estos límites, lo que provoca errores o la incapacidad de procesar fragmentos de código largos. Además, la comparación directa por pares utilizando LLMs resulta en una complejidad temporal cuadrática ( $O(n^2)$ ) respecto a las llamadas al LLM, lo que resulta ineficiente y costoso para grandes conjuntos de datos.

Metodología: LSEM2VEC
Los autores proponen LSEM2VEC (LLM-extracted code Semantics to Vector embedding), un novedoso enfoque libre de entrenamiento que genera embeddings de código fuente combinando LLMs con modelos de embedding de oraciones. El marco opera mediante un pipeline de cuatro etapas diseñado para mitigar los desafíos mencionados a través de una estrategia de "interacción tardía" (late-interaction):

Diseño de Prompt Uniforme: Un template de prompt estandarizado instruye al LLM para leer un fragmento de código fuente y resumir sucintamente su función en una sola oración, prohibiendo explícitamente el texto explicativo. Esto asegura la compatibilidad con los modelos de embedding de oraciones, que esperan entradas de una sola oración.
Resúmenes de Código y Almacenamiento: El LLM genera el resumen de una oración para cada fragmento de código. Crucialmente, el sistema extrae solo la primera oración de la respuesta para asegurar la consistencia y almacena estos resúmenes en formato JSON. Este paso desacopla la extracción semántica de la tarea posterior, permitiendo que los resúmenes sean reutilizados sin volver a consultar al LLM.
Generación de Embedding de Código: Los resúmenes de texto almacenados se introducen en un modelo de embedding de oraciones pre-entrenado (por ejemplo, MiniLM o SBERT-CN) para generar representaciones vectoriales de dimensión fija. Esta etapa convierte los resúmenes de lenguaje natural en vectores semánticos sin ningún entrenamiento o ajuste fino adicional.
Tareas de Etapa Posterior (Downstream Tasks): Los embeddings resultantes se utilizan para tareas no supervisadas. Para la detección de clones de código, la similitud se calcula mediante la similitud de coseno entre pares de vectores. Para la agrupación de código (clustering), se utiliza la distancia euclidiana con el algoritmo K-means.

Este diseño de "interacción tardía" reduce la complejidad computacional de la detección de clones de código de $O(n^2)$ (requiriendo una llamada al LLM para cada par de código) a $O(n)$ (requiriendo solo una llamada al LLM por cada fragmento de código), reduciendo significativamente los costos de tokens y evitando el desbordamiento de la longitud de contexto.

Contribuciones Clave
El artículo reclama las siguientes contribuciones:

Primera Integración Libre de Entrenamiento: Es el primer trabajo que emplea modelos de lenguaje de gran escala y de embedding de oraciones para generar embeddings de código fuente sin requerir ningún entrenamiento o ajuste fino, utilizando conjuntos de datos no etiquetados.
Mitigación de las Limitaciones de los LLM: El pipeline propuesto aborda eficazmente las respuestas erróneas de los LLM y las restricciones de longitud de contexto al dividir la tarea en pasos más pequeños (resumen seguido de embedding) en lugar de pedir al LLM que realice la tarea de razonamiento completa directamente.
Flexibilidad y Escalabilidad: El enfoque es independiente del LLM, lo que permite el uso de cualquier LLM de código abierto o propietario y diversos modelos de embedding de oraciones. Escala a través de diferentes lenguajes de programación sin necesidad de datos de entrenamiento específicos del lenguaje.
Eficiencia: Al reducir el número de llamadas al LLM y aprovechar los codificadores de oraciones pre-entrenados, el método ofrece una solución eficiente en recursos en comparación con los modelos ajustados con fine-tuning o el prompting directo de LLM.

Resultados Experimentales
Los autores evaluaron LSEM2VEC en tres conjuntos de datos (POJ-104, OJClone C y BigCloneBench) que cubren los lenguajes C y Java. La evaluación se centró en la detección de clones de código no supervisada y la agrupación de código utilizando GPT-3.5, GLM3 y GLM4.

Detección de Clones de Código: LSEM2VEC superó significativamente a los métodos no supervisados de vanguardia, incluyendo SourcererCC, Code2vec, InferCode, TransformCode y LLM2Vec.
- En el conjunto de datos OJClone C, la mejor configuración (GPT-3.5 + MiniLM-L12) alcanzó un F1-score del 91.82%, superando al modelo supervisado LLM2Vec (83.70%) y a otros baselines no supervisados.
- En el conjunto de datos BigCloneBench, LSEM2VEC alcanzó F1-scores de hasta 85.83% (usando GPT-3.5 + MiniLM-L6), superando nuevamente al LLM2Vec supervisado y a otros métodos.
- El estudio encontró que GPT-3.5 generalmente arrojó mejores resultados que la serie de modelos GLM (GLM3 y GLM4), y que la elección del modelo de embedding de oraciones (por ejemplo, MiniLM-L12 vs. L6) impactó el rendimiento.
Agrupación de Código (Clustering): Utilizando el Índice de Rand Ajustado (ARI) como métrica, LSEM2VEC demostró capacidades de agrupación superiores.
- La configuración de GPT-3.5 logró un ARI de 0.97 (usando MiniLM-L6) y 0.91 (usando MiniLM-L12), superando al LLM2Vec supervisado (0.90) y a todos los demás baselines no supervisados.
- La visualización vía t-SNE confirmó que los embeddings de LSEM2VEC produjeron límites de clusters bien definidos y distintos, particularmente cuando se utilizaron LLMs más avanzados como GPT-3.5 en comparación con GLM3.

Significancia y Reclamaciones
El artículo posiciona a LSEM2VEC como una alternativa robusta y eficiente a las estrategias de embedding existentes. Su principal significancia radica en demostrar que se pueden generar embeddings de código fuente de alta calidad sin la sobrecarga computacional del ajuste fino o la dependencia de datos etiquetados. Al aprovechar las capacidades zero-shot de los LLM para la extracción semántica y los modelos de oraciones para la vectorización, el enfoque proporciona una solución práctica para aplicaciones de la ingeniería de software en el mundo real donde los recursos son limitados. Los autores concluyen que este método ofrece una nueva dirección para que la comunidad explore representaciones avanzadas de código fuente, extendiéndose potencialmente a tareas como la sumarización de código, la detección de vulnerabilidades y el análisis de código binario en trabajos futuros.

Más como este