Resumen Técnico: Pararse sobre los Hombros de Gigantes: Destilación de Conocimiento Estabilizada para la Detección de Clones de Código entre Lenguajes

Definición del Problema

La Detección de Clones de Código entre Lenguajes (X-CCD) tiene como objetivo identificar fragmentos de código funcionalmente equivalentes escritos en diferentes lenguajes de programación. Esta tarea es significativamente más desafiante que la detección en un solo lenguaje, ya que los programas semánticamente equivalentes a menudo carecen de similitud sintáctica a nivel superficial. Aunque los Modelos de Lenguaje Grandes (LLM) han demostrado ser prometedores en el razonamiento semántico, su aplicación a la X-CCD enfrenta tres limitaciones principales:

1. Restricciones de Caja Negra: Los modelos propietarios plantean preocupaciones en cuanto a costos, privacidad y reproducibilidad.
2. Fiabilidad de los Modelos Compactos: Los modelos más pequeños y de código abierto a menudo tienen dificultades para seguir instrucciones de razonamiento complejas y fallan al producir salidas que puedan mapearse consistentemente a etiquetas binarias de clone/no clone.
3. Inestabilidad de la Salida: La inferencia basada en generación a menudo produce respuestas ambiguas o no analizables, lo que conduce a bajas "tasas de respuesta" (la proporción de entradas que generan una decisión binaria válida) y métricas de evaluación poco fiables.

Metodología

Los autores proponen un marco que combina Destilación de Conocimiento (KD) con Estabilización de Respuestas para transferir capacidades de razonamiento desde un modelo maestro fuerte a modelos estudiantiles compactos.

1. Pipeline de Destilación de Conocimiento

• Modelo Maestro: Se utiliza DeepSeek-R1 como maestro para generar trazas de razonamiento de alta calidad y de "Estilo Sistema 2" (lentas, deliberadas, paso a paso) para pares de código entre lenguajes.
• Modelos Estudiantes: Se utilizan dos modelos autoregresivos compactos ajustados con instrucciones: Phi-3-Mini y Qwen2.5-Coder-3B.
• Construcción de Datos:
  • Datos Semilla: Derivados del Proyecto CodeNet, filtrando para aceptar envíos y asegurar la corrección funcional. Se forman pares a través de cuatro combinaciones de lenguajes: Python–Java, Rust–Java, Rust–Python y Rust–Ruby.
  • Datos de Entrenamiento Sintéticos: El modelo maestro procesa los pares semilla utilizando un prompt estructurado que requiere comparación de funcionalidad, razonamiento algorítmico, análisis estructural y una conclusión final.
  • Filtrado: Solo se retienen las muestras donde la etiqueta predicha por el maestro coincide con la verdad fundamental para evitar la propagación de ruido.
  • Variantes: El estudio evalúa cinco variantes de conjuntos de datos basadas en la estructura del prompt y los componentes de salida del maestro (Solo Razonamiento, Solo Conclusión, o ambos). La variante RRC (Prompt de Razonamiento + Razonamiento + Salidas de Conclusión) se identificó como la más efectiva.
• Ajuste Fino: Los estudiantes se ajustan finamente utilizando LoRA (Adaptación de Bajo Rango) para aprender eficientemente los patrones de razonamiento y los límites de decisión del maestro sin actualizaciones completas de parámetros.

2. Métodos de Estabilización de Respuestas

Para abordar el problema de las salidas no analizables, se introducen tres métodos para garantizar una tasa de respuesta del 100% (mapear cada entrada a una etiqueta binaria):

• Conclusión Forzada: Un proceso de inferencia de dos etapas.
  • Etapa 1: El modelo genera una respuesta de razonamiento de forma libre.
  • Etapa 2: Un prompt de seguimiento pide al modelo que decida basándose en su razonamiento anterior. En lugar de generar texto, la decisión se toma comparando las probabilidades de los tokens "Sí" y "No" en el estado oculto final.
• Cabeza de Clasificación Binaria: Un clasificador ligero se adjunta a las representaciones ocultas agrupadas del modelo de lenguaje congelado. Aprende un mapeo directo desde los embeddings a etiquetas binarias utilizando pérdida de entropía cruzada binaria, eliminando la necesidad de generación de texto durante la inferencia.
• Cabeza de Clasificación Contrastiva: Similar a la cabeza binaria pero entrenada con una pérdida contrastiva supervisada adicional. Este objetivo fomenta que los pares de clones tengan embeddings similares y que los pares no clones estén más separados, con el objetivo de mejorar la robustez bajo cambios de distribución.

Configuración Experimental

• Conjuntos de Datos: Los experimentos cubren conjuntos de prueba de Misma Distribución (SD) y Diferente Distribución (DD) a través de los cuatro pares de lenguajes.
• Líneas Base: El rendimiento de cero disparos (zero-shot) de los modelos estudiantes base se compara con sus contrapartes ajustadas finamente mediante KD.
• Métricas: Precisión, Recall, puntuación F1 y Tasa de Respuesta (el porcentaje de entradas mapeadas exitosamente a una etiqueta binaria).

Resultados Clave

1. Impacto de la Destilación de Conocimiento (RQ2)

• Tasa de Respuesta: KD mejora significativamente la fiabilidad de los modelos compactos. Por ejemplo, en Rust–Ruby (SD), la tasa de respuesta de Qwen-Coder aumentó del 24.3% al 67.7%. En problemas DD, las ganancias fueron aún más pronunciadas (por ejemplo, Phi3 en Python–Java DD subió del 34.6% al 53.8%).
• Generalización: KD mejoró consistentemente las puntuaciones F1 en conjuntos de prueba de Diferente Distribución (DD), lo que sugiere la transferencia de patrones de razonamiento de alto nivel en lugar de heurísticas específicas del conjunto de datos.
• Sensibilidad del Modelo: Qwen-Coder se benefició desproporcionadamente más de KD que Phi3, logrando mejoras escaladas de F1 de ~27 puntos (SD) y ~23 puntos (DD), en comparación con ~7 y ~9 puntos para Phi3, respectivamente.

2. Rendimiento de la Estabilización de Respuestas (RQ3)

• Conclusión Forzada: Este método logró el mejor equilibrio entre completitud y precisión. Cuando se combina con KD, produjo puntuaciones F1 consistentes (rango de 70–75) en todos los escenarios con una tasa de respuesta del 100%.
• Cabezas de Clasificación: Aunque estos métodos lograron tasas de respuesta del 100% y redujeron drásticamente el tiempo de inferencia (de horas a minutos), generalmente resultaron en puntuaciones F1 más bajas en comparación con el enfoque de conclusión forzada, particularmente debido a un recall reducido en la variante de cabeza binaria.
• Eficiencia vs. Precisión: Las cabezas binaria y contrastiva redujeron el tiempo de inferencia en aproximadamente 200–400 veces en comparación con los métodos basados en generación, ofreciendo una alternativa práctica para la implementación a gran escala donde la latencia es crítica.

3. Rendimiento de la Línea Base (RQ1)

• Los modelos pequeños de código abierto demostraron capacidades de cero disparos no triviales, pero sufrieron de bajas tasas de respuesta (a menudo <50%) y pobre robustez en distribuciones de problemas no vistos. Se consideró que la inferencia generativa cruda era insuficiente para la implementación práctica sin estabilización.

Significado y Contribuciones

El artículo afirma las siguientes contribuciones:

1. Primer Conjunto de Datos Orientado al Razonamiento: Creación de un conjunto de datos de entrenamiento sintético (10,671 muestras) para CCD entre lenguajes utilizando DeepSeek-R1, que cubre cuatro pares de lenguajes y está diseñado para elicitar razonamiento de Sistema 2.
2. Análisis Sistemático de Formatos de Destilación: Identificación del formato "Razonamiento + Conclusión" (RRC) como el más efectivo para destilar razonamiento específico de CCD.
3. Demostración de la Eficacia de KD: Evidencia de que KD mejora tanto las tasas de respuesta como el rendimiento predictivo (especialmente bajo cambios de distribución) para modelos compactos como Phi3 y Qwen-Coder.
4. Marco de Estabilización de Respuestas: Introducción de tres métodos para lograr tasas de respuesta del 100%, con un enfoque específico en la técnica de Conclusión Forzada, que preserva las capacidades de razonamiento mientras garantiza decisiones binarias válidas.
5. Compensaciones Prácticas: Un análisis detallado que muestra que, aunque la conclusión forzada ofrece la mayor precisión, las cabezas de clasificación proporcionan una alternativa altamente eficiente, permitiendo la implementación local de sistemas X-CCD sin depender de APIs propietarias costosas.

Los autores concluyen que la X-CCD práctica con modelos compactos de código abierto requiere un enfoque dual: destilar razonamiento específico de la tarea desde maestros fuertes y estabilizar el espacio de salida para garantizar predicciones deterministas y accionables.