Resumen Técnico: Estrategias de Reescritura para la Recuperación de Código

Enunciado del Problema

Los sistemas de recuperación de código basados en incrustaciones (embeddings) sufren frecuentemente de una comprensión superficial del comportamiento del programa, adhiriéndose a menudo a pistas sintácticas de nivel superficial en lugar de al significado semántico. Esto conduce a que fragmentos de código semánticamente distintos se mapeen a representaciones vectoriales similares. Aunque trabajos previos han intentado mitigar esto utilizando Modelos de Lenguaje Grandes (LLM) para reformular consultas y corpus hacia un estilo normalizado, dos preguntas críticas permanecen sin resolver:

1. Cambio Representacional: ¿Cuánto mejora realmente la recuperación el cambio del nivel de representación (por ejemplo, de código a lenguaje natural o pseudocódigo)?
2. Justificación Costo-Beneficio: ¿Cuándo está justificada la carga computacional de una llamada a un LLM en línea por consulta, y puede la reescritura realizarse fuera de línea?

Los métodos existentes operan típicamente en un único nivel de representación (código) y a menudo tratan las representaciones intermedias (como el pseudocódigo) como puentes transitorios en lugar de objetivos finales de recuperación. Además, carecen generalmente de diagnósticos para predecir cuándo la reescritura será beneficiosa.

Metodología

Los autores realizan un estudio sistemático que evalúa una jerarquía de tres estrategias de reescritura bajo dos regímenes de aumento:

1. Estrategias de Reescritura:
   • Reformulación Estilística: Normalización de la sintaxis y el estilo del código (siguiendo a Li et al., 2024).
   • Pseudocódigo Enriquecido con NL: Conversión del código a pseudocódigo estructurado con comentarios en lenguaje natural, utilizado directamente como la representación de recuperación.
   • Transcripción Completa en Lenguaje Natural (NL): Conversión de fragmentos de código enteramente a descripciones en lenguaje natural, utilizadas directamente como la representación de recuperación.
2. Regímenes de Aumento:
   • Consulta-Corpus Conjunta (QC, En línea): Tanto la consulta como el corpus son reescritos por el LLM antes de la incrustación.
   • Solo Corpus (C, Fuera de línea): Solo el corpus es reescrito; las consultas permanecen en su forma original.
3. Configuración Experimental:
   • Benchmarks: Seis conjuntos de datos de la suite CoIR (que cubren modalidades de código a código, texto a código e híbridas).
   • Codificadores: Cinco codificadores que van desde los de propósito general hasta los especializados en código (por ejemplo, MoSE-18, CodeXEmbed, E5-Base-V2).
   • Reescritores: Tres familias de modelos independientes (Qwen3-Coder, DeepSeek-Coder-V2, Codestral) para garantizar robustez frente a artefactos específicos del reescritor.
4. Diagnósticos: El artículo introduce dos métricas para analizar el efecto de la reescritura:
   • $\Delta H$ (Entropía de Tokens): El cambio en la entropía de Shannon de los tokens de entrada, midiendo la diversidad léxica.
   • $\Delta \bar{s}$ (Coseno de Incrustación): El cambio en la similitud del coseno promedio por pares de las incrustaciones, midiendo la isotropía de la representación (dispersión discriminativa).

Contribuciones Clave

1. Nuevas Representaciones de Recuperación: Los autores son los primeros en evaluar el Pseudocódigo Enriquecido con NL y el Lenguaje Natural a nivel de fragmento como objetivos de recuperación directos, en lugar de intermedios transitorios.
2. Comparación Sistemática: Una evaluación controlada a través de tres niveles de reescritura, dos regímenes de aumento, múltiples codificadores y tres familias de reescritores.
3. Marco Diagnóstico: La introducción de $\Delta H$ y $\Delta \bar{s}$ como diagnósticos a nivel de representación. Crucialmente, el artículo demuestra que $\Delta H$ sirve como un predictor agnóstico al reescritor para las ganancias de recuperación bajo el régimen QC.
4. Marco Costo-Beneficio: El estudio replantea la reescritura con LLM no como una solución universal, sino como una capa de remediación con condiciones específicas para su eficacia.

Resultados

• Eficacia de NL+QC: La reescritura completa en Lenguaje Natural con aumento conjunto de consulta-corpus (NL+QC) produce las mayores ganancias de rendimiento. En el benchmark CT-Contest (código a código), mejoró el NDCG@10 de MoSE-18 de 0.23 a 0.74 (+0.51 absoluto). Sigue siendo la mejor estrategia o empatada con la mejor para los tres reescritores en tareas con predominio de código.
• Ineficacia de Solo Corpus (C): La reescritura solo del corpus degrada el rendimiento de recuperación en aproximadamente el 62% de las configuraciones (56 de 90). Esto se atribuye a una incompatibilidad de modalidad entre el corpus reescrito y las consultas originales. QC supera a C en 78 de 90 comparaciones emparejadas.
• Dependencia del Codificador: Las ganancias escalan inversamente con la capacidad del codificador. Los codificadores ligeros (por ejemplo, MoSE-18) se benefician significativamente de la reescritura, mientras que los codificadores fuertes (por ejemplo, Qwen3-Emb) a menudo ven rendimientos planos o negativos, lo que sugiere que la reescritura es más valiosa como remediación para modelos más débiles.
• Modalidad de la Consulta: La jerarquía de abstracción (Reformulación < Pseudo < NL) se mantiene para tareas de código a código, pero se desmorona para tareas de texto a código. Cuando las consultas ya están en lenguaje natural, reescribir el corpus a NL borra las señales sintácticas residuales sin crear nueva alineación, a menudo perjudicando el rendimiento.
• Poder Predictivo de $\Delta H$: Bajo el régimen QC, el cambio en la entropía de tokens ($\Delta H$) es un predictor significativo de la ganancia en recuperación.
  • Para Codestral: $\rho = +0.593$ ($p < 0.001$).
  • Para DeepSeek: $\rho = +0.274$.
  • Agrupado (no-Qwen): $\rho = +0.436$ ($p < 0.001$).
  • Esta correlación se mantiene a través de diferentes familias de reescritores, estableciendo $\Delta H$ como un proxy barato y agnóstico al reescritor para decidir si la reescritura valdrá la pena antes de ejecutar la recuperación.

Significado y Afirmaciones

El artículo afirma replantear la reescritura con LLM para la recuperación de código como una decisión costo-beneficio en lugar de un paso estándar de preprocesamiento. Los autores concluyen que:

• La reescritura es más efectiva como una capa de remediación para codificadores ligeros que manejan consultas dominadas por código.
• Ofrece rendimientos decrecientes para codificadores fuertes o consultas que ya son ricas en lenguaje natural.
• La métrica $\Delta H$ proporciona un mecanismo práctico y de bajo costo para que los profesionales predigan si un par específico de consulta/corpus se beneficiará de la reescritura, permitiéndoles evitar llamadas innecesarias al LLM cuando el diagnóstico indica una ganancia potencial baja.

Los autores declaran explícitamente que sus hallazgos son modestos en lo que respecta a modelos de código cerrado y lenguajes de bajos recursos, señalándolos como limitaciones. Enfatizan que, aunque la reescritura mejora la recuperación, hereda los sesgos y riesgos de alucinación del reescritor, recomendando auditoría humana y punteros a la fuente para su implementación.