ReDef: Do Code Language Models Truly Understand Code Changes for Just-in-Time Software Defect Prediction?

1. Problema y Motivación

La Predicción de Defectos de Software Just-in-Time (JIT-SDP) es crucial para priorizar revisiones de código y procesos de integración continua. Sin embargo, la investigación actual enfrenta dos limitaciones fundamentales:

1. Ruido en las Etiquetas de Datos: La mayoría de los conjuntos de datos existentes dependen del algoritmo SZZ (Śliwerski–Zimmermann–Zeller) para vincular commits de corrección de errores con los commits que introdujeron el error. Este método es propenso a errores, ya que asume que la última modificación de una línea corregida fue la causante del error, ignorando refactorizaciones o renombramientos. Esto genera un alto nivel de "ruido" (etiquetado incorrecto) que oscurece la evaluación real de los modelos.
2. Falta de Comprensión Semántica Real: Aunque los Modelos de Lenguaje de Código (CLMs) han mostrado un rendimiento superior en tareas estáticas, no está claro si realmente razonan sobre la semántica de los cambios (la relación causal entre el estado "antes" y "después") o si simplemente se basan en correlaciones superficiales y patrones textuales.

2. Metodología

Los autores proponen un enfoque de dos etapas para abordar estos problemas: la construcción de un nuevo conjunto de datos de alta confianza y un protocolo de evaluación riguroso.

A. Construcción del Conjunto de Datos: ReDef

Se introdujo ReDef (Revert-based Defect dataset), un conjunto de datos de alta confianza centrado en cambios a nivel de función, extraído de 22 proyectos grandes en C/C++.

• Anclaje por Reversiones (Reverts): En lugar de usar SZZ, se utilizaron commits de reversión como señales explícitas de defectos. Un commit de reversión que cita un fallo o una corrección proporciona una evidencia causal directa de que la modificación anterior era defectuosa.
• Filtrado Riguroso:
  • Se seleccionaron cambios que afectaban a un solo archivo y una sola función.
  • Se empleó un proceso de triaje asistido por GPT-4o (tres votos independientes) para clasificar las reversiones en: (A) Fallo en la corrección, (B) Introducción de error, o (C) Otro (no defecto). Solo se mantuvieron los casos con consenso unánime en A o B.
  • Para los casos "limpios", se realizó una verificación histórica post-hoc para asegurar que no surgieran errores posteriores en la misma función.
• Resultados del Dataset: 3,164 modificaciones defectuosas y 10,268 limpias. La precisión de las etiquetas se validó manualmente en una muestra, alcanzando un 92% de precisión (frente al 50-85% de ruido en datasets anteriores).

B. Protocolo de Evaluación de Modelos (CLMs)

Se evaluaron cuatro modelos representativos: CodeBERT, CodeT5+, UniXcoder (arquitecturas basadas en codificadores) y Qwen2.5 (modelo generador decodificador de gran escala).

• Etapa 1: Estrategias de Codificación de Entrada: Se compararon cinco formas de presentar los cambios al modelo:
  1. Solo función final (After-only).
  2. Función final con marcadores de cambio (After+Change markers).
  3. Concatenación de Antes y Después (Before+After).
  4. Diferencia con etiquetas (Diff with tags: <ADD>, <DEL>).
  5. Bloques añadidos y eliminados separados (Added→Deleted blocks).
• Etapa 2: Análisis de Robustez Contrafactual: Se diseñaron perturbaciones deliberadas para probar si el modelo entiende la semántica del cambio o solo patrones superficiales. Las perturbaciones incluían:
  • Intercambio de bloques añadidos/eliminados.
  • Inversión de la polaridad de las etiquetas de diferencia (cambiar <ADD> por <DEL>).
  • Intercambio de las funciones "antes" y "después".
  • Inyección de marcadores de cambio falsos.
  • Hipótesis: Si el modelo entiende la semántica, estas distorsiones lógicas deberían causar una caída drástica en el rendimiento.

3. Contribuciones Clave

1. ReDef: Un nuevo benchmark de alta precisión para JIT-SDP que mitiga el problema de las etiquetas ruidosas mediante el uso de reversiones explícitas y filtrado asistido por IA.
2. Evaluación Sistemática de Codificaciones: El primer estudio comparativo exhaustivo de cómo diferentes representaciones de cambios afectan el rendimiento de los CLMs.
3. Análisis de Ceguera Semántica: Un protocolo de perturbación contrafactual que revela que la aparente robustez de los modelos actuales es, en realidad, una dependencia de señales superficiales en lugar de una comprensión profunda de la dinámica de los cambios de código.

4. Resultados Principales

• RQ1 (Calidad de las Etiquetas): La auditoría manual confirmó una precisión del 92% en las etiquetas defectuosas, demostrando que ReDef es significativamente más fiable que los datasets basados en SZZ.
• RQ2 (Mejores Estrategias de Codificación):
  • Las codificaciones compactas basadas en diferencias (Diff) y bloques añadidos/eliminados superaron consistentemente a las estrategias que presentan la función completa (como Before+After).
  • Causa: Las funciones completas a menudo exceden el límite de tokens (512 o 1024), provocando truncamiento de las líneas editadas críticas. Además, el contexto no modificado actúa como "ruido" que distrae al modelo.
  • Rendimiento del Modelo: Contrariamente a la intuición, CodeBERT (modelo más pequeño) obtuvo el mejor rendimiento general, mientras que Qwen2.5 (modelo más grande) tuvo un rendimiento inferior. Esto sugiere que en tareas de señales sutiles de defectos, los modelos más grandes pueden tener dificultades para discernir patrones simples y consistentes frente al ruido.
• RQ3 (Robustez ante Perturbaciones):
  • Hallazgo Crítico: El rendimiento de los modelos (medido por F1) permaneció estable incluso cuando se invirtió la lógica del cambio (ej. intercambiar bloques añadidos por eliminados).
  • Interpretación: Si los modelos comprendieran la semántica del cambio, invertir la lógica debería degradar drásticamente su capacidad de predicción. La estabilidad observada indica "ceguera semántica": los modelos no están razonando sobre la causalidad del cambio, sino que se basan en señales superficiales invariantes (distribución de tokens, patrones posicionales) que persisten incluso tras la perturbación.
  • CodeBERT fue casi inmune a las perturbaciones, mientras que Qwen2.5 mostró una sensibilidad marginal, pero insuficiente para demostrar comprensión real.

5. Significado e Implicaciones

• Advertencia sobre la Evaluación Actual: Los altos puntajes en benchmarks actuales no deben interpretarse como una prueba de comprensión profunda de la evolución del código. La "robustez" observada es a menudo un síntoma de dependencia de atajos superficiales.
• Necesidad de Nuevos Enfoques: Se requiere el desarrollo de arquitecturas y objetivos de entrenamiento diseñados específicamente para capturar la dinámica relacional y causal de las transformaciones de código, más allá de la predicción estática.
• Recomendaciones Prácticas: Para tareas de predicción de defectos en tiempo real, es preferible utilizar representaciones de cambios compactas (diffs) en lugar de funciones completas para evitar el truncamiento y el ruido contextual.
• Futuro de la Investigación: El estudio sugiere que escalar el tamaño del modelo (más parámetros) no resuelve automáticamente la falta de comprensión semántica en tareas de cambios de código, y se necesitan objetivos de pre-entrenamiento específicos para cambios (edit-aware).

En conclusión, ReDef proporciona una base sólida y libre de ruido para evaluar modelos, y sus resultados desafian la noción de que los CLMs actuales poseen una comprensión genuina de los cambios de código, revelando una brecha semántica crítica que debe ser abordada en futuras investigaciones.