Repairing vulnerabilities without invisible hands. A differentiated replication study on LLMs

Resumen Técnico: Un Estudio de Replicación Diferenciado sobre LLMs para la Reparación Automatizada de Vulnerabilidades

Planteamiento del Problema
La Reparación Automatizada de Vulnerabilidades (AVR) mediante Modelos de Lenguaje de Gran Escala (LLMs) ha demostrado recientemente resultados que superan a los métodos tradicionales de reparación de programas basados en pruebas. Sin embargo, los autores argumentan que estos resultados "excepcionales" pueden estar impulsados por tres "manos invisibles":

1. Fuga de Código (Code Leakage): Los LLMs pueden haber sido entrenados con los mismos conjuntos de datos de referencia utilizados para la evaluación (por ejemplo, Vul4J, PrimeVul), lo que les permite memorizar las correcciones en lugar de generalizar.
2. Diseño de Prompts (Completado vs. Parcheo): Muchos estudios enmarcan la reparación como una tarea de completado de código donde el código vulnerable es reemplido por un marcador de posición (placeholder). Si el modelo ha memorizado la corrección, simplemente completa el patrón.
3. Localización de Fallos Perfecta: Los estudios suelen proporcionar el número de línea exacto de la vulnerabilidad. Combinado con los prompts de completado de código, esto permite que los modelos que memorizan reproduzcan las correcciones sin comprender la lógica subyacente.

La hipótesis central es que si los LLMs están generalizando genuinamente, la introducción de errores en la localización de fallos debería degradar el rendimiento. Por el contrario, si solo están "haciendo trampa" mediante la memorización, ignorarán los errores de localización y reproducirán la corrección conocida independientemente de la precisión del prompt.

Metodología
Los autores proponen un "estudio de replicación escéptico" utilizando un pipeline diferenciado en los benchmarks Vul4J y VJTrans (transformado/refactorizado). La metodología implica:

• Inyección de Errores Controlada: A diferencia de los trabajos previos que proporcionan una localización perfecta, este pipeline desplaza deliberadamente la localización del fallo en el prompt por $n$ líneas (específicamente desplazamientos de 2, 4 y 8 líneas, tanto positivos como negativos) respecto a la verdad de campo (ground truth).
• Variaciones de Prompts: El estudio utiliza cuatro plantillas de prompt (P1–P4) que varían la información proporcionada:
  • Información general + solo la función.
  • Función + marcadores de localización a nivel de línea.
  • Función + descripción del tipo de vulnerabilidad.
  • Función + tanto marcadores de nivel de línea como tipo de vulnerabilidad.
• Pipeline de LLM de Dos Etapas:
  1. Generador: Un LLM inicial genera un parche basado en el prompt (potencialmente erróneo).
  2. Revisor: Un segundo LLM revisa el parche generado, emitiendo "TRUE" si parece correcto o "FALSE" si falla.
• Validación: Los parches generados se validan mediante:
  • Pruebas de Regresión: Asegurando que se preserve la funcionalidad.
  • Pruebas de Prueba de Vulnerabilidad (PoV): Asegurando que la vulnerabilidad se haya corregido realmente.
  • Auditoría Manual: Se inspecciona manualmente una muestra de parches que pasan las pruebas automatizadas para clasificarlos como "Correctos", "Parcialmente Correctos" o "Incorrectos".
• Análisis Estadístico: El estudio emplea TOST (Two One-Sided Tests) para demostrar la equivalencia estadística en lugar de solo la falta de una diferencia significativa. Esto se utiliza para probar si el rendimiento se mantiene estable a pesar de los errores de localización (apoyando la hipótesis de memorización). Se utiliza el método Agresti-Coull-Wilson para calcular los intervalos de confianza para los resultados de la auditoría manual.

Contribuciones Clave

1. Replicación Diferenciada: El artículo va más allá de la simple replicación al introducir una variable controlada (error de localización) para probar la robustez de la AVR basada en LLMs.
2. Aislamiento de la Memorización: Al utilizar VJTrans (vulnerabilidades refactorizadas con identificadores renombrados y flujo de control alterado), el estudio intenta aislar la generalización del modelo de la memorización de datos, ya que la corrección exacta del desarrollador no está disponible para estos casos transformados.
3. Marco Estadístico para la Equivalencia: Los autores proponen el uso de pruebas de equivalencia (TOST) para validar científicamente si los modelos "tramposos" (que memorizan) funcionan de manera idéntica bajo condiciones perturbadas que bajo condiciones perfectas.
4. Análisis Crítico de las "Manos Invisibles": El estudio desafía explícitamente la validez de los benchmarks actuales de AVR al demostrar cómo la localización perfecta y el enmarcado de completado de código pueden inflar artificialmente las tasas de éxito.

Resultos y Resultados Esperados
Nota: Como esto es una propuesta/plan para un estudio (indicado por las secciones de "Plan de Ejecución" y "Declaración de Investigación"), el documento no presenta resultados empíricos finales, sino las hipótesis y el diseño experimental para probarlas.

El documento describe hipótesis específicas sobre los resultados esperados:

• Hipótesis sobre la Memorización: Si los LLMs dependen de la memorización, habrá una equivalencia estadísticamente significativa en el rendimiento entre los prompts con localización perfecta y aquellos con localización desplazada (RQ1ERR). El modelo ignorará el error y emitirá la corrección conocida.
• Hipótesis sobre la Generalización: Si los LLMs están generalizando, el rendimiento debería caer significativamente cuando la localización se desplaza, ya que el modelo intentará reparar el código incorrecto.
• Comportamiento del Revisor: Si la hipótesis del "tramposo" es correcta, el segundo LLM (revisor) también dependerá de la memorización. Debería reconocer parches "plausibles" (memorizados) incluso cuando la localización en el prompt es errónea, mientras que podría fallar al reconocer parches correctos para vulnerabilidades refactorizadas (no vistas).
• Sensibilidad al Desplazamiento: Los autores esperan que no haya una diferencia de rendimiento significativa entre desplazamientos pequeños ($\le 2$) y grandes ($>3$) si el modelo está haciendo trampa, ya que el modelo ignora la pista de localización del prompt por completo.

Significancia
El artículo afirma su importancia al abordar la crisis de reproducibilidad en la ingeniería de software basada en LLMs. Al demostrar que las altas tasas de éxito actuales pueden ser artefactos de la fuga de datos y la localización perfecta, el estudio pretende:

• Proporcionar una línea base más rigurosa para evaluar las herramientas de AVR.
• Distinguir entre modelos que realmente comprenden los patrones de vulnerabilidad y aquellos que simplemente recuerdan los datos de entrenamiento.
• Establecer una metodología (inyección de errores + prueba de equivalencia) que pueda aplicarse a estudios futuros para asegurar que las mejoras reportadas en la reparación de programas sean generalizaciones genuinas y no artefactos de memorización.

Los autores concluyen que, sin tales controles, el campo corre el riesgo de sobreestimar las capacidades de los LLMs en tareas críticas de seguridad.