Early Comparative Evaluation of Transformer Models for Multilingual Software Vulnerability Detection

Resumen Técnico: Evaluación Comparativa Temprana de Modelos Transformer para la Detección de Vulnerabilidades de Software Multilingüe

Planteamiento del Problema
Las vulnerabilidades de software suponen riesgos significativos para la seguridad, la estabilidad financiera y el mantenimiento de los sistemas, particularmente a medida que las aplicaciones modernas integran cada vez más múltiples lenguajes de programación. Mientras que las técnicas tradicionales de análisis estático y dinámico sufren de altas tasas de falsos positivos y una cobertura limitada, y los métodos convencionales de aprendizaje automático dependen de características diseñadas manualmente o de análisis de grano grueso, los modelos basados en transformer han surgido como alternativas prometedoras debido a su capacidad para capturar información contextual y dependencias de largo alcance en el código fuente. Sin embargo, la investigación existente se centra predominantemente en lenguajes únicos (p. ej., C/C++) o conjuntos de lenguajes limitados, lo que crea una brecha en la comprensión de cómo estos modelos se generalizan a través de diversas sintaxis y semánticas en entornos multilingües.

Metodología
Este estudio enmarca la detección de vulnerabilidades de software como un problema de clasificación binaria (vulnerable vs. seguro) y lleva a cabo una evaluación comparativa temprana de tres arquitecturas de transformer: BERT, RoBERTa y CodeBERT.

• Conjunto de Datos: Los investigadores utilizaron el conjunto de datos CVEFixes, seleccionando específicamente un subconjunto de 9,000 muestras en cuatro lenguajes: HTML (285 muestras), Python (1,564 muestras), JavaScript (1,562 muestras) y PHP (5,589 muestras). El conjunto de datos fue preprocesado para eliminar registros incompletos, resultando en una distribución casi equilibrada de muestras vulnerables (codificadas como 1) y seguras (codificadas como 0) para cada lenguaje.
• Diseño Experimental: Los modelos fueron evaluados mediante una validación cruzada estratificada de tres pliegues por lenguaje para preservar la distribución de clases. El código fuente fue tokenizado con una longitud máxima de secuencia de 512 tokens utilizando los respectivos tokenizadores para cada modelo.
• Implementación: El ajuste fino (fine-tuning) se realizó utilizando el marco de trabajo Hugging Face Trainer. El rendimiento se midió utilizando precisión (accuracy), precisión (precision), exhaustividad (recall) y puntuación F1.

Contribuciones Clave
El artículo describe tres contribuciones primarias:

1. El desarrollo de un pipeline temprano basado en transformers multilingües para la detección de vulnerabilidades de software.
2. Una comparación directa, por lenguaje, de BERT, CodeBERT y RoBERTa a través de HTML, Python, JavaScript y PHP.
3. La provisión de evidencia empírica que demuestra que el rendimiento del modelo transformer varía sustancialmente entre diferentes lenguajes de programación.

Resultados
Los resultados experimentales indican que ningún modelo supera consistentemente a los demás en todos los lenguajes, y el rendimiento es altamente dependiente del lenguaje:

• HTML: Este lenguaje arrojó los resultados más sólidos. CodeBERT logró la puntuación F1 más alta de 0.7171, seguido de cerca por RoBERTa (0.7078) y BERT (0.7064). Todos los modelos alcanzaron puntuaciones F1 por encima de 0.70.
• Python, JavaScript y PHP: Estos lenguajes presentaron desafíos significativamente mayores, con todos los modelos logrando puntuaciones F1 por debajo de 0.45.
  • Python: CodeBERT funcionó mejor con una puntuación F1 de 0.4367.
  • JavaScript: RoBERTa logró la puntuación F1 más alta de 0.4289.
  • PHP: BERT logró la puntuación F1 más fuerte de 0.4036, aunque todos los modelos tuvieron dificultades con este lenguaje (el rendimiento más bajo en general).

Significancia y Reivindicaciones
El artículo posiciona modestamente estos hallazgos como una "comparación temprana por lenguaje" en lugar de un benchmark plenamente generalizable. Los autores afirman que la variación sustancial en el rendimiento sugiere que los patrones de vulnerabilidad dependen del lenguaje. En consecuencia, la detección de vulnerabilidades multilingüe efectiva probablemente requiere un ajuste específico por lenguaje, un mejor manejo del desequilibrio de clases y representaciones de código fuente más ricas, en lugar de un enfoque de modelo de "talla única".

Los autores reconocen las limitaciones, señalando que los lenguajes seleccionados no representan el espectro completo de los lenguajes de programación y que los hallazgos son específicos de la configuración experimental actual. Concluyen que el trabajo futuro debe expandir la cobertura de lenguajes, investigar estrategias de entrenamiento de mezcla de lenguajes y emplear métricas de evaluación más robustas (como la puntuación F1 macro, el coeficiente de correlación de Matthews y el PR-AUC) para evaluar mejor la generalización del modelo.