Leveraging Large Language Models to Obscure Code Stylometry: A Comparative Study of GPT-3.5 and GPT-4

Resumen Técnico: Aprovechamiento de los Modelos de Lenguaje Extensos para Oscurecer la Estilometría de Código

Planteamiento del Problema
La estilometría de código consiste en analizar firmas estilísticas únicas en el código fuente para la atribución de autoría, una técnica crítica para la ciberseguridad y el rastreo de los orígenes del software malicioso. Los métodos estilométricos tradicionales dependen de características léxicas, de diseño y sintácticas (a menudo derivadas de Árboles de Sintaxis Abstracta o AST) para identificar programadores. Sin embargo, la aparición de Modelos de Lenguaje Extensos (LLM) como GPT-3.5 y GPT-4 introduce un desafío significativo: estos modelos pueden generar o transformar código preservando la funcionalidad pero alterando las huellas dactilares estilísticas. Esta capacidad permite potencialmente que actores malintencionados evadan la detección de autoría, complicando los esfuerzos de ciberseguridad. Este estudio investiga hasta qué punto los LLM pueden oscurecer con éxito la estilometría de código para evadir la detección por parte de un clasificador de aprendizaje automático manteniendo la funcionalidad del código.

Metodología
La investigación empleó un diseño experimental estructurado que involucró cuatro fases primarias: preparación del conjunto de datos, extracción de características, entrenamiento del modelo evaluador e ingeniería de prompts.

1. Conjunto de Datos: El estudio utilizó el conjunto de datos Methods2Test, un gran corpus de fragmentos de código Java emparejados con pruebas unitarias. Para los experimentos, se seleccionó un subconjunto del conjunto de prueba (78,388 pares). Los datos se convirtieron de JSON a CSV, se limpiaron de valores faltantes y se ensamblaron para incluir el código de la clase focal y la clase de prueba en columnas únicas.
2. Extracción de Características: Una herramienta basada en Python extrajo 109 características estilométricas categorizadas en tres grupos:
   • Léxicas: Conteos de palabras clave, conteos de tokens, valores literales y estadísticas de longitud de línea.
   • De Diseño (Layout): Patrones de indentación (tabulaciones frente a espacios), líneas vacías y proporciones de espacios en blanco.
   • Sintácticas: Características derivadas del Árbol de Sintaxis Abstracta (AST), incluyendo la profundidad máxima de nodo y ocurrencias específicas de palabras clave de Java.
3. Modelo Evaluador: Se entrenó un clasificador de Bosque Aleatorio (Random Forest) para predecir el ID del repositorio (autoría) basándose en las características extraídas. El modelo alcanzó una precisión base alta del 95.18% en el conjunto de prueba de reserva, con puntuaciones de validación cruzada que promediaron 0.95, estableciendo una base robusta para la detección de firmas estilísticas.
4. Ingeniería de Prompts e Interacción con LLM: Se probaron GPT-3.5 y GPT-4 utilizando cuatro estrategias de prompts distintas, cada una implementada mediante dos métodos: Single-Shot (instrucción directa) y Multi-Shot (guía conversacional paso a paso).
   • Estrategia 1 (Solo Cambiar el Estilo): Instrucción general para alterar el estilo sin objetivos específicos.
   • Estrategia 2 (Emulación de Estilo Específico): Instruir al modelo para imitar a un programador específico o una convención regional.
   • Estrategia 3 (Estilo con un Ejemplo): Proporcionar un fragmento de código de muestra para que el modelo lo emule.
   • Estrategia 4 (Transformación de Lenguaje Cruzado): Traducir Java a C++ y de vuelta a Java para forzar cambios estilísticos.
5. Evaluación: El código generado por el LLM se evaluó mediante dos métricas:
   • Éxito de Evasión: Si el clasificador de Bosque Aleatorio fallaba al identificar correctamente el ID del repositorio original (un "0" en la tabla de resultados).
   • Preservación de la Funcionalidad: Si el código modificado compilaba exitosamente y pasaba todas las pruebas unitarias originales.

Resultados Clave
Los experimentos arrojaron resultados mixtos respecto a la capacidad de los LLM para evadir la detección manteniendo la funcionalidad.

• Rendimiento del Modelo: GPT-4 generalmente superó a GPT-3.5, logrando una tasa de éxito de evasión promedio del 29% en comparación con el 24% de GPT-3.5. GPT-4 mostró una fortaleza particular en los métodos single-shot al usar la emulación de estilo específico (Estrategia 2, 40% de éxito).
• Efectividad de la Estrategia de Prompt:
  • Multi-Shot vs. Single-Shot: Los métodos multi-shot fueron generalmente más efectivos (28% de éxito promedio) que los métodos single-shot (14% de éxito promedio). La guía detallada y paso a paso mejoró significativamente el rendimiento de GPT-3.5, particularmente en la Estrategia 1 (60% de éxito).
  • Comparación de Estrategias: La Transformación de Lenguaje Cruzado (Estrategia 4) fue la más efectiva en general (35% de éxito promedio). La Emulación de Estilo Específico (Estrategia 2) le siguió con un 30%. Solo Pedir Cambiar el Estilo (Estrategia 1) mostró resultados mixtos (25%), dependiendo fuertemente del método utilizado. Estilo con un Ejemplo (Estrategia 3) fue la menos efectiva (15%).
• Preservación de la Funcionalidad: Un hallazgo crítico fue la dificultad para mantener la integridad del código. De 80 muestras probadas, solo el 58% (46 muestras) compiló y pasó todas las pruebas unitarias. Una parte significativa (41%) falló al compilar, a menudo debido a cambios inducidos por el LLM en los nombres de las clases o los tipos de datos.
• Éxito Dual: Solo el 10% del total de las muestras probadas (8 de 80) logró el doble objetivo de evadir con éxito el clasificador de estilometría y mantener la funcionalidad completa.

Significancia y Contribuciones
El artículo postula que su principal contribución radica en proporcionar información crítica sobre la robustez de las técnicas actuales de atribución de autoría frente a las capacidades avanzadas de la IA. Al demostrar que los LLM pueden oscurecer parcialmente las firmas estilísticas, el estudio resalta una vulnerabilidad en las medidas de ciberseguridad tradicionales que dependen de la estilometría de código.

La investigación subraya la importancia de la ingeniería de prompts, revelando que los prompts estructurados y detallados (multi-shot) son significativamente más efectivos que las instrucciones simples. Además, expone el compromiso entre la obfuscación estilística y la funcionalidad del código; si bien los LLM pueden alterar el estilo, hacerlo sin romper la compilación del código sigue siendo un desafío importante.

Limitaciones y Direcciones Futuras
Los autores reconocen varias limitaciones, incluyendo las restricciones del conjunto de datos (dependencia de proyectos Java de código abierto), las restricciones de recursos computacionales y la naturaleza manual de la verificación de funcionalidad. Se propone trabajo futuro que incluya conjuntos de datos más grandes y diversos, el desarrollo de canales automatizados para las pruebas de funcionalidad, la exploración de algoritmos de aprendizaje automático alternativos (como LSTMs) para el modelo evaluador, y la inclusión de otros LLM empresariales (por ejemplo, Gemini, Claude) para un análisis comparativo.

En conclusión, aunque GPT-4 y las estrategias de prompting avanzadas muestran promesa para oscurecer la estilometría de código, la tecnología actual aún no permite una transformación de código fluida, indetectable y totalmente funcional a escala. Esto sugiere que, si bien la atribución de autoría está bajo amenaza, sigue siendo un campo viable, aunque desafiado, que requiere el desarrollo continuo de técnicas de detección más robustas.