Enhancing Smart Contract Vulnerability Detection in DApps Leveraging Fine-Tuned LLM

Resumen Técnico: Mejora de la detección de vulnerabilidades en contratos inteligentes en DApps mediante el uso de LLM con ajuste fino (Fine-Tuning)

Planteamiento del problema
Las aplicaciones descentralizadas (DApps) enfrentan riesgos de seguridad críticos debido a las vulnerabilidades en sus contratos inteligentes subyacentes. Si bien los métodos de detección tradicionales, como el análisis estático y la verificación de transiciones de estado, son efectivos para patrones conocidos (por ejemplo, reentrada, errores aritméticos), tienen dificultades con las amenazas emergentes y los fallos lógicos "no auditables por máquinas". Estadísticas recientes indican que casi el 80% de las vulnerabilidades de los contratos son errores lógicos, incluyendo problemas complejos como la manipulación del precio de tokens, que evaden el análisis de programas convencional. Además, los benchmarks existentes suelen basarse en conjuntos de datos simplificados (contratos con menos de 40 líneas), lo que no logra representar la complejidad de los proyectos de DApps del mundo real. Los enfoques actuales de Modelos de Lenguaje de Gran Escala (LLM) que utilizan ingeniería de prompts o Generación Aumentada por Recuperación (RAG) también muestran limitaciones, alcanzando solo un 40–60% de precisión debido a la falta de adaptación específica al dominio del lenguaje de programación Solidity.

Metodología
El artículo propone un nuevo marco que aprovecha los LLM con ajuste fino para mejorar la detección de vulnerabilidades en DApps. La metodología consta de cuatro componentes principales:

1. Recolección de datos exhaustiva:
   Los autores construyeron un nuevo conjunto de datos que comprende 215 proyectos de DApps del mundo real y 4,998 contratos inteligentes. A diferencia de los conjuntos de datos anteriores, esta colección se recolectó utilizando una herramienta personalizada de Python llamada SmartCollect, que recupera las dependencias completas del proyecto, incluyendo librerías públicas y contratos externos. El conjunto de datos aborda específicamente la escasez de ejemplos de errores lógicos al incluir 23 contratos con vulnerabilidades de manipulación de precio de tokens, junto con vulnerabilidades estándar como reentrada, problemas aritméticos y dependencia de la marca de tiempo (timestamp).

2. Aumento de datos (ROS):
   Para abordar el severo desequilibrio de clases inherente a la detección de vulnerabilidades (donde los casos vulnerables son una minoría), el estudio emplea Muestreo de Sobremuestreo Aleatorio (ROS). Esta técnica duplica las muestras de la clase minoritaria para equilibrar el conjunto de datos, mitigando así la degradación del rendimiento que suele verse en los modelos de aprendizaje profundo entrenados con datos desequilibrados del mundo real.

3. Arquitectura de LLM de doble rol:
   El sistema propuesto utiliza un proceso de auditoría de dos pasos donde el LLM asume dos roles distintos activados mediante ingeniería de prompts:

• Auditor de Contratos Inteligentes: Revisa el código para identificar vulnerabilidades potenciales y generar razonamiento.
• Verificador: Valida adicionalmente los tipos de vulnerabilidades identificadas para asegurar la precisión y el rigor.
  Los prompts están diseñados con razonamiento de Cadena de Pensamiento (CoT), requiriendo que el modelo emule el flujo de trabajo de un auditor al comprender el contexto, analizar la lógica y proporcionar salidas estructuradas.

4. Estrategias de Ajuste Fino (Fine-Tuning):
   El estudio evalúa dos enfoques de ajuste fino en modelos de código abierto de gran relevancia (Llama3-8B y Qwen2-7B):

• Ajuste Fino de Parámetros Completos (FFT): Actualiza todos los parámetros del modelo mediante el descenso de gradiente para lograr un rendimiento óptimo específico de la tarea.
• Adaptación de Bajo Rango (LoRA): Un método de eficiencia de parámetros que congela los pesos del modelo base y entrena matrices de bajo rango ($A$ y $B$) para aproximar las actualizaciones de peso, reduciendo la carga computacional.

Contribuciones Clave

• Conjunto de Datos del Mundo Real: La creación de un conjunto de datos a gran escala y representativo de 215 proyectos de DApps (4,998 contratos) que incluye errores lógicos complejos y fallos de manipulación de precio de tokens, cerrando la brecha dejada por los benchmarks simplificados existentes.
• Marco de Ajuste Fino: Una demostración de que el ajuste fino específico del dominio (FFT y LoRA) supera significativamente a los LLM basados en prompts y a las herramientas de vanguardia (GPTLENS, GPTSCAN) en la detección de vulnerabilidades de contratos inteligentes.
• Detección de Errores Lógicos: Un enfoque específico en vulnerabilidades "no auditables por máquinas", demostrando que los LLM con ajuste fino pueden detectar eficazmente fallos lógicos como la manipulación de precios, que las herramientas tradicionales pasan por alto.
• Validación del Aumento de Datos: Evidencia empírica que muestra que el ROS mejora significativamente el rendimiento de los conjuntos de datos de vulnerabilidades desequilibrados.

Resultados Experimentales
El estudio realizó experimentos comparativos para responder a cuatro preguntas de investigación sobre el rendimiento, el impacto del ajuste fino, la detección de errores lógicos y el aumento de datos:

• Rendimiento vs. Baselines: Los modelos con ajuste fino superaron significativamente a los enfoques basados en prompts sin ajuste fino. Mientras que un Qwen2-7B estándar basado en prompts logró un F1-score de solo 0.20, el Llama3-8B-FFT ajustado alcanzó un F1-score de 0.73 (Precisión: 0.78, Recall: 0.70).
• Comparación con SOTA: Los modelos con ajuste fino (Llama3-8B-FFT y Qwen2-7B-FFT) lograron una precisión de 0.78, superando a GPTLENS (0.64) y GPTSCAN (0.57).
• Detección de Errores Lógicos: El enfoque demostró una capacidad excepcional en la detección de vulnerabilidades de manipulación de precio (PMV). El modelo Llama3-8B-FFT logró una precisión de 0.97 y un recall de 0.68 para PMV, resaltando su capacidad para manejar fallos no auditables por máquinas.
• Impacto del Aumento de Datos: La aplicación de ROS al proceso de ajuste fino produjo mejoras adicionales. El modelo Llama3-8B-FFT-ROS alcanzó un F1-score de 0.83 (Precisión: 0.84, Recall: 0.79), lo que representa un aumento de 6–7% en la precisión y un aumento de 9–16% en el recall en comparación con la línea base de FFT sin aumento.

Significancia
El artículo afirma que el ajuste fino de dominio de los LLM, combinado con técnicas de aumento de datos como ROS, ofrece una solución robusta para los desafíos de seguridad evolutivos en el ecosistema blockchain. Al ir más allá de los patrones de vulnerabilidad predefinidos y el prompting de propósito general, este enfoque aborda eficazmente la detección de vulnerabilidades lógicas y complejas, no auditables por máquinas, en DApps del mundo real. Los resultados subrayan el potencial de los LLM con ajuste fino para servir como una capa crítica en la protección de la blockchain, particularmente para identificar los sofisticados errores lógicos que constituyen la mayoría de los riesgos modernos en contratos inteligentes.