Reentrancy Detection in the Age of LLMs

Resumen Técnico: Detección de Reentrancia en la Era de los LLMs

1. El Problema

La reentrancia sigue siendo una de las vulnerabilidades más críticas en los contratos inteligentes de Ethereum, habiendo causado pérdidas estimadas en más de 900 millones de dólares. Sin embargo, el ecosistema actual de herramientas de detección presenta graves deficiencias de fiabilidad y robustez:

• Obsolescencia: Muchas herramientas estáticas y basadas en aprendizaje automático (ML) fueron diseñadas para versiones antiguas de Solidity (pre-0.8) y no soportan las nuevas características semánticas y sintácticas de las versiones modernas (0.8+).
• Inconsistencia: No existe una definición unificada de reentrancia. Diferentes herramientas (Mythril, Slither, Securify, etc.) utilizan heurísticas contradictorias, lo que genera etiquetas de "verdad fundamental" (ground truth) inconsistentes en los conjuntos de datos existentes.
• Fragilidad de los Datos: Los conjuntos de datos utilizados para entrenar modelos de ML a menudo están etiquetados por estas mismas herramientas defectuosas, propagando errores y sesgos.
• Falta de Mantenimiento: Las herramientas tradicionales requieren actualizaciones constantes para seguir el ritmo de la evolución del lenguaje, lo que ha llevado a una degradación en su capacidad de análisis.

2. Metodología

Los autores adoptan una perspectiva orientada a la dependabilidad, evaluando tanto la corrección (fiabilidad) como la capacidad de funcionar en entornos cambiantes (robustez).

A. Construcción de Nuevos Conjuntos de Datos (Ground Truth)
Para evitar la circularidad de evaluar herramientas con datos etiquetados por otras herramientas, crearon dos conjuntos de datos manualmente verificados:

1. Aggregated Benchmark (Benchmarks Agregados):
   • Consolidación de 432 contratos del mundo real extraídos de tres conjuntos de datos académicos previos (CGT, HuangGai, Reentrancy Study).
   • Proceso de Verificación: Reetiquetado manual por tres expertos independientes y validación asistida por LLMs para resolver discrepancias. Se filtraron contratos que no compilaban en versiones modernas.
2. Reentrancy Scenarios Dataset (RSD):
   • Un conjunto de 143 ejemplos mínimos de trabajo (MWEs) diseñados específicamente para estresar a las herramientas.
   • Cubre casos límite semánticos, características modernas de Solidity 0.8+ (manejo de errores, modificadores avanzados, delegatecall, staticcall, bucles, etc.) y patrones que confunden a los analizadores sintácticos.

B. Definición Operativa de Reentrancia
Propusieron una definición unificada basada en tres pasos para el etiquetado:

1. Despliegue (Unfolding): Expansión de llamadas a funciones locales, modificadores e herencia.
2. Detección Sintáctica: Identificación de llamadas externas seguidas de efectos secundarios en el estado (violación de CEI).
3. Comparación Semántica: Verificación de si la ejecución reentrante produce un estado final diferente al de una ejecución secuencial no reentrante.

C. Evaluación Experimental
Se evaluaron tres categorías de tecnologías en ambos conjuntos de datos:

• 12 Herramientas de Análisis Estático/Formal: (Ej. Mythril, Slither, Securify, Oyente+, Aderyn, etc.).
• 10 Modelos de Aprendizaje Automático (ML/DL): (Ej. Random Forest, SVM, CodeBERT, BiLSTM).
• 9 Grandes Modelos de Lenguaje (LLM): Tanto comerciales (GPT-4o, GPT-4.1, o3-mini, Gemini) como de código abierto (Qwen, Phi, GPT-OSS), evaluados en configuración zero-shot.

3. Contribuciones Clave

1. Evaluación de Dependabilidad: La primera evaluación sistemática que demuestra la fragilidad de las herramientas actuales frente a Solidity moderno, revelando una falta de consenso incluso en casos simples.
2. Nuevos Benchmarks de Alta Calidad: Liberación del Aggregated Benchmark y el RSD, que eliminan el ruido de las herramientas antiguas y ofrecen un estándar para pruebas de estrés semántico.
3. LLMs como Alternativa Robusta: Demostración de que los LLMs superan a las herramientas tradicionales en precisión y robustez sin requerir mantenimiento de reglas.
4. Asistencia Humana: Evidencia de que las explicaciones generadas por LLMs ayudan a los auditores humanos a identificar casos mal etiquetados y ambigüedades, mejorando la calidad de los conjuntos de datos.

4. Resultados Principales

Rendimiento en el Aggregated Benchmark (Contratos Reales):

• Herramientas Tradicionales: Lograron un F1 máximo de 0.87 (Slither), pero con altas tasas de error en compilación o ejecución.
• Modelos ML: Alcanzaron un F1 de hasta 0.86.
• LLMs: El modelo o3-mini alcanzó un F1 de 0.96 en configuración zero-shot, superando a todas las demás categorías.

Rendimiento en el RSD (Pruebas de Estrés Semántico):

• Herramientas Tradicionales: La mayoría falló o tuvo un rendimiento muy pobre. El mejor analizador (Slither) obtuvo un F1 de 0.76. Muchas herramientas no soportaban las versiones de Solidity 0.8+ o fallaban en casos con delegatecall o modificadores complejos.
• Modelos ML: Rendimiento mediocre, con un F1 máximo de 0.72 (XGBoost).
• LLMs: El modelo o4-mini logró un F1 de 0.82, y gpt-oss alcanzó 0.85.

Consistencia y Errores:

• Falta de Consenso: En el benchmark agregado, solo 38 de 122 contratos reentrantes fueron detectados por al menos 6 herramientas diferentes.
• Tasa de Error: Las herramientas estáticas sufrieron tasas de error significativas (algunas >60% en RSD) debido a incompatibilidades de compilador o sintaxis. Los LLMs tuvieron una tasa de error de 0%, ya que no fallan al procesar el código fuente.

5. Significado e Implicaciones

• Cambio de Paradigma: Las herramientas de análisis estático tradicionales ya no pueden considerarse una "verdad fundamental" confiable para la seguridad de contratos inteligentes modernos debido a su obsolescencia y falta de mantenimiento.
• Ventaja de los LLMs: Los LLMs ofrecen una robustez semántica superior. Al razonar sobre el significado del código en lugar de aplicar reglas sintácticas rígidas, se adaptan automáticamente a nuevas versiones de Solidity y patrones de ataque complejos sin necesidad de reentrenamiento o actualización de reglas.
• Hibridación Futura: El futuro de la detección de vulnerabilidades probablemente residirá en enfoques híbridos que combinen las garantías formales de las herramientas estáticas con la adaptabilidad y capacidad de razonamiento de los LLMs.
• Mejora de la Calidad de Datos: El uso de LLMs como "auditores de auditorías" (para verificar explicaciones y detectar etiquetas erróneas) es una metodología viable para mejorar la calidad de los conjuntos de datos de entrenamiento.

En conclusión, el estudio concluye que, aunque los LLMs carecen de garantías formales estrictas, su capacidad para mantenerse robustos frente a la evolución del lenguaje los convierte en la opción más fiable actualmente para la detección de reentrancia en el ecosistema de Ethereum moderno.