Resumen Técnico: SCDBench

Declaración del Problema

La descompilación de contratos inteligentes —el proceso de recuperar código fuente de alto nivel (Solidity) a partir del bytecode de la Máquina Virtual de Ethereum (EVM)— es crítica para la seguridad, la auditoría y la transparencia de la blockchain. Sin embargo, más del 99% de los contratos de Ethereum no están verificados, dejando accesible únicamente el bytecode. Aunque existen descompiladores tradicionales, a menudo producen representaciones intermedias o pseudocódigo que siguen siendo difíciles de interpretar para los desarrolladores.

La aparición de los Modelos de Lenguaje Grande (LLM) ofrece un nuevo paradigma, capaz de generar Solidity similar al código fuente que puede compilarse y parecer plausible. Sin embargo, el campo carece de una evaluación estandarizada para evaluar estos modelos. Los estudios existentes dependen de conjuntos de datos estrechos, a menudo propietarios, de métricas inconsistentes y de comprobaciones limitadas de consistencia semántica. Crucialmente, no existe un método riguroso para determinar si un contrato generado por un LLM es semánticamente equivalente al bytecode original, ya que los modelos pueden generar código que se compila pero diverge en su comportamiento.

Metodología: SCDBench

Los autores presentan SCDBench, un conjunto de datos y una metodología de evaluación diseñados para evaluar rigurosamente los descompiladores de contratos inteligentes basados en LLM.

1. Construcción del Conjunto de Datos

La evaluación consta de 600 contratos Solidity del mundo real muestreados de implementaciones verificadas de Ethereum (anteriores al 1 de enero de 2026).

• Fuente: Derivado de un corpus de 772.736 pares únicos de bytecode-fuente, filtrados para eliminar casi-duplicados y variantes de plantillas generadas masivamente.
• Estratificación: Los contratos se dividen en tres niveles de dificultad (Fácil, Medio, Difícil), con 200 contratos cada uno. La dificultad se determina por el tamaño del bytecode, el tamaño de la interfaz, la complejidad del flujo de control, las operaciones de almacenamiento y las características de bajo nivel de Solidity.
• Puntos de Control Semánticos: Para permitir la reproducibilidad, el conjunto de datos incluye 227.383 casos de prueba semánticos concretos que cubren 14.553 funciones públicas. Estos casos se generan mediante principios de fuzzing diferencial: ejecutar el contrato de verdad fundamental (ground-truth) con entradas concretas para registrar los resultados (datos de retorno, estado de reversión, registros, cambios de estado) para su posterior reproducción.

2. Pipeline de Evaluación

SCDBench emplea un protocolo de evaluación acumulativa de cuatro etapas. Un contrato debe superar cada etapa para proceder a la siguiente; el fallo en cualquier etapa cuenta como un fallo para todas las etapas posteriores.

1. Completitud del Formato: Verifica si la salida contiene configuraciones de compilador analizables, código Solidity autocontenido y un nombre de contrato objetivo.
2. Compilabilidad: Verifica si el código generado se compila correctamente en un artefacto objetivo válido.
3. Recuperación de ABI: Evalúa la reconstrucción de las firmas de funciones públicas frente a la Interfaz Binaria de Aplicación (ABI) de verdad fundamental, informando las puntuaciones de Precisión, Recuperación y F1.
4. Consistencia Semántica: La etapa más estricta. Reproduce los casos de prueba generados contra el contrato descompilado. Una función es consistente solo si todos los casos reproducidos coinciden con la verdad fundamental en cuanto a datos de retorno, estado de reversión, registros y cambios de almacenamiento.

3. Configuración Experimental

Los autores evaluaron modelos cerrados de vanguardia (Claude Opus 4.7, GPT-5.3-Codex) y una línea base de pesos abiertos (GLM-5) en un entorno de zero-shot.

• Entrada: Assembly EVM (representación textual del bytecode) y sugerencias opcionales de selectores de función no únicos.
• Variante de Reparación: Se probó una configuración de reparación de compilación zero-shot donde se proporcionaron a los modelos sus propios mensajes de error de compilación para intentar una corrección, denotada con un superíndice †.
• Razonamiento: GLM-5 se probó en los modos "instruct" (sin pensamiento) y "high-thinking" (alto pensamiento) para evaluar el impacto del razonamiento extendido.

Resultados Clave

La evaluación revela brechas significativas entre el éxito sintáctico (compilación) y la corrección semántica.

• Formato y Compilabilidad: Los modelos de vanguardia generalmente superan a las líneas base de pesos abiertos. GPT-5.3-Codex† logró la tasa de compilación más alta (90,3% total), seguido por Opus 4.7† (69,2%). La reparación zero-shot mejoró significativamente el rendimiento en todos los modelos, lo que sugiere que muchos fallos iniciales eran inconsistencias menores a nivel de compilador en lugar de errores fundamentales de descompilación.
• Recuperación de ABI: GPT-5.3-Codex† logró la mejor puntuación micro-F1 (0,896). Aunque la precisión fue generalmente alta, la recuperación varió, lo que indica que los modelos a menudo omitían funciones de verdad fundamental en lugar de alucinar funciones adicionales.
• Consistencia Semántica: Esto sigue siendo el principal cuello de botella.
  • Opus 4.7† logró la tasa de consistencia semántica más alta (29,4% de las funciones públicas).
  • GPT-5.3-Codex† tuvo el mejor rendimiento en contratos "Difíciles" (25,2%) pero ligeramente inferior en general (28,0%).
  • Recuperación Perfecta: Incluso el modelo con mejor rendimiento descompiló perfectamente solo 42 de los 600 contratos (7,0%). Casi ningún contrato "Difícil" se recuperó perfectamente.
• Impacto del Razonamiento: La configuración "high-thinking" de GLM-5 superó sustancialmente a su variante "instruct" en compilación, recuperación de ABI y consistencia semántica, lo que sugiere que el razonamiento extendido ayuda a navegar la estructura del bytecode y las restricciones del compilador.

Contribuciones Clave

1. Conjunto de Datos: Una evaluación curada y diversa de 600 contratos del mundo real con bytecode emparejado, fuente de verdad fundamental y más de 227.000 casos de prueba semánticos, estratificados por dificultad.
2. Metodología: Un marco de evaluación por etapas que va más allá de la legibilidad para imponer compilabilidad, precisión de ABI y consistencia semántica estricta mediante reproducción diferencial.
3. Hallazgos Empíricos:
   • Los modelos de vanguardia con capacidades de razonamiento son sustancialmente más fuertes que las líneas base de pesos abiertos.
   • La reparación de compilación zero-shot es un paso simple y rentable que mejora significativamente la calidad de la descompilación.
   • La consistencia semántica es el desafío abierto central: Las altas tasas de compilación y recuperación de ABI no garantizan la fidelidad semántica.

Significado

El artículo postula que SCDBench establece una base común para una evaluación rigurosa y reproducible en la descompilación de contratos inteligentes. Al cambiar el enfoque de la plausibilidad sintáctica a la consistencia semántica, la evaluación tiene como objetivo:

• Permitir la comparación justa de enfoques de descompilación emergentes.
• Destacar las limitaciones específicas de los LLM actuales en la preservación de la semántica del contrato.
• Acelerar el desarrollo de herramientas confiables para la seguridad y la transparencia de la blockchain proporcionando un marco estandarizado para la prueba y la mejora.

Los autores concluyen que, aunque los LLM de vanguardia pueden producir código estructurado y compilable, lograr una consistencia semántica completa sigue siendo un problema importante sin resolver, lo que requiere más investigación en diseños de descompiladores agentes que incorporen reparación guiada por compilador y verificación semántica.