Resumen Técnico: Evaluación del Ajuste Fino y las Métricas para la Descompilación Neuronal de Binarios Dart AOT

1. Planteamiento del Problema

La descompilación neuronal, la tarea de traducir código de máquina de vuelta a código fuente de alto nivel, se ha centrado tradicionalmente en objetivos C y C++. Sin embargo, los lenguajes de programación modernos como Dart (utilizado en Flutter) presentan desafíos únicos debido a sus procesos de compilación Ahead-of-Time (AOT), que aplican optimizaciones agresivas como la especialización de tipos, el inlining de funciones y la eliminación de código muerto. Estas optimizaciones eliminan información semántica de alto nivel, lo que hace que el ensamblador x86-64 resultante sea significativamente más difícil de revertir que un C no optimizado.

Además, la metodología de evaluación para la descompilación neuronal sigue estando subdesarrollada. Los estudios previos suelen depender de métricas superficiales como CodeBLEU o tasas de éxito de compilación, que pueden no correlacionarse con la corrección funcional. Existe una brecha crítica en la comprensión de si el ajuste fino (fine-tuning) de los Modelos de Lenguaje Extensos (LLMs) sobre pares de ensamblador-fuente realmente mejora la corrección funcional, cómo afecta el entrenamiento translingüe al rendimiento y si las métricas de evaluación estándar predicen de manera fiable la utilidad del código descompilado.

2. Metodología

2.1 Construcción del Conjunto de Datos

Los autores construyeron un nuevo benchmark, HumanEval-Dart, que comprende 154 funciones Dart adaptadas del benchmark HumanEval, cada una equipada con entornos de pruebas unitarias exhaustivos.

• Datos Naturales: 246 funciones Dart extraídas de RosettaCode.
• Datos Sintéticos: 948 pares de funciones Dart y Swift sintéticas generados por múltiples LLMs (GPT-4, Claude, DeepSeek, Qwen).
• Igualación de Tokens: Para aislar el efecto de la elección del lenguaje del volumen de datos, los autores crearon dos conjuntos de datos de entrenamiento con recuentos de tokens igualados dentro de un 2%:
  1. Dart+Synthetic: 1,194 pares ensamblador–Dart.
  2. Dart+Swift: 1,000 pares ensamblador–fuente (246 Dart + 754 Swift).
• Nota de Optimización: Los datos de entrenamiento de Dart utilizaron binarios optimizados por AOT, mientras que los datos de Swift utilizaron binarios no optimizados (-O0), introduciendo un factor de confusión conocido respecto a los niveles de optimización.

2.2 Diseño Experimental

El estudio empleó un diseño factorial de $3 \times 2$, ajustando finamente seis variantes de modelos a través de tres arquitecturas base:

1. Qwen3-4B (4B parámetros)
2. DeepSeek-R1-0528-Qwen3-8B (8B parámetros, destilado de razonamiento)
3. Qwen3-8B (8B parámetros, preentrenamiento estándar)

Cada modelo base fue sometido a un ajuste fino utilizando LoRA con DoRA (Weight-Decomposed Low-Rank Adaptation) tanto en los conjuntos de datos Dart+Synthetic como en Dart+Swift.

2.3 Métricas de Evaluación

El estudio evaluó los modelos utilizando tres métricas complementarias:

1. CodeBLEU: Similitud semántica (coincidencia de n-gramas, AST y flujo de datos). Se desarrolló una implementación personalizada para Dart.
2. compile@k: Validez sintáctica (proporción de salidas generadas que compilan).
3. pass@k: Corrección funcional (probabilidad de que al menos una de $k$ salidas supere todas las pruebas unitarias), calculada mediante el estimador insesgado.

2.4 Análisis Estadístico

Los autores aplicaron pruebas estadísticas pareadas rigurosas para comparar las variantes ajustadas finamente contra sus respectivos modelos base:

• Prueba exacta de McNemar para resultados binarios de pass@1 (resuelto vs. no resuelto).
• Intervalos de confianza de Bootstrap para diferencias de medias.
• Pruebas de rango con signo de Wilcoxon y pruebas t para métricas continuas.

3. Resultados Clave

3.1 Efectividad del Ajuste Fino (RQ1)

Contrario a la hipótesis de que el ajuste fino mejora el rendimiento, ninguna configuración de ajuste fino produjo una mejora estadísticamente significativa en el pass@k.

• Qwen3-8B (Base más fuerte): El ajuste fino causó una regresión altamente significativa. La variante Dart+Synthetic (v5) cayó de un 6.36% a un 0.71% en pass@1 ($p < 0.001$), perdiendo 22 tareas y ganando ninguna. La variante Dart+Swift (v6) mostró una caída catastrófica similar.
• Qwen3-4B (Base más débil): La variante Dart+Synthetic (v1) mostró una tendencia direccionalmente positiva pero no significativa (+0.71 pp, $p=0.21$).
• DeepSeek-R1-8B: No mostró cambios significativos, con una ligera regresión no significativa.

3.2 Interferencia Translingüe (RQ2 y RQ3)

El estudio investigó si el entrenamiento en código Swift interfiere con la descompilación de Dart.

• Interferencia Dependiente de la Escala: En 4B, añadir datos de entrenamiento de Swift causó una degradación significativa en el pass@k de Dart ($\Delta = -2.66$ pp, $p < 0.001$).
• Hipótesis de Escalamiento: En 8B, esta interferencia se volvió estadísticamente indistinguible de cero. Sin embargo, los autores señalan que esto se complica por el hecho de que ambas variantes de 8B sufrieron regresiones masivas debido al propio ajuste fino, lo que hace que la "equivalencia" entre los dos modelos degradados sea menos significativa.

3.3 Divergencia de Métricas (RQ4)

Un hallazgo crítico es la divergencia entre las métricas superficiales y la corrección funcional.

• Estudio de Caso (v3): La variante DeepSeek-R1-8B entrenada en Dart+Synthetic mostró mejoras significativas en CodeBLEU (+0.051, $p=0.001$) y compile@1 (+16 pp). Sin embargo, su pass@1 regresó (de 3.90% a 3.12%), aunque no de forma significativa.
• Estudio de Caso (v5): La variante Qwen3-8B mostró un colapso masivo en pass@1 (de 6.36% a 0.71%) mientras que CodeBLEU y compile@k se mantuvieron relativamente estables o mostraron solo descensos modestos.
• Conclusión: Los modelos pueden aprender a producir código sintácticamente válido y superficialmente similar (alto CodeBLEU) mientras fallan en capturar la lógica subyacente necesaria para la ejecución funcional.

3.4 Análisis de Error y Complejidad

• Longitud del Ensamblador: El predictor más fuerte de la dificultad de la tarea fue la longitud de la secuencia de ensamblador ($p=0.001$). Existe un "abismo de capacidad" aproximadamente en las 200 instrucciones; la capacidad de resolución cae del 48% para tareas de <50 líneas al 6% para tareas de >200 líneas.
• Métricas Tradicionales: Las métricas de complejidad de código tradicionales (complejidad ciclomática, profundidad de anidamiento) mostraron un poder predictivo insignificante.
• Compromiso (Trade-off): El ajuste fino a 4B parámetros pareció intercambiar "alcance" por "fiabilidad". El modelo ajustado (v1) se volvió más fiable en secuencias de ensamblador cortas y simples, pero perdió la capacidad de resolver tareas complejas que el modelo base ocasionalmente resolvía mediante el razonamiento general estocástico.

4. Contribuciones

1. Benchmark HumanEval-Dart: Un nuevo benchmark de 154 funciones Dart con pruebas unitarias para evaluar la corrección funcional en la descompilación.
2. Implementación de Dart CodeBLEU: Una implementación específica para el lenguaje de CodeBLEU con análisis de AST y de flujo de datos para Dart.
3. Evidencia Empírica sobre el Ajuste Fino: Un estudio sistemático que demuestra que el ajuste fino de tareas en modelos de tamaño pequeño a mediano (4B–8B) no garantiza la mejora funcional y puede causar regresiones significativas, particularmente en modelos base más fuertes.
4. Demostración de la Divergencia de Métricas: Evidencia de que CodeBLEU y compile@k pueden mejorar mientras que el pass@k regresa, desafiando la dependencia de las métricas superficiales en la generación de código.
5. Análisis Translingüe: Evidencia controlada de que la interferencia translingüe es significativa en escalas menores pero se atenúa con la capacidad del modelo, aunque confundida por desajustes de optimización.

5. Significación y Reivindicaciones

El artículo se posiciona como un análisis sistemático de la metodología de evaluación y la efectividad del ajuste fino más que como un sistema de descompilación listo para su despliegue. Los autores enfatizan que los números absolutos de pass@k siguen siendo bajos en todos los modelos, incluidos los sistemas comerciales (Qwen3-Max: 18.38% pass@1).

La principal significación reside en los hallazgos de advertencia:

• Rechazo de las Métricas Superficiales: El estudio argumenta que CodeBLEU y compile@k son insuficientes como indicadores de la corrección funcional en la descompilación. Un modelo puede parecer mejorar en las métricas superficiales mientras se vuelve funcionalmente inútil.
• Ajuste Fino Dependiente de la Capacidad: Los autores proponen una hipótesis (no una ley confirmada) de que el ajuste fino puede sobrescribir las capacidades de razonamiento general valiosas en modelos más fuertes, llevando a una regresión catastrófica, mientras tiene efectos neutros o ligeramente positivos en modelos más débiles.
• Protocolo de Evaluación: El artículo aboga por el uso de pass@k con pruebas unitarias como la métrica de evaluación primaria para la descompilación neuronal y las tareas de generación de código donde la corrección funcional es primordial.

Los autores declaran explícitamente que sus hallazgos sobre la "tendencia dependiente de la capacidad" se basan en tres arquitecturas y una configuración de hiperparámetros, enmarcándolos como observaciones que generan hipótesis para motivar futuros barridos de escala en lugar de leyes de escalamiento definitivas. También reconocen la limitación de los desajustes de optimización en sus experimentos translingüísticos, señalando que se requiere trabajo futuro con conjuntos de datos con optimización emparejada para aislar la interferencia lingüística de los cambios distributivos.