Resumen Técnico: Más allá de los pares de código: Generación de datos basada en diálogos para la traducción de código de LLM

Declaración del problema

Los Modelos de Lenguaje Extensos (LLMs) han demostrado capacidades significativas en la traducción de código para lenguajes populares como Python y Java. Sin embargo, su rendimiento se deteriora significamente en dominios de programación de bajos recursos (por ejemplo, Fortran) y marcos especializados (por ejemplo, CUDA), donde los datos de entrenamiento paralelos de alta calidad son escasos. Los enfoques actuales basados en agentes suelen seguir un flujo de trabajo de origen a destino, produciendo pares de código origen-destino finales. Aunque estos métodos son efectivos para generar código sintácticamente válido, descartan información intermedia valiosa —como errores del compilador, diagnósticos de tiempo de ejecución e interacciones con herramientas externas— que es crucial para permitir un razonamiento más profundo sobre la semántica del programa y el comportamiento funcional. En consecuencia, los modelos entrenados en pares de código estáticos suelen fallar al recuperarse de errores o al generar código funcionalmente correcto en escenarios de traducción complejos.

Metodología

Los autores proponen un flujo de trabajo de generación de conjuntos de datos automatizado que va más allá de los pares de código tradicionales mediante la incorporación de un diseño de Preguntador–Solucionador de doble LLM dentro de un flujo de trabajo de traducción basado en agentes. Este enfoque genera diálogos de múltiples turnos que capturan el proceso de razonamiento detrás del refinamiento de la traducción.

El módulo Preguntador–Solucionador

El núcleo del sistema consiste en dos roles distintos de LLM:

• Preguntador (Questioner): Analiza el estado actual, aprovecha la memoria del diálogo (intentos pasados, errores, correcciones) e incorpora señales externas (errores del compilador, salidas de tiempo de ejecución). Formula preguntas dirigidas, especifica restricciones y verifica la consistencia entre el origen y el destino.
• Solucionador (Solver): Ejecuta traducciones, genera pruebas unitarias, propone correcciones y devuelve los resultados de verificación.

Flujo de generación de diálogos de múltiples turnos

El flujo de trabajo procesa el código del Lenguaje de Programación de Origen (SPL) a través de las siguientes etapas para generar diálogos verificados:

1. Preprocesamiento: Filtra el código fuente para asegurar que sea autónomo, ejecutable y que quepa dentro de las ventanas de contexto.
2. Generación y Verificación de Pruebas Unitarias del SPL: El Solucionador genera pruebas unitarias para el código fuente. El Preguntador analiza los resultados de la ejecución; si ocurren fallos, el Solucionador repara las pruebas o el código. Este bucle continúa hasta que las pruebas pasan (hasta un umbral determinado).
3. Traducción Inicial: El Preguntador solicita una traducción al lenguaje de destino y el Solucionador produce el código inicial.
4. Verificación y Refinamiento de la Traducción: El código traducido se compila y se ejecuta contra las pruebas unitarias. El Preguntador evalúa los resultados e instruye al Solucionador para que refine la traducción basándose en los errores. Este bucle iterativo captura las trayectorias de resolución de problemas.
5. Verificación de Duo-Test: Una etapa final asegura la equivalencia funcional entre el programa de origen y el programa traducido comparando las salidas. Las traducciones exitosas y sus historiales de diálogo completos se almacenan como datos verificados.

Construcción del Conjunto de Datos

El flujo de trabajo produce dos tipos de formatos de datos para el ajuste fino (fine-tuning):

• A nivel de Diálogo: Conversaciones completas de múltiples turnos que capturan todo el flujo de trabajo.
• Pares de Pregunta–Solución (QS Pairs): Intercambios atómicos extraídos de los diálogos, que descomponen el razonamiento en pasos finos.

Los autores instanciaron este flujo de trabajo para dos tareas: Fortran→C++ y C++→CUDA, generando 3.64k y 3.93k diálogos, respectivamente. Estos se descompusieron además en más de 14.1k (Fortran→C++) y 12.7k (C++→CUDA) pares QS.

Contribuciones Clave

1. Flujo de Generación de Diálogos Automatizado: Un marco impulsado por un módulo de Preguntador–Solucionador de doble LLM que integra conocimiento externo (compiladores, tiempos de ejecución) en trazas de razonamiento estructuradas, yendo más allá de los pares de código estáticos.
2. Nuevos Benchmarks de Traducción: Conjuntos de datos a gran escala de traducciones verificadas con pruebas unitarias para Fortran→C++ y C++→CUDA, acompañados de tres suites de prueba disjuntas para una evaluación rigurosa.
3. Validación de Estrategias de Estructuración de Datos: Los autores demuestran que diferentes formatos de datos optimizan para distintas tareas. Descomponer los diálogos en Pares QS de grano fino es altamente efectivo para dominar la complejidad sintáctica, mientras que usar la traza de Diálogo completa es superior para preservar la correza semántica.

Resultados Experimentales

Los autores evaluaron el enfoque ajustando modelos de pesos abiertos de tamaño medio (CodeLlama-13B, DeepSeek-Coder-6.7B, Qwen2.5-7B) con los datos generados.

• Corrección Funcional: El ajuste fino con los datos generados produjo mejoras dramáticas. En la desafiante tarea C++→CUDA, la tasa de éxito de las pruebas unitarias del modelo CodeLlama-13B aumentó del 12.5% al 68.8% (un aumento de >56%) cuando se entrenó con datos de Pares QS. Del mismo modo, la traducción de Fortran→C++ vio a CodeLlama-13B mejorar del 42.3% al 74.1%.
• Ganancias en Rondas de Depuración: Los modelos entrenados con datos de diálogo mostraron mejoras consistentes a través de múltiples rondas de depuración, superando a los modelos entrenados con pares de código estáticos en compilación, ejecución y éxito de pruebas unitarias.
• Competitividad con Sistemas Propietarios: Un modelo Qwen2.5-7B ajustado con diálogos superó significativamente a sistemas propietarios más grandes (Gemini 2.5 Flash, Llama 4 Scout 17B) en métricas clave como el éxito de compilación y ejecución, resaltando la eficiencia en costos de la supervisión centrada en el diálogo.
• Puntuaciones CodeBLEU: Los modelos ajustados demostraron mejoras consistentes en las puntuaciones CodeBLEU, lo que indica un mejor alineamiento sintáctico y estructural con las soluciones de referencia.

Significado

El artículo afirma que la supervisión impulsada por el diálogo mejora consistentemente la corrección funcional en múltiples familias de modelos de pesos abiertos, particularmente en dominios de bajos recursos donde los corpus paralelos tradicionales no están disponibles. Al incrustar el razonamiento estructurado (retroalimentación del compilador, pasos de corrección de errores) en el conjunto de datos, el enfoque permite que los LLM aprendan no solo el resultado final de la traducción, sino el proceso mediante el cual se logra la corrección. Los resultados sugieren que este método proporciona una vía rentable para lograr un rendimiento de vanguardia en la modernización de código heredado, permitiendo que modelos más pequeños de pesos abiertos igualen o superen a sistemas propietarios más grandes. Los autores señalan que, si bien el marco se centra en la corrección funcional como un primer paso necesario, el trabajo futuro buscará incorporar métricas de evaluación conscientes del rendimiento.