Resumen Técnico: Traducción de Representación Intermedia de Compiladores mediante LLM

Declaración del Problema

La infraestructura de software moderna depende en gran medida de dos ecosistemas de compiladores dominantes, pero incompatibles: GCC y LLVM. Aunque ambos utilizan Representaciones Intermedias (IR) para impulsar optimizaciones y generación de código, sus IRs —específicamente el GIMPLE de GCC y el LLVM IR de LLVM— difunden fundamentalmente en filosofía de diseño, estructura y semántica.

• Diferencias Estructurales: GIMPLE está orientado a sentencias y preserva estructuras de control de alto nivel, mientras que LLVM IR está orientado a expresiones, reduciendo el flujo de control en bloques básicos, ramas y nodos $\phi$.
• Diferencias Semánticas: Divergen en modelos de memoria (operandos virtuales frente a cargas/almacenamientos explícitos), estrictitud del sistema de tipos y manejo de excepciones.
• La Barrera: Estas discrepancias crean obstáculos significativos para la interacción entre cadenas de herramientas, impidiendo la reutilización de frontends, backends y pipelines de optimización a través de lenguajes y ecosistemas.
• Limitaciones de las Soluciones Existentes: Los traductores basados en reglas tradicionales (por ejemplo, DragonEgg, Wyrm) han intentado cerrar esta brecha, pero sufren altos costos de mantenimiento, fragilidad ante cambios en las versiones del compilador e incapacidad para generalizar más allá de subconjuntos estrechos de programas.

Metodología

El artículo propone IRIS-14B, un enfoque basado en datos que utiliza Modelos de Lenguaje Grandes (LLM) para aprender las complejas mapeos semánticos entre GIMPLE y LLVM IR directamente a partir de ejemplos emparejados, en lugar de depender de reglas diseñadas a mano.

1. Arquitectura del Modelo y Entrenamiento

• Modelo Base: Los autores ajustaron finamente Qwen3-14B, un transformador decodificador único de 14 mil millones de parámetros, elegido por su tamaño manejable y su fuerte pre-entrenamiento en código.
• Datos de Entrenamiento: Se construyeron dos conjuntos de datos curados de pares GIMPLE y LLVM IR:
  • TheStack-IRIS: Derivado de 310.000 muestras de código C de GitHub, compiladas para extraer pares de IR alineados.
  • GNU-IRIS: Un conjunto de datos de 13.049 pares de funciones alineadas extraídos de utilidades GNU, procesados para ajustarse a los límites de contexto.
• Procedimiento de Entrenamiento: El modelo se entrenó con 1.4 mil millones de tokens de datos de IR emparejados utilizando el optimizador AdamW con un programador de coseno. El entrenamiento se realizó en 15 nodos con 4xH100 GPUs, tomando aproximadamente 35 horas.

2. Pipeline de Traducción

La metodología propuesta integra IRIS-14B en las cadenas de herramientas de compilación existentes sin modificar los propios compiladores:

1. Entrada: Un archivo de código fuente es compilado por GCC para generar un volcado GIMPLE no optimizado (vía -fdump-tree-gimple).
2. Traducción: El texto GIMPLE se introduce en IRIS-14B, que genera el LLVM IR correspondiente.
3. Salida: El LLVM IR generado es compilado por la cadena de herramientas LLVM para producir un ejecutable.
   Este enfoque trata la traducción como una tarea de texto a texto, desacoplando el modelo de los internos del compilador y permitiéndole adaptarse a cambios en la sintaxis de la IR sin reescribir los pases del compilador.

Contribuciones Clave

1. IRIS-14B: El primer LLM de código abierto entrenado explícitamente para la traducción IR a IR (de GIMPLE a LLVM IR).
2. Metodología Novel: Un marco para integrar LLMs como capas de interoperabilidad dentro de arquitecturas de compiladores híbridas neuro-simbólicas, habilitando flujos de trabajo entre cadenas de herramientas sin alterar los pases de compilación existentes.
3. Conjuntos de Datos: El lanzamiento de TheStack-IRIS y GNU-IRIS (conjuntos de entrenamiento) y ExeBench-IRIS y CodeForces-IRIS (conjuntos de evaluación), proporcionando los primeros corpus públicos alineados de GIMPLE-LLVM IR.
4. Evaluación Exhaustiva: Un pipeline de evaluación riguroso que mide tanto la corrección sintáctica (éxito de compilación) como la equivalencia funcional (aprobación de pruebas de E/S).

Resultados

El modelo fue evaluado frente a LLMs de propósito general y de codificación de última generación (que van desde 13B hasta 1.000B de parámetros) en dos puntos de referencia: ExeBench-IRIS (código del mundo real) y CodeForces-IRIS (programación competitiva).

• Rendimiento: IRIS-14B superó significativamente a todos los puntos de referencia.
  • En CodeForces-IRIS, logró una tasa de éxito de compilación del 73.24% y una equivalencia funcional del 63.26% (tasa de aprobación de E/S). Esto representa una mejora de hasta 44 puntos porcentuales sobre la línea base más fuerte (gpt-oss-120b).
  • En ExeBench-IRIS, alcanzó un 86.89% de compilación y un 79.06% de corrección de E/S, superando al mejor competidor en más de 6 puntos porcentuales.
• Tamaño del Modelo vs. Rendimiento: Los resultados indican que el ajuste fino específico de la tarea en datos de IR emparejados es más crítico que la escala del modelo. Un modelo especializado de 14B superó a modelos de propósito general con hasta dos órdenes de magnitud más de parámetros.
• Análisis de Errores: El modelo tiene más dificultades con código de alta complejidad (más largo de 50 líneas, anidación profunda) y constructos específicos como el uso de struct, operaciones de memoria (malloc/free) y escrituras en arreglos. La presencia de palabras clave struct aumentó las tasas de fallo en casi un 35%.
• Impacto de la Fuente de Datos: El entrenamiento en código diverso y del mundo real (TheStack-IRIS) produjo resultados significativamente mejores que el entrenamiento exclusivamente en código de programación competitiva (CodeForces-IRIS), destacando la importancia de los datos heterogéneos.

Significado y Afirmaciones

El artículo afirma que IRIS-14B demuestra la viabilidad de utilizar LLMs para resolver el problema de larga data de la interoperabilidad de compiladores.

• Prueba de Concepto: Establece que los métodos basados en datos pueden superar las limitaciones de los traductores basados en reglas, logrando una alta precisión en la traducción entre IRs heterogéneas.
• Aplicación Práctica: El enfoque permite la compilación de código heredado o específico de GCC (por ejemplo, Ada con Scalar_Storage_Order o Modula-2) utilizando la cadena de herramientas LLVM, cerrando efectivamente las brechas de características sin reimplementar frontends.
• Rol Futuro: Los autores posicionan a IRIS-14B no como un reemplazo para los compiladores tradicionales, sino como un componente complementario en arquitecturas híbridas neuro-simbólicas. En esta visión, la infraestructura determinista del compilador maneja la compilación estándar, mientras que los LLMs actúan como capas de interoperabilidad para la traducción entre ecosistemas y la polinización cruzada de optimizaciones.
• Robustez: El modelo muestra resistencia a la evolución de las versiones del compilador; un modelo entrenado en versiones más antiguas de IR (GCC 11/LLVM 14) permaneció efectivo al probarse en versiones más nuevas (GCC 15/LLVM 22), lo que sugiere que los patrones centrales de IR permanecen lo suficientemente estables para enfoques basados en datos.