CASS: Nvidia to AMD Transpilation with Data, Models, and Benchmark

Resumen Técnico: CASS (CUDA-AMD ASsembly and Source Mapping)

1. El Problema: Bloqueo de Proveedor y Portabilidad de Hardware

Las Unidades de Procesamiento Gráfico (GPU) son fundamentales para la computación científica y el aprendizaje automático. Sin embargo, el dominio de Nvidia y su arquitectura propietaria CUDA ha creado un severo "bloqueo de proveedor" (vendor lock-in).

• Incompatibilidad: El código CUDA no puede ejecutarse nativamente en GPUs de AMD debido a diferencias en las arquitecturas de conjuntos de instrucciones (ISA): SASS (Nvidia) frente a RDNA3 (AMD).
• Limitaciones de las Soluciones Actuales:
  • Herramientas como HIPIFY (de AMD) operan solo a nivel de código fuente (C++), fallando frecuentemente en casos complejos y sin capacidad para traducir binarios precompilados.
  • Soluciones de traducción a nivel de IR (como ZLUDA) pierden optimizaciones específicas del hardware que solo existen a nivel de ensamblador.
  • No existía un conjunto de datos escalable ni modelos especializados para la traducción directa de ensamblaje a ensamblaje (SASS ↔ RDNA3) ni de fuente a fuente (CUDA ↔ HIP) con garantías de ejecución.

2. Metodología: El Pipeline de CASS

Los autores presentan CASS, un enfoque integral que combina un conjunto de datos masivo, un pipeline de generación automatizado y modelos de lenguaje especializados.

• Construcción del Dataset (CASS):

  • Recopilación: Se extrajeron archivos CUDA de repositorios públicos (Stackv2) y se generaron muestras sintéticas utilizando un modelo de lenguaje (Qwen2.5-Coder32B) con estrategias de "personas aumentadas por variables" para cubrir dominios diversos (ML, gráficos, HPC).
  • Traducción y Compilación: Se utilizó HIPIFY para convertir CUDA a HIP. Luego, se compiló el código en dos pilas:
    1. Nvidia: Compilación a ensamblaje SASS (usando nvcc y cuobjdump).
    2. AMD: Compilación a ensamblaje RDNA3 (usando hipcc).
  • Alineación: Se filtraron los pares que compilaban y ejecutaban correctamente en ambas arquitecturas, asegurando equivalencia funcional.
  • Escala: El dataset final contiene 60,694 pares alineados (fuente y ensamblaje) cubriendo 18 dominios de computación.

• Evaluación (CASS-Bench):

  • Se introdujo el primer benchmark específico para traducción de GPU entre arquitecturas, con 369 tareas verificadas por ejecución (no solo sintaxis), abarcando desde operaciones vectoriales hasta simulaciones físicas.

• Entrenamiento de Modelos:

  • Se fine-tunearon modelos Qwen2.5-Coder (1.5B, 3B y 7B parámetros) específicamente para dos tareas:
    1. Traducción de fuente: CUDA → HIP.
    2. Traducción de ensamblaje: SASS → RDNA3.
  • Se utilizaron técnicas avanzadas como DeepSpeed, Liger Kernel y extrapolación de posición RoPE para manejar contextos largos (hasta 32k tokens).

3. Contribuciones Clave

1. CASS Dataset: El primer corpus a gran escala (60k muestras) que proporciona pares alineados de código fuente (CUDA/HIP) y ensamblaje (SASS/RDNA3) para entrenamiento y evaluación.
2. CASS-Bench: Un estándar de evaluación riguroso con verificación de ejecución real, superando las limitaciones de benchmarks anteriores que solo medían rendimiento o sintaxis.
3. Modelos CASS: Una familia de LLMs de dominio específico que superan significativamente a los sistemas propietarios y herramientas tradicionales.
4. Pipeline de Código Abierto: Toda la infraestructura de recolección, síntesis y alineación se libera como open-source.

4. Resultados Principales

Los modelos CASS demostraron un rendimiento superior en comparación con los mejores modelos generales (GPT-5.1, Claude-4.5) y herramientas existentes (HIPIFY, ZLUDA):

• Precisión de Traducción:
  • Fuente (CUDA → HIP): 88.2% de precisión (vs. 87.46% de HIPIFY y ~69% de GPT-5.1).
  • Ensamblaje (SASS → RDNA3): 69.1% de precisión (vs. <23% de GPT-5.1 y <8% de ZLUDA).
• Fidelidad de Rendimiento:
  • El 95% del código traducido preservó el comportamiento de tiempo de ejecución y uso de memoria del código nativo (diferencias < ±0.5s y ±0.3 MB).
• Análisis de Fallos:
  • Los errores principales se debieron a violaciones de restricciones de operandos y reglas de codificación específicas del proveedor (ej. alineación de registros), no a falta de comprensión semántica de alto nivel.
  • La traducción de ensamblaje es significativamente más difícil que la de fuente debido a la divergencia de ISA y la falta de documentación pública detallada de SASS.

5. Significado e Impacto

• Desbloqueo de Hardware: CASS demuestra que es posible migrar cargas de trabajo CUDA legacy a hardware AMD sin reescrituras manuales masivas, reduciendo costos y fomentando la competencia.
• Puente entre ISA: Al enfocarse en la traducción de ensamblaje, el trabajo permite transferir optimizaciones específicas de hardware que las herramientas de nivel intermedio (IR) pierden.
• Herramienta para la Comunidad: La liberación de datos y modelos acelera el desarrollo de compiladores y herramientas de compatibilidad binaria, abordando un vacío crítico en la investigación de compiladores de GPU.
• Desafío Futuro: El estudio revela que la traducción de ensamblaje es un problema de "microarquitectura cruzada"; incluso cambios generacionales dentro de la misma marca (ej. Ampere a Ada Lovelace) degradan drásticamente la precisión, lo que subraya la necesidad de datasets dinámicos y actualizados.

En conclusión, CASS establece un nuevo estado del arte en la portabilidad de GPU, demostrando que los modelos de lenguaje especializados, entrenados con datos alineados de ensamblaje, pueden superar las barreras técnicas que han impedido la interoperabilidad entre Nvidia y AMD durante años.