Resumen Técnico: Hacia la Migración de Implementaciones de Redes Neuronales

Declaración del Problema

El rápido avance de las redes neuronales (NN) ha llevado a una proliferación de frameworks de aprendizaje profundo (DL) (por ejemplo, PyTorch, TensorFlow). Si bien las organizaciones adoptan estos frameworks para aprovechar características específicas, características de rendimiento o soporte comunitario, a menudo enfrentan la necesidad de migrar implementaciones existentes de NN a un framework diferente más adelante en el ciclo de vida. Esta migración está impulsada por factores como el declive del rendimiento, requisitos en evolución o la descontinuación del soporte para frameworks específicos (por ejemplo, Hugging Face descontinuando el soporte para TensorFlow).

Actualmente, existe una falta significativa de enfoques automatizados diseñados específicamente para migrar el código de NN. La literatura existente se centra principalmente en la conversión de modelos entrenados y listos para usar (artefactos) en lugar del código fuente en sí. En consecuencia, las organizaciones se ven obligadas a reescribir manualmente el código de NN desde cero, un proceso que consume mucho tiempo, es propenso a errores y obstaculiza la flexibilidad para adoptar nuevas características mientras se reutiliza la lógica existente.

Metodología

Los autores proponen un enfoque de Ingeniería Dirigida por Modelos (MDE) para migrar automáticamente el código de NN entre frameworks de DL. El núcleo del método se basa en un modelo pivote para abstraer el código fuente antes de generar el código objetivo. El proceso consta de tres pasos principales:

1. Extracción de AST

El proceso comienza analizando el código del framework fuente (Python) para extraer su Árbol de Sintaxis Abstracta (AST). Los autores utilizan la biblioteca ast de Python para representar el código como un árbol de nodos, donde los nodos corresponden a componentes de NN como capas, operaciones de tensores e hiperparámetros. Este paso soporta tanto arquitecturas Secuenciales como de Subclase encontradas en PyTorch y TensorFlow.

2. Transformación (Modelo-a-Modelo)

El AST extraído se transforma en una representación agnóstica al framework utilizando el metamodelo BESSER-NN. Este metamodelo, parte de la plataforma de bajo código BESSER, sirve como modelo pivote.

• Mapeo: Los nodos del AST fuente (por ejemplo, una capa Dense de TensorFlow) se mapean a sus equivalentes en el modelo BESSER-NN (por ejemplo, una capa Linear).
• Atributos: Los hiperparámetros, configuraciones de entrenamiento y definiciones de conjuntos de datos también se mapean al modelo pivote.
• Manejo de Diferencias Arquitectónicas: El enfoque emplea cuatro módulos de transformación distintos para manejar las cuatro combinaciones de arquitecturas fuente/objetivo (PyTorch/TensorFlow $\times$ Subclase/Secuencial).
• Rastreo Simbólico: Un aspecto crítico de este paso implica rastrear simbólicamente el código fuente para inferir atributos no definidos explícitamente en el AST (por ejemplo, formas de entrada en TensorFlow), asegurando que el modelo pivote contenga toda la información necesaria para el framework objetivo.

3. Generación de Código (Modelo-a-Texto)

Una vez que el modelo pivote BESSER-NN está poblado, los generadores de código producen la implementación final en el framework objetivo.

• Preprocesamiento: Scripts de Python procesan el modelo BESSER-NN para resolver referencias cruzadas y dependencias entre capas.
• Motor de Plantillas: El motor de plantillas Jinja se utiliza para mapear los conceptos abstractos en el modelo pivote a la sintaxis específica del framework objetivo (PyTorch o TensorFlow).
• Soporte de Arquitectura: Se desarrollaron cuatro generadores de código para soportar todas las combinaciones de arquitecturas, asegurando que diseños complejos (como definir una red dentro de otra clase) se preserven.

Contribuciones Clave y Desafíos Técnicos

El artículo aborda varios desafíos técnicos específicos inherentes a la migración entre frameworks:

• Atributos Faltantes (Formas de Entrada): En TensorFlow, las formas de entrada a menudo se infieren automáticamente, mientras que PyTorch requiere una definición explícita. Los autores resolvieron esto añadiendo un paso de rastreo simbólico durante la fase de transformación para inferir y poblar los atributos de forma de entrada faltantes (por ejemplo, in_features, in_channels) en el modelo pivote antes de generar el código de PyTorch.
• Funciones de Activación Dinámicas: TensorFlow permite asignar funciones de activación dinámicamente a variables y pasarlas a las capas, mientras que PyTorch típicamente espera definiciones de capas explícitas. El enfoque de migración maneja esto verificando el valor de la función de activación; si es una cadena conocida, se genera una capa estándar. Si es dinámica, el generador crea una llamada a función personalizada que resuelve la activación en tiempo de ejecución, preservando la lógica original.
• Convenciones de Ordenamiento de Canales: TensorFlow utiliza un ordenamiento "canal-último", mientras que PyTorch utiliza "canal-primero". Para mantener la equivalencia funcional sin alterar el formato de los datos de entrada, el enfoque inserta operaciones de tensor permute. Estas operaciones reordenan las dimensiones del tensor antes y después de las capas convolucionales en el código objetivo para alinearse con la convención nativa del framework, manteniendo el flujo de datos consistente con la fuente.
• Integración de Sistemas: El artículo demuestra cómo el metamodelo BESSER-NN puede integrarse con lenguajes generales de modelado de software como UML. Esto permite definir NN como implementaciones de comportamiento dentro de modelos de sistemas más amplios (por ejemplo, como métodos en una máquina de estados), facilitando la migración de NN como parte de una migración de sistema inteligente más grande.

Evaluación Experimental

Los autores evaluaron el enfoque utilizando cinco redes neuronales distintas de la literatura: AlexNet, VGG16, LSTM, CNN-RNN y TF-Tutorial. Estas redes cubren 12 tipos de capas distintos y una mezcla de arquitecturas Secuenciales y de Subclase.

La evaluación abordó dos Preguntas de Investigación (RQ):

1. RQ1 (Éxito de Migración): El enfoque migró exitosamente las cinco redes en todos los escenarios soportados (PyTorch $\leftrightarrow$ TensorFlow, Secuencial $\leftrightarrow$ Subclase). El código generado se ejecutó sin errores estructurales cuando se alimentó con datos de entrada ficticios.
2. RQ2 (Preservación Funcional): Los autores verificaron que las redes migradas produzcan salidas funcionalmente equivalentes a las originales.
   • Entradas Aleatorias: Utilizando pesos idénticos e entradas aleatorias, la Diferencia Absoluta Máxima (MAD) entre las salidas fuente y objetivo fue insignificante (hasta $5.96 \times 10^{-8}$).
   • Conjuntos de Datos de Referencia: Las redes se entrenaron en CIFAR-10, SVHN, IMDB y SST-2. La precisión de predicción de las redes migradas fue altamente consistente con las redes fuente, siendo la diferencia observada más grande de 0.022 (para VGG16 en CIFAR-10).

Significancia y Afirmaciones

El artículo afirma que su principal significancia radica en cambiar el enfoque de migrar modelos entrenados a migrar código fuente. A diferencia de las herramientas existentes (por ejemplo, ONNX, MMdnn, CoreML) que convierten artefactos estáticos y entrenados, este enfoque migra la definición de la red en sí misma.

Esta distinción es significativa porque:

• Habilita la experimentación iterativa, permitiendo a los desarrolladores inspeccionar, modificar y reentrenar el modelo dentro del nuevo framework.
• Soporta tuberías dirigidas por modelos, permitiendo que las NN se traten como ciudadanos de primera clase dentro de flujos de trabajo de ingeniería de software más amplios.
• Evita la naturaleza de "caja negra" de la conversión de artefactos, preservando la capacidad de aprovechar nuevas características y mejores prácticas del framework objetivo.

Los autores concluyen que su enfoque cierra efectivamente la brecha entre los frameworks de DL, reduciendo el esfuerzo manual requerido para la modernización mientras mantiene la equivalencia funcional. Señalan que el trabajo futuro implicará extender el metamodelo para soportar conceptos de IA más avanzados (por ejemplo, Transformers, Redes Neuronales de Grafos) y desarrollar transformaciones de refactorización para mejorar la estructura de las NN.