Resumo Técnico: Rumo à Migração de Implementações de Redes Neurais

Declaração do Problema

O avanço rápido das redes neurais (NNs) levou a uma proliferação de frameworks de aprendizado profundo (DL) (por exemplo, PyTorch, TensorFlow). Embora as organizações adotem esses frameworks para aproveitar recursos específicos, características de desempenho ou suporte da comunidade, elas frequentemente enfrentam a necessidade de migrar implementações existentes de NNs para um framework diferente mais tarde no ciclo de vida. Essa migração é impulsionada por fatores como declínio de desempenho, requisitos em evolução ou a descontinuação do suporte a frameworks específicos (por exemplo, a descontinuação do suporte ao TensorFlow pelo Hugging Face).

Atualmente, há uma falta significativa de abordagens automatizadas voltadas especificamente para a migração de código de NNs. A literatura existente foca principalmente na conversão de modelos treinados e prontos para uso (artefatos) em vez do próprio código-fonte. Consequentemente, as organizações são forçadas a reescrever manualmente o código de NNs do zero, um processo que consome tempo, é propenso a erros e impede a flexibilidade de adotar novos recursos enquanto reutiliza a lógica existente.

Metodologia

Os autores propõem uma abordagem de Engenharia Orientada a Modelos (MDE) para migrar automaticamente o código de NNs entre frameworks de DL. O núcleo do método baseia-se em um modelo pivô para abstrair o código-fonte antes de gerar o código de destino. O processo consiste em três etapas principais:

1. Extração de AST

O processo começa analisando o código do framework de origem (Python) para extrair sua Árvore de Sintaxe Abstrata (AST). Os autores utilizam a biblioteca ast do Python para representar o código como uma árvore de nós, onde os nós correspondem a componentes de NN, como camadas, operações de tensores e hiperparâmetros. Esta etapa suporta tanto arquiteturas Sequenciais quanto de Subclassificação encontradas no PyTorch e no TensorFlow.

2. Transformação (Modelo-a-Modelo)

A AST extraída é transformada em uma representação agnóstica ao framework usando o metamodelo BESSER-NN. Este metamodelo, parte da plataforma low-code BESSER, serve como o modelo pivô.

• Mapeamento: Nós da AST de origem (por exemplo, uma camada Dense do TensorFlow) são mapeados para seus equivalentes no modelo BESSER-NN (por exemplo, uma camada Linear).
• Atributos: Hiperparâmetros, configurações de treinamento e definições de conjuntos de dados também são mapeados para o modelo pivô.
• Tratamento de Diferenças Arquiteturais: A abordagem emprega quatro módulos de transformação distintos para lidar com as quatro combinações de arquiteturas de origem/destino (PyTorch/TensorFlow $\times$ Subclassificação/Sequencial).
• Rastreamento Simbólico: Um aspecto crítico desta etapa envolve o rastreamento simbólico do código-fonte para inferir atributos não definidos explicitamente na AST (por exemplo, formas de entrada no TensorFlow), garantindo que o modelo pivô contenha todas as informações necessárias para o framework de destino.

3. Geração de Código (Modelo-a-Texto)

Uma vez que o modelo pivô BESSER-NN é preenchido, geradores de código produzem a implementação final no framework de destino.

• Pré-processamento: Scripts Python processam o modelo BESSER-NN para resolver referências cruzadas e dependências entre camadas.
• Motor de Template: O motor de template Jinja é usado para mapear os conceitos abstratos no modelo pivô para a sintaxe específica do framework de destino (PyTorch ou TensorFlow).
• Suporte a Arquitetura: Quatro geradores de código foram desenvolvidos para suportar todas as combinações de arquitetura, garantindo que designs complexos (como definir uma rede dentro de outra classe) sejam preservados.

Contribuições Chave e Desafios Técnicos

O artigo aborda vários desafios técnicos específicos inerentes à migração entre frameworks:

• Atributos Ausentes (Formas de Entrada): No TensorFlow, as formas de entrada são frequentemente inferidas automaticamente, enquanto o PyTorch exige definição explícita. Os autores resolveram isso adicionando uma etapa de rastreamento simbólico durante a fase de transformação para inferir e preencher atributos de forma de entrada ausentes (por exemplo, in_features, in_channels) no modelo pivô antes de gerar o código PyTorch.
• Funções de Ativação Dinâmicas: O TensorFlow permite que funções de ativação sejam atribuídas dinamicamente a variáveis e passadas para camadas, enquanto o PyTorch geralmente espera definições explícitas de camadas. A abordagem de migração lida com isso verificando o valor da função de ativação; se for uma string conhecida, uma camada padrão é gerada. Se for dinâmica, o gerador cria uma chamada de função personalizada que resolve a ativação em tempo de execução, preservando a lógica original.
• Convenções de Ordenação de Canais: O TensorFlow usa a ordenação "canal-no-final", enquanto o PyTorch usa "canal-no-início". Para manter a equivalência funcional sem alterar o formato dos dados de entrada, a abordagem insere operações de tensor permute. Essas operações reordenam as dimensões do tensor antes e depois das camadas convolucionais no código de destino para alinhar com a convenção nativa do framework, mantendo o fluxo de dados consistente com a origem.
• Integração de Sistema: O artigo demonstra como o metamodelo BESSER-NN pode ser integrado com linguagens de modelagem de software gerais, como UML. Isso permite que NNs sejam definidas como implementações de comportamento dentro de modelos de sistema mais amplos (por exemplo, como métodos em uma máquina de estados), facilitando a migração de NNs como parte de uma migração de sistema inteligente maior.

Avaliação Experimental

Os autores avaliaram a abordagem usando cinco redes neurais distintas da literatura: AlexNet, VGG16, LSTM, CNN-RNN e TF-Tutorial. Essas redes cobrem 12 tipos de camadas distintos e uma mistura de arquiteturas Sequenciais e de Subclassificação.

A avaliação abordou duas Questões de Pesquisa (RQs):

1. RQ1 (Sucesso da Migração): A abordagem migrou com sucesso todas as cinco redes em todos os cenários suportados (PyTorch $\leftrightarrow$ TensorFlow, Sequencial $\leftrightarrow$ Subclassificação). O código gerado executou sem erros estruturais quando alimentado com dados de entrada fictícios.
2. RQ2 (Preservação Funcional): Os autores verificaram que as redes migradas produzem saídas funcionalmente equivalentes às originais.
   • Entradas Aleatórias: Usando pesos idênticos e entradas aleatórias, a Diferença Absoluta Máxima (MAD) entre as saídas de origem e destino foi negligenciável (até $5.96 \times 10^{-8}$).
   • Conjuntos de Dados de Referência: As redes foram treinadas em CIFAR-10, SVHN, IMDB e SST-2. A precisão de previsão das redes migradas foi altamente consistente com as redes de origem, sendo a maior diferença observada de 0,022 (para VGG16 no CIFAR-10).

Significância e Alegações

O artigo afirma que sua significância primária reside em mudar o foco da migração de modelos treinados para a migração de código-fonte. Diferentemente de ferramentas existentes (por exemplo, ONNX, MMdnn, CoreML) que convertem artefatos estáticos e treinados, esta abordagem migra a definição da rede em si.

Essa distinção é significativa porque:

• Permite experimentação iterativa, permitindo que desenvolvedores inspecionem, modifiquem e retreinem o modelo dentro do novo framework.
• Suporta pipelines orientadas a modelos, permitindo que NNs sejam tratadas como cidadãos de primeira classe dentro de fluxos de trabalho mais amplos de engenharia de software.
• Evita a natureza de "caixa preta" da conversão de artefatos, preservando a capacidade de aproveitar novos recursos e melhores práticas do framework de destino.

Os autores concluem que sua abordagem efetivamente preenche a lacuna entre frameworks de DL, reduzindo o esforço manual necessário para modernização enquanto mantém a equivalência funcional. Eles observam que trabalhos futuros envolverão a extensão do metamodelo para suportar conceitos de IA mais avançados (por exemplo, Transformers, Redes Neurais em Grafos) e o desenvolvimento de transformações de refatoração para melhorar a estrutura de NNs.