Resumo Técnico: ExecuTorch – Uma Solução Unificada PyTorch para Executar Modelos de IA em Dispositivos

Declaração do Problema

A execução local de IA em dispositivos de borda é crítica para aplicações que exigem baixa latência e operação offline, como tradução ao vivo, veículos autônomos e monitoramento de pacientes. No entanto, a transição da pesquisa para a produção permanece fragmentada. Embora o PyTorch impulse mais de 70% da pesquisa em IA, a implantação de modelos em hardware diversificado frequentemente força os desenvolvedores a abandonar o ecossistema PyTorch. As soluções atuais sofrem com várias limitações-chave:

• Lacunas Semânticas: A conversão de modelos entre ambientes desconectados (por exemplo, para ONNX ou TensorFlow Lite) introduz incompatibilidades semânticas que frequentemente só surgem após a implantação.
• Custos de Reimplementação: Frameworks como llama.cpp ou ferramentas específicas de fornecedores (por exemplo, Qualcomm SNPE, Apple CoreML) frequentemente exigem a reimplementação completa do modelo ou um acoplamento rígido a fornecedores específicos de hardware.
• Sobrecarga de Runtime: Soluções nativas do PyTorch existentes, como TorchScript e PyTorch Mobile, sofrem com sobrecarga de runtime e pegadas de memória proibitivas.
• Fricção na Experimentação: A falta de "paridade de experimentação" significa que os pesquisadores não podem validar comportamentos de implantação (quantização, delegação de hardware) dentro do PyTorch antes de comprometer-se com a produção, levando a incompatibilidades numéricas e ciclos de depuração intensivos em recursos.

Metodologia: Arquitetura ExecuTorch

O ExecuTorch é apresentado como um framework de implantação unificado e nativo do PyTorch, projetado para preencher a lacuna entre pesquisa e produção. Ele aproveita tecnologias centrais do PyTorch (torch.compile, torch.export) para construir uma representação portátil de modelos que pode ser implantada como binários em hardware heterogêneo.

Componentes Principais

1. Pilha de Exportação AOT (Ahead-of-Time):

   • torch.export e IRs: O sistema captura grafos de computação de torch.nn.Module em uma estrutura de dados de grafo estático chamada Export IR. Esta IR é um grafo Torch FX com garantias robustas quanto à correção de formas, normalização de grafos (sem semântica Python) e disponibilidade de metadados.
   • Dialeto Edge: Uma Representação Intermediária (IR) mais restritiva construída sobre a Export IR. Ela impõe grafos totalmente funcionais (sem mutações/aliasing), restringe operadores a um conjunto de <300 primitivas "Core ATen" e define explicitamente tipos de dados e formatos de memória.
   • Transformações de Grafo: Operações como quantização, delegação de subgrafos e planejamento de memória são realizadas antecipadamente (AOT). Isso permite que o runtime permaneça enxuto, focando exclusivamente na execução de grafos pré-otimizados.

2. Pilha de Runtime:

   • Execução Enxuta: O runtime é uma biblioteca leve em C++ (C++17) com dependências mínimas. Ele executa listas de instruções codificadas no formato de arquivo PTE (PyTorch Edge).
   • Delegação de Backend: A arquitetura suporta delegação seletiva de backends. Um particionador identifica subgrafos compostos por operadores suportados por aceleradores de hardware específicos (por exemplo, Qualcomm Hexagon, Apple Neural Engine) e os roteia para compiladores de delegação. O grafo restante é executado na CPU.
   • Gerenciamento de Memória: Um planejador de memória aloca espaço dentro de arenas de tamanho fixo antes da serialização, eliminando a alocação dinâmica de memória em tempo de execução. Isso é crucial para ambientes com recursos limitados, como microcontroladores.

3. Serialização e Armazenamento:

   • Formato PTE: Um formato de arquivo personalizado projetado para sobrecarga mínima, separando dados de programa (instruções) de dados de pesos (segmentos).
   • Compartilhamento de Pesos: Suporta arquivos PTE multi-método (compartilhamento de dados entre métodos de modelo, como prefill e decode) e separação de dados de programa (compartilhamento de pesos entre modelos via arquivos PTD externos).

Tecnologias-Chave

• Quantização: Baseada no TorchAO, suportando tanto Quantização Pós-Treinamento (PTQ) quanto Quantização Consciente do Treinamento (QAT). Suporta quantização estática, dinâmica e apenas de pesos, incluindo quantização por grupo de 4 bits para Modelos de Linguagem de Grande Escala (LLMs).
• Kernels Personalizados: Desenvolvedores podem implementar kernels personalizados e construir seletivamente operadores para reduzir o tamanho do binário.
• Ferramentas de Desenvolvimento (DevTools): Inclui ETRecord (captura grafos do Dialeto Edge e metadados de depuração) e ETDump (captura eventos de runtime, latências e tempos de vida de memória) para vincular o comportamento no modo eager à execução no dispositivo.

Contribuições Principais

O artigo delineia três contribuições principais:

1. Framework Unificado: O ExecuTorch é apresentado como o primeiro framework PyTorch a alcançar paridade de experimentação por meio de grafos de exportação executáveis localmente. Ele permite implantação unificada, de microcontroladores a smartphones, sem conversão ou reimplementação de modelos.
2. Princípio de Design: O artigo introduz a "paridade de experimentação" como um princípio de design central. Através do torch.export e integração de backend orientada por capacidades, os pesquisadores podem validar quantização, delegação de hardware e desempenho inteiramente dentro do PyTorch antes da implantação em produção.
3. Viabilidade de Produção: O framework é demonstrado em escala, impulsionando bilhões de inferências diárias em toda a família de aplicativos da Meta e nos Reality Labs (por exemplo, óculos inteligentes Ray-Ban). Ele suporta visão, áudio e LLMs em 12 backends de hardware.

Resultados de Desempenho

Os autores avaliaram o ExecuTorch contra alternativas amplamente utilizadas (ONNX Runtime, llama.cpp, LiteRT, CoreML) em dispositivos móveis (Samsung Galaxy S25 Ultra, Google Pixel 9 Pro XL, iPhone 15 Pro).

• Desempenho de LLM:
  • CPU: O backend XNNPACK do ExecuTorch oferece desempenho competitivo ou de última geração, frequentemente superando ONNX e LiteRT.
  • GPU: O backend Vulkan alcança alta taxa de transferência de geração de tokens. No Pixel 9 Pro XL, supera significativamente o llama.cpp na taxa de transferência de prefill.
  • NPU: O backend QNN desbloqueia acelerações substanciais de prefill em NPUs (por exemplo, Qualcomm Hexagon) quando os modelos são bem delegados. Para o Llama 3.2 1B, o QNN mostrou maior taxa de transferência de prefill que o QAIRT, embora o QAIRT tenha alcançado maior taxa de transferência de decode.
• Modelos de Visão:
  • Na CPU, o delegado XNNPACK entregou desempenho extremamente forte em relação ao LiteRT e ONNX.
  • Na GPU, o delegado Vulkan executou modelos com delegação completa de grafo. Embora alguns operadores não suportados exigissem fallback para CPU (por exemplo, em ViT e Swin-T), a sobrecarga de quebras de grafo foi mínima (5–6% da latência).
  • No iOS, o delegado CoreML igualou ou superou ligeiramente o CoreML nativo em todos os modelos testados.
• Implantação em Microcontrolador (MCU):
  • Demonstrado em um Raspberry Pi Pico 2 (520 KiB de SRAM).
  • A construção seletiva reduziu o tamanho do código de ~1,3 MiB para ~200–250 KiB.
  • A quantização Int8 com CMSIS-NN reduziu o uso de RAM para ~11 KiB e proporcionou uma aceleração de inferência de 16,46× em comparação com FP32.

Significado e Alegações

O artigo afirma que o ExecuTorch elimina com sucesso o trade-off entre a velocidade de desenvolvimento do PyTorch e os requisitos de implantação em borda. Ao preservar a semântica do PyTorch do treinamento à produção, permite que os pesquisadores validem o comportamento de implantação (incluindo quantização e delegação de hardware) dentro do ambiente familiar do PyTorch. Essa "paridade de experimentação" preenche a lacuna entre pesquisa e produção, permitindo experimentação rápida e reduzindo a fricção no ciclo de experimentação-implantação. O framework é posicionado não apenas como uma ferramenta para desempenho, mas como um fluxo de trabalho unificado que suporta o espectro completo de dispositivos de borda, desde microcontroladores de menos de um dólar até sistemas complexos em chip (SoCs).