Resumo Técnico: Fuzzy PyTorch: Avaliação Rápida de Variabilidade Numérica para Modelos de Aprendizado Profundo

Declaração do Problema

Modelos de aprendizado profundo (DL) estão sendo cada vez mais implantados em domínios de alto risco, como imagem médica, sensoriamento remoto e simulações científicas. No entanto, esses modelos dependem de computações numéricas sensíveis à precisão de ponto flutuante e modos de arredondamento. Embora compreender a variabilidade numérica seja essencial para garantir robustez e reprodutibilidade, as ferramentas existentes para avaliar essa variabilidade enfrentam desafios significativos de escalabilidade.

Métodos exatos tradicionais (por exemplo, aritmética intervalar, verificação formal) frequentemente exigem modificações extensivas no código e não escalam para cargas de trabalho complexas de DL. Por outro lado, ferramentas de aritmética estocástica, que introduzem perturbações aleatórias controladas para estimar variabilidade, são frequentemente proibitivamente lentas. Ferramentas de última geração, como o Verrou, introduzem desacelerações em tempo de execução de 10× a 1000× em modelos com apenas alguns milhões de parâmetros. Isso torna a coleta de amostras estatísticas suficientes para modelos em grande escala (por exemplo, Modelos de Linguagem Grandes) efetivamente inviável, pois as análises podem levar dias ou semanas, mesmo com paralelização. Há uma necessidade crítica de um framework que se integre perfeitamente aos ecossistemas existentes de DL (especificamente PyTorch), minimize a sobrecarga computacional e escale para modelos com centenas de milhões de parâmetros sem comprometer o desempenho.

Metodologia

Os autores propõem o Fuzzy PyTorch, um framework que integra aritmética estocástica ao PyTorch por meio de uma nova biblioteca C++ denominada PRISM (Arredondamento Probabilístico com Gerenciamento de Conjunto de Instruções).

Componentes Principais

1. Biblioteca PRISM:

   • Implementação: A PRISM implementa dois modos de arredondamento: Arredondamento Estocástico (SR) e um recém-proposto Arredondamento Cima-Baixo (UD).
   • Otimização: A biblioteca aproveita a biblioteca Highway para utilizar instruções vetoriais de CPU (AVX2, AVX-512), minimizando a sobrecarga computacional. Ela suporta instruções escalares e vetoriais por meio de despacho estático e dinâmico para garantir portabilidade entre arquiteturas.
   • Operações: Cobre operações fundamentais de ponto flutuante ($+, -, \times, \div, \sqrt{}$, e Multiplicação-Acréscimo Fundida (FMA)). Os operadores SR (exceto FMA) utilizam algoritmos livres de modo de arredondamento, enquanto a implementação de FMA é inspirada no Verrou e baseada no algoritmo ErrFmaNearest.
   • Multithreading: A PRISM atribui um gerador aleatório separado a cada thread para evitar o compartilhamento de estado de semente e correlações nas perturbações, permitindo desempenho multithread ótimo sem sincronização.

2. Arredondamento Cima-Baixo (UD):

   • O UD é um modo novel onde o resultado de uma operação já arredondada é aleatoriamente arredondado para cima ou para baixo para o próximo ou anterior número de ponto flutuante com probabilidade igual ($1/2$).
   • Embora o UD não preserve operações exatas de ponto flutuante como o SR, ele é significativamente mais rápido no nível de operação individual.

3. Integração com PyTorch e Verificarlo:

   • O Fuzzy PyTorch estende o compilador Verificarlo (baseado em LLVM) para usar a PRISM como backend.
   • O sistema substitui operações de ponto flutuante escalares e vetorizadas no PyTorch (versão 2.2.1) por chamadas à biblioteca PRISM por meio de novas passagens de instrumentação LLVM.
   • Para garantir compatibilidade, os autores modificaram a base de código do PyTorch (removendo uma palavra-chave noexcept na classe Module) e compilaram bibliotecas BLAS/LAPACK de código aberto (substituindo o proprietário Intel MKL) e o runtime ONNX com o Verificarlo.
   • Funções específicas propensas a saídas errôneas sob perturbação (por exemplo, exponencial, logarítmica no SLEEF, e torch.argmax sob UD) foram excluídas da instrumentação para manter a confiabilidade.

Contribuições Principais

O artigo delineia três contribuições primárias:

1. Biblioteca PRISM: Uma nova biblioteca C++ que implementa métodos de arredondamento probabilístico rápidos (SR e UD) para análise sistemática de erros de ponto flutuante, otimizada com instruções vetoriais de CPU.
2. Integração Perfeita com PyTorch: Um framework que instrumenta operações de aprendizado profundo de forma transparente, permitindo avaliação eficiente de aritmética estocástica sem alterar a arquitetura subjacente do modelo.
3. Avaliação Abrangente: Uma análise comparativa contra o Verrou (uma ferramenta de última geração) em diversos casos de uso, incluindo classificação de dígitos MNIST, FastSurfer (segmentação de ressonância magnética cerebral completa) e WavLM (classificação de Parkinson a partir de fala).

Resultados

A avaliação demonstra que o Fuzzy PyTorch alcança ganhos de desempenho significativos enquanto mantém características de variabilidade numérica comparáveis às ferramentas existentes.

• Eficiência em Tempo de Execução:

  • O Fuzzy PyTorch alcança reduções de tempo de execução de 5× a 60× em comparação com o Verrou em diversos modelos de aprendizado profundo.
  • Nos NAS Parallel Benchmarks, o PRISM UD consistentemente produziu a menor sobrecarga, enquanto o PRISM SR mostrou desacelerações comparáveis ou menores que o SR do Verrou e o CADNA.
  • Em tarefas de DL, os ganhos de velocidade variaram de 7× a 49× para o modo SR e 5× a 60× para o modo UD. Notavelmente, esse desempenho foi alcançado mesmo que o Fuzzy PyTorch tenha usado BLAS/LAPACK Netlib padrão, enquanto o Verrou dependia da biblioteca altamente otimizada Intel MKL.
  • O desempenho variou por arquitetura: o UD foi mais rápido para modelos baseados em CNN (MNIST, FastSurfer), enquanto o SR foi mais rápido para o modelo WavLM baseado em transformador, provavelmente porque o SR contorna operações exatas, reduzindo a sobrecarga relativa em camadas complexas de autoatenção.

• Variabilidade Numérica e Precisão:

  • Série Harmônica: O PRISM SR exibiu variabilidade comparável ao MCA RR, Verrou SR e à biblioteca Fasi & Mikaitis, convergindo para o valor de referência binary64 esperado. O PRISM UD mostrou maior variabilidade (como esperado para um modo que perturba valores já arredondados), mas convergiu para resultados binary32.
  • Métricas do Modelo: Em MNIST, FastSurfer e WavLM, o Fuzzy PyTorch manteve o desempenho do modelo comparável ao Verrou.
    • MNIST: A variabilidade foi efetivamente confinada à função de perda, com métricas retendo ~6,17 dígitos significativos.
    • WavLM: As métricas mostraram alta estabilidade numérica (~6,17 dígitos significativos), embora a análise das probabilidades pré-máxima tenha revelado instabilidade subjacente mascarada pela operação final.
    • FastSurfer: As pontuações mínimas de Sørensen–Dice permaneceram extremamente altas (~0,9985), confirmando a precisão consistente de segmentação apesar da variabilidade introduzida.
  • Embeddings: A análise de mapas de recursos internos mostrou padrões de variabilidade consistentes entre as ferramentas, embora o PRISM UD tenha introduzido incerteza ligeiramente maior nos embeddings do WavLM.

Significado e Alegações

O artigo alega que o Fuzzy PyTorch fornece uma solução eficiente, escalável e prática para avaliar a variabilidade numérica em aprendizado profundo. Seu significado principal reside em tornar viáveis estudos sistemáticos em grande escala do comportamento de ponto flutuante.

• Escalabilidade: Ao reduzir a sobrecarga de tempo de execução em até 60×, o framework permite que pesquisadores executem as múltiplas execuções estocásticas (tipicamente 10+) necessárias para estimativas estatísticas estáveis em modelos modernos em grande escala, uma tarefa anteriormente considerada computacionalmente proibitiva.
• Reprodutibilidade e Robustez: A ferramenta permite que pesquisadores quantifiquem e gerenciem a incerteza de ponto flutuante sem comprometer a eficiência computacional, apoiando diretamente pesquisas sobre reprodutibilidade e robustez em redes neurais.
• Otimização Prática: Os autores destacam que análises eficientes de variabilidade podem levar a melhorias práticas. Por exemplo, a análise do FastSurfer usando Fuzzy PyTorch revelou regiões de instabilidade numérica no fundo, que foram subsequentemente exploradas para implementar "NaNs Conservadores & Agressivos", resultando em ganhos significativos de eficiência computacional.
• Perspectiva Futura: Embora atualmente baseado em CPU, os autores antecipam que as descobertas se generalizarão para arquiteturas de GPU. Eles identificam o suporte a GPU como uma direção futura, notando os desafios técnicos de ecossistemas de ferramentas fragmentados, mas enfatizando a necessidade de tais extensões à medida que modos de arredondamento suportados por hardware (por exemplo, em AWS Neuron, NVIDIA Blackwell) se tornam mais comuns.

Em resumo, o Fuzzy PyTorch preenche a lacuna entre a análise numérica rigorosa e as demandas práticas do aprendizado profundo moderno, permitindo que a comunidade avance além das preocupações teóricas sobre precisão de ponto flutuante para avaliações acionáveis e escaláveis da confiabilidade do modelo.