Error Analysis of Matrix Multiplication Emulation Using Ozaki-II Scheme

Resumo Técnico: Análise de Erro da Emulação de Multiplicação de Matrizes Usando o Esquema Ozaki-II

Definição do Problema
O hardware de IA moderno, particularmente as GPUs equipadas com motores de matriz INT8, oferece um throughput excepcional para aritmética de baixa precisão, superando significativamente as operações nativas de ponto flutuante de precisão simples (FP32) e dupla (FP64). No entanto, a computação de alto desempenho (HPC) clássica e muitas cargas de trabalho de aprendizado de máquina exigem a confiabilidade numérica de maior precisão. Embora existam métodos de emulação para reconstruir resultados de alta precisão usando sequências de operações de baixa precisão, a precisão desses métodos não é garantida para todas as distribuições de entrada. Especificamente, o esquema Ozaki-II, que utiliza o Teorema do Resto Chinês (CRT) para emular a multiplicação de matrizes, demonstrou alto desempenho, mas carece de uma análise de erro determinística rigorosa. Estudos anteriores observaram que a precisão do esquema degrada quando as matrizes de entrada possuem uma ampla distribuição de expoentes, necessitando de um grande número de multiplicações de baixa precisão para manter a precisidade. Sem um limite teórico, é difícil determinar o número de módulos necessários para atingir um alvo de precisão específico.

Metodologia
O artigo apresenta uma análise de erro determinística rigorosa para o esquema Ozaki-II aplicado à Multiplicação de Matrizes Gerais (GEMM) em ambas as precisões simples (SGEMM) e dupla (DGEMM). A metodologia envolve:

1. Formalização do Esquema Ozaki-II: Os autores detalham o processo de emulação, que converte matrizes de ponto flutuante $A$ e $B$ em matrizes inteiras $A'$ e $B'$ via escalonamento diagonal e truncamento. Esses inteiros são então decompostos módulo inteiros coprimos $p_\ell$. Os produtos são computados usando motores de matriz INT8, e os resultados são reconstruídos usando o CRT para formar uma aproximação inteira do produto, que é finalmente reescalonada para o formato de ponto flutuante.
2. Derivação de Limites de Erro: Os autores decompõem o erro total em três componentes primários:
   • Erro de Truncamento: Decorrente da conversão das entradas de ponto flutuante para inteiros escalonados.
   • Erro de Acumulação: Resultante da soma dos produtos modulares em aritmética de ponto flutuante de alta precisão.
   • Erro de Redução Final: Ocorrendo durante as etapas de reconstrução pelo CRT e reescalonamento.
3. Provas Teóricas: O artigo fornece provas formais para uma série de lemas que estabelecem a unicidade da solução candidata, limites para erros de truncamento e acumulação, e a validade das operações de arredondamento usadas na reconstrução. Esses lemas culminam no Teorema 2, que fornece um limite superior determinístico para o erro $|AB - C_b|$, onde $C_b$ é o resultado computado.
4. Validação Experimental: Experimentos numéricos foram conduzidos em uma GPU NVIDIA GeForce RTX 4090. Os limites de erro teóricos derivados da análise foram comparados com os erros numéricos observados para matrizes com variadas amplitudes dinâmicas (controladas por um parâmetro $\phi$).

Principais Contribuições

• Análise de Erro Determinística Rigorosa: A principal contribuição é a derivação de um limite de erro determinístico (Teorema 2) para o esquema Ozaki-II. Este limite relaciona explicitamente o erro numérico com a distribuição de expoentes das matrizes de entrada e o número de módulos ($N$) usados no CRT.
• Limites Refinados: O artigo oferece duas formas de estimativa de erro: um limite mais justo (Eq. 16) que depende da magnitude do produto inteiro intermediário $|A'B'|$, e um limite mais conservador, porém computacionalmente mais barato (Eq. 20), que substitui este termo por um limite superior constante.
• Validação do Comportamento de Precisão: A análise explica teoricamente por que a precisão do esquema depende da distribuição de expoentes da entrada e confirma que o aumento do número de módulos reduz o erro de truncamento, melhorando assim a precisão.
• Prova de Correção para Detalhes de Implementação: Os autores provam que escolhas específicas de implementação, como o uso de aritmética double-double para constantes e o tratamento específico de wrapping INT8, não introduzem erros ilimitados que comprometeriam o resultado final.

Resultos

• Erro Teórico vs. Observado: Experimentos numéricos na RTX 4090 demonstraram que os erros de emulação observados para SGEMM e DGEMM são consistentemente limitados pelas estimativas teóricas derivadas no Teorema 2.
• Estreiteza do Limite: O limite mais justo (Eq. 16) mostrou-se mais preciso ao capturar a faixa de erros observados em comparação com o limite conservador (Eq. 20). No entanto, o limite conservador mostrou-se prático para uma estimativa de erro robusta, pois depende apenas de produtos matriz-vetor em vez de computar o potencialmente caro $|A'B'|$.
• Comparação com Precisão Nativa: Os resultados ilustraram a precisão relativa da emulação em comparação com rotinas nativas de FP32 e FP64, confirmando que o esquema Ozaki-II pode alcançar alta precisão quando configurado com um número apropriado de módulos.

Significância
O artigo afirma que esta análise de erro fornece uma base crítica para o desenvolvimento futuro do esquema Ozaki-II. Especificamente, ela permite o ajuste automático de parâmetros relacionados à precisão, como o número de módulos, com base na distribuição de expoentes das matrizes de entrada para atingir um nível desejado de precisão numérica. Ao esclarecer a relação entre as características de entrada e a confiabilidade numérica, a análise aborda a lacuna entre o alto desempenho do esquema e sua precisão variável, tornando-o mais viável para computação de alta precisão de propósito geral em hardware de IA moderno. Os autores observam que este framework analítico também poderia ser estendido para a emulação de multiplicação de matrizes de valores complexos em trabalhos futuros.