Limited-Precision Stochastic Rounding

Este artigo atualiza uma revisão anterior sobre o arredondamento estocástico, destacando avanços recentes de quatro anos e focando especificamente na variante de precisão limitada, que fixa a precisão dos números aleatórios utilizados, com o objetivo de impulsionar sua adoção em hardware industrial.

O essencial

Imagine que você está tentando somar uma pilha gigante de moedas, mas sua calculadora só consegue mostrar números com poucos dígitos. Se você arredondar cada moeda para o valor mais próximo (o método tradicional), você comete um pequeno erro a cada vez. Se fizer isso 1.000 vezes, esses pequenos erros se somam e a conta final fica bem errada. É como se você estivesse sempre arredondando para cima, acumulando um "débito" invisível.

Este artigo é sobre uma nova maneira de fazer contas chamada Arredondamento Estocástico (ou "aleatório"). Em vez de sempre arredondar para o número mais próximo, a calculadora joga uma moeda imaginária. Às vezes, ela arredonda para cima; outras vezes, para baixo. A mágica é que, se ela jogar a moeda muitas vezes, os erros de "para cima" e "para baixo" se cancelam mutuamente, como se fosse um jogo de equilíbrio onde o resultado final fica muito mais preciso do que o método tradicional.

Aqui está o resumo do que os autores descobriram, explicado de forma simples:

1. O Problema do "Arredondamento Cego"

No método tradicional (chamado Round-to-Nearest), se você tem um número como 3,14159 e precisa arredondar para 3,142, você sempre sobe. Se tiver 3,1414, você sempre desce. Em somas longas (como treinar Inteligência Artificial), isso cria um viés. É como se você estivesse sempre jogando uma bola levemente para a direita; depois de mil jogadas, a bola estará longe do centro.

O Arredondamento Estocástico (SR) resolve isso jogando a bola aleatoriamente para a esquerda ou direita, baseada na distância exata. Se o número está 60% do caminho para cima, a calculadora sobe 60% das vezes e desce 40%. Com o tempo, a média fica perfeita.

2. O Novo Desafio: "Precisão Limitada"

O problema é que, para fazer esse jogo de moeda perfeitamente, você precisaria de uma moeda infinitamente precisa. Na vida real (e nos chips de computador), não temos moedas perfeitas.

• A Solução: Os autores focam em uma versão chamada "Arredondamento Estocástico de Precisão Limitada".
• A Analogia: Imagine que você não tem uma moeda perfeita, mas sim um dado com 6 lados. Você usa esse dado para decidir se sobe ou desce. Não é perfeito, mas é "bom o suficiente" e muito mais rápido de calcular. O artigo mostra como ajustar o tamanho desse "dado" (quantos bits de aleatoriedade usar) para equilibrar custo e precisão.

3. Onde isso está sendo usado? (O Mundo Real)

O artigo faz um levantamento do que está acontecendo no mundo da tecnologia agora:

• Inteligência Artificial (A Grande Estrela): Treinar IAs modernas (como o ChatGPT) exige somar trilhões de números. Usar números pequenos (baixa precisão) economiza energia e espaço, mas costuma quebrar a IA. O SR permite usar números pequenos sem "quebrar" o aprendizado. É como permitir que um carro corra em uma estrada de terra (baixa precisão) sem desmontar o motor, graças a uma suspensão inteligente (o SR).
• Hardware Novo: Grandes empresas como NVIDIA, AMD, Intel e Google já estão colocando essa tecnologia direto nos seus chips (GPUs e TPUs). Eles estão criando instruções especiais para fazer esse "jogo de moeda" dentro do processador, sem precisar de software lento.
• Clima e Tempo: Em simulações de furacões ou mudanças climáticas, o método tradicional faz o clima "travar" em padrões falsos (como um carro preso em um buraco). O SR permite que a simulação continue flutuando e explorando cenários realistas, mantendo a estatística correta por décadas.

4. O Futuro

O artigo conclui que estamos em um momento de transição. Antes, o SR era apenas uma curiosidade teórica de matemáticos. Agora, ele está saindo dos livros e entrando nos chips que você compra.

Em resumo:
Imagine que você está tentando encher um balde com água usando uma torneira que goteja. Se você sempre goteja para o lado direito, o balde vira. Se você goteja aleatoriamente para a esquerda e direita, o balde enche perfeitamente no centro. Os autores deste artigo estão dizendo: "Olhem, já temos as torneiras novas (chips) instaladas, e elas funcionam muito bem para construir IAs e simular o clima, desde que usemos o tamanho certo de 'gotejamento' (precisão limitada)."

É uma evolução que torna os computadores mais rápidos, mais baratos e, ironicamente, mais precisos em tarefas gigantes.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Limited-Precision Stochastic Rounding" (Arredondamento Estocástico de Precisão Limitada), estruturado conforme solicitado.

Resumo Técnico: Limited-Precision Stochastic Rounding

Autores: El-Mehdi El Arar, Massimiliano Fasi, Silviu-Ioan Filip, e Mantas Mikaitis.
Contexto: Atualização de uma revisão de 2022 sobre Arredondamento Estocástico (SR), cobrindo avanços de quase quatro anos (até 2026).

---

1. O Problema

O arredondamento numérico em computação de precisão reduzida (baixa precisão) enfrenta dois desafios principais quando se utiliza o método padrão Round-to-Nearest (RN - Arredondamento para o Mais Próximo):

1. Crescimento do Erro: Em somatórios de comprimento $n$, o erro de arredondamento no RN cresce linearmente ($O(n)$), enquanto no SR cresce apenas como $\sqrt{n}$ com alta probabilidade. Isso torna o SR superior para grandes somatórios em hardware de baixa precisão.
2. Estagnação (Stagnation): Em RN, termos de soma relativamente pequenos podem ser arredondados para zero e não contribuir para o resultado total, especialmente em somatórios de precisão mista ou em gradientes de aprendizado de máquina. O SR mitiga isso ao arredondar probabilisticamente para cima ou para baixo, garantindo que o valor esperado do arredondamento seja igual ao valor original ($E[S R(x)] = x$).
3. Limitação de Implementação: O SR "ideal" exige números aleatórios com precisão infinita (ou igual à precisão do número arredondado), o que é impraticável em hardware. A implementação real utiliza SR de Precisão Limitada ($SR_{p,r}$), onde a probabilidade é calculada com base em uma aproximação do número original usando $r$ bits aleatórios. A questão central é entender como essa limitação de precisão afeta a viabilidade, o viés e a implementação em hardware.

2. Metodologia

O artigo adota uma abordagem de revisão técnica e análise de estado da arte, cobrindo:

• Definição Formal: Estabelece a diferença entre SR exato e SR de precisão limitada ($SR_{p,r}$), onde $x$ é primeiro arredondado para uma precisão intermediária $p+r$ antes da aplicação das probabilidades estocásticas.
• Análise de Erro: Revisa modelos probabilísticos de erro, incluindo técnicas de martingales e desigualdades de concentração (Bienaymé-Chebyshev), demonstrando que o erro em SR é $O(\sqrt{n}u)$ em vez de $O(nu)$.
• Investigação de Hardware e Software: Analisa especificações de ISA (Instruction Set Architecture) de fabricantes (NVIDIA, AMD, Graphcore, Intel, Huawei) e implementações de software (bibliotecas Python/C++).
• Estudos de Caso: Examina aplicações específicas em Aprendizado de Máquina (ML), Computação Neuromórfica, Simulação Climática e Análise de Programas.

3. Principais Contribuições

O artigo fornece uma atualização abrangente sobre o ecossistema do SR, destacando:

• Padronização e Variáveis Limitadas: Detalha as três variantes de SR de precisão limitada propostas pelo relatório IEEE P3109 (StochasticA, StochasticB, StochasticC), que oferecem diferentes trade-offs entre viés e complexidade de implementação.
• Mapeamento de Hardware Comercial:
  • NVIDIA (Blackwell B200/B300): Suporte nativo via modificadores .rs na PTX ISA, permitindo SR em conversões de formatos (ex: binary32 para fp8/fp16).
  • AMD (MI300): Introdução de instruções específicas para conversão de binary32 para fp8, utilizando 20-21 bits aleatórios.
  • Graphcore: Implementação detalhada onde bits aleatórios são adicionados à mantissa antes do truncamento, suportando desde 13 a 24 bits aleatórios dependendo do formato.
  • Huawei e Google: Propostas e suporte nativo em TPUs (Ironwood) para treinamento em 4 e 8 bits.
• Inovações em Geração de Números Aleatórios:
  • Discussão sobre a eliminação de PRNGs (Geradores de Números Aleatórios Pseudoaleatórios) dedicados. Patentes de NVIDIA, Mellanox e Huawei sugerem extrair "bits aleatórios" diretamente dos dados de entrada (ex: bits menos significativos da mantissa) para garantir reprodutibilidade e reduzir custo de hardware.
  • Análise de que, em redes neurais, os próprios dados podem fornecer bits aleatórios de qualidade superior aos gerados por LFSRs tradicionais.
• Modelo de Precisão Limitada ($r$): Confirma a heurística de que escolher $r \approx \lceil (\log_2 n)/2 \rceil$ oferece o melhor equilíbrio entre custo e precisão para somatórios de tamanho $n$.

4. Resultados e Descobertas

• Aprendizado de Máquina (ML): O SR é um habilitador crítico para o treinamento de Grandes Modelos de Linguagem (LLMs) em precisão ultra-baixa (4-bit e 8-bit, como NVFP4 e MXFP4).
  • No backward pass, o SR fornece estimativas não viciadas dos gradientes, prevenindo a estagnação e estabilizando a convergência.
  • Técnicas como Random Hadamard Transforms (RHT) combinadas com SR reduzem a variância de quantização em matrizes esparsas.
  • O uso de SR em atualizações de parâmetros permite manter a precisão baixa sem degradar o modelo, desde que os gradientes não sejam excessivamente pequenos em relação ao ruído de quantização.
• Simulação Climática e Caótica: O SR preserva estatísticas de longo prazo em sistemas dinâmicos caóticos. Diferente do RN, que força trajetórias em órbitas periódicas curtas (artefato de precisão finita), o SR permite que as trajetórias escapem desses ciclos, mantendo a fidelidade estatística em simulações de 100 anos com precisão binary16.
• Computação Neuromórfica: O SR melhora a precisão em modelos de plasticidade sináptica e redes de neurônios de pulso (spiking), permitindo o uso de aritmética de ponto fixo de 16 bits ou ponto flutuante de 8 bits sem perda significativa de acurácia.
• Análise de Programas: Ferramentas como PyTracer utilizam aritmética de Monte Carlo com SR para detectar instabilidades numéricas em código Python de alto nível.

5. Significância

Este trabalho é fundamental para a transição da computação científica e de IA para arquiteturas de precisão mista e ultra-baixa.

• Viabilidade de Hardware: Demonstra que o SR deixou de ser apenas uma curiosidade teórica e agora é uma funcionalidade nativa em GPUs de última geração (NVIDIA Blackwell, AMD MI300) e TPUs, tornando-se viável para produção em escala.
• Solução para o "Gargalo de Memória": Ao permitir o uso de formatos de 4 e 8 bits sem sacrificar a convergência de algoritmos iterativos (como Gradiente Descendente), o SR é essencial para escalar modelos de IA para trilhões de parâmetros dentro das restrições de memória e energia atuais.
• Direção Futura: O artigo aponta para a necessidade de padronizar a geração de números aleatórios (ou a extração de dados) para garantir reprodutibilidade entre diferentes hardwares e otimizar o número de bits aleatórios ($r$) para minimizar o custo de hardware sem comprometer a precisão estatística.

Em suma, o papel do SR evoluiu de uma técnica para mitigar erros de soma para um componente central na infraestrutura de hardware e software para a próxima geração de computação de alto desempenho e inteligência artificial.