⚡ electrical engineering

Compression of 3D Gaussian Splatting Data Using GPU-friendly Graphics Texture Coding

Este artigo propõe um método de compressão amigável para GPU para 3D Gaussian Splatting que aproveita a codificação de textura acelerada por hardware e o reordenamento de primitivas para comprimir eficientemente os coeficientes de cor de harmônicos esféricos com perda negligenciável de qualidade visual, ao mesmo tempo em que possibilita a decodificação paralela em larga escala.

Autores originais: Amir Said, Randall Rauwendaal

Publicado 2026-07-17

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Amir Said, Randall Rauwendaal

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um arquiteto digital tentando construir um mundo virtual tão realista que você possa caminhar por ele, olhar ao redor e ver reflexos em uma poça ou o brilho do sol em uma janela. Por décadas, cientistas têm tentado ensinar os computadores a fazer isso aprendendo a partir de um amontoado de fotografias. A superestrela mais recente neste campo é chamada de "3D Gaussian Splatting". Pense nisso como: em vez de construir uma cena a partir de tijolos rígidos ou paredes lisas, o computador constrói o mundo a partir de milhões de pequenas nuvens flutuantes e nebulosas. Cada nuvem é um "primitivo" que sabe exatamente onde está, qual o seu tamanho e que cor deve ter de qualquer ângulo.

O truque de mágica é que essas nuvens podem mudar sua cor dependendo de onde você está parado. Se você caminhar ao redor de uma maçã brilhante, o brilho se move. Para fazer isso acontecer, o computador usa uma ferramenta matemática complexa chamada "harmônicos esféricos" para descrever como a cor muda. O problema? Para fazer uma cena parecer verdadeiramente fotorrealista, você precisa de um número massivo dessas nuvens, e cada uma carrega uma enorme quantidade de dados de cor. É como tentar carregar uma biblioteca de enciclopédias em sua mochila apenas para mostrar uma única foto a um amigo. Os arquivos são tão grandes que são difíceis de armazenar, difíceis de enviar pela internet e difíceis para o seu computador processar rapidamente. É aqui que o artigo entra, fazendo uma pergunta simples: Podemos encolher esses arquivos gigantes sem fazer o mundo virtual parecer embaçado ou quadriculado?

Os autores, pesquisadores da Qualcomm, propõem uma solução inteligente que trata essas nuvens 3D como uma textura de videogame. Em videogames modernos, os computadores usam um truque especial de "compressão de textura" para compactar imagens em pequenos blocos que a placa de vídeo (GPU) pode ler instantaneamente. O artigo sugere que podemos usar esse mesmo truque para nossas nuvens 3D. No entanto, há uma pegadinha: a compressão de textura padrão funciona melhor quando cores que estão próximas umas das outras também são semelhantes em tonalidade. Se você tiver um tabuleiro de xadrez de quadrados vermelhos e azuis, a compressão tem dificuldades. Mas em uma cena 3D, o computador tem a liberdade de rearranjar a ordem das nuvens antes de salvá-las.

A principal descoberta do artigo é que, se organizarmos esses milhões de nuvens 3D para que nuvens com cores semelhantes sejam agrupadas, como organizar uma caixa bagunçada de giz de cera por cor antes de colocá-la em um pote, você pode comprimir os dados de forma muito mais eficiente. Os pesquisadores testaram isso pegando cenas 3D padrão (como uma bicicleta, uma árvore bonsai e um jardim) e reordenando as nuvens com base em sua cor. Eles então as compactaram em blocos de tamanho fixo e usaram formatos de compressão gráfica padrão (especificamente BC1 e BC7) que já estão integrados na sua placa de vídeo.

Os resultados são bastante promissores. A equipe descobriu que, ao ordenar as nuvens por cor primeiro, eles puderam comprimir os dados significativamente, mantendo a qualidade visual quase perfeita. Em seus testes, usando um método chamado BC7 para os dados de cor mais importantes e BC1 para o restante, eles alcançaram um nível de detalhe visualmente indistinguível dos dados originais não comprimidos. Eles mediram isso usando uma pontuação chamada PSNR (Relação Sinal-Ruído de Pico), onde valores mais altos são melhores. Por exemplo, na cena "Bonsai", o melhor método deles marcou 45,55 dB, o que é muito próximo dos 50,17 dB da versão original não comprimida. Eles também mostraram que, se você apenas tentasse comprimir os dados sem ordená-los primeiro, a qualidade caía significamente, provando que a etapa de reordenação é o ingrediente secreto.

O artigo argumenta explicitamente contra a ideia de que você precisa de uma compressão complexa de comprimento variável (como o JPEG) para obter bons resultados. Embora o JPEG seja ótimo para fotos, ele é muito lento e complicado para o processamento paralelo instantâneo que as cenas 3D precisam. Os autores mostram que manter-se fiel a blocos de tamanho fixo (o que permite que o computador pegue os dados instantaneamente sem esperar) é, na verdade, o melhor caminho, desde que você organize os dados de forma inteligente primeiro. Eles também demonstram que você não precisa comprimir cada parte da nuvem igualmente; ao separar as cores "difusas" (básicas) dos destaques "especulares" (brilhantes), você pode usar diferentes configurações de compressão para diferentes partes dos dados para economizar ainda mais espaço.

Em resumo, o artigo sugere que não precisamos inventar uma maneira totalmente nova de encolher mundos 3D. Em vez disso, só precisamos arrumar os dados antes de compactá-los. Ao ordenar as nuvens 3D por cor e depois usar as ferramentas de compressão padrão que sua placa de vídeo já sabe ler, podemos tornar essas cenas 3D massivas e fotorrealistas pequenas o suficiente para caber em um telefone ou ser transmitidas pela internet, tudo isso mantendo a velocidade de renderização alta e a qualidade da imagem elevada. Os autores mediram esses resultados usando cenas 3D reais e softwares de compressão padrão, mostrando que a degradação visual é frequentemente tão pequena que é imperceptível ao olho humano.

Resumo Técnico: Compressão de Dados de Gaussian Splatting 3D Usando Codificação de Textura Gráfica Amigável à GPU

Declaração do Problema

O 3D Gaussian Splatting (3DGS) emergiu como uma técnica poderosa para síntese de novas visões, gerando modelos de cenas 3D de alta qualidade compostos por primitivas geométricas aprendidas com distribuições espaciais gaussianas. No entanto, existe uma limitação prática significativa: os modelos 3DGS requerem uma memória substancial. Isso se deve principalmente ao grande número de primitivas necessárias para capturar detalhes da cena e aos extensos parâmetros por primitiva, especificamente os coeficientes de harmônicos esféricos (SH) usados para modelar a cor dependente da visão.

Embora os métodos de compressão existentes tenham demonstrado redução de dados, eles sofrem de uma limitação crítica em relação às pipelines de renderização modernas: eles não exploram as capacidades de decodificação e renderização paralela das Unidades de Processamento Gráfico (GPUs). As técnicas de compressão de imagem padrão (por exemplo, JPEG) frequentemente dependem de taxas de bits variáveis e codificação de entropia que dificultam o acesso aleatório, o qual é essencial para o paralelismo massivo exigido pelas GPUs para renderizar cenas complexas de forma eficiente. Além disso, os métodos tradicionais de compressão de textura são projetados para grades 2D fixas e não podem facilmente aproveitar as capacidades de reordenação inerentes à organização dos dados 3DGS.

Metodologia

O artigo propõe um framework de compressão que adapta esquemas padrão de codificação de textura gráfica (especificamente variantes de Block Truncation Coding como BC1 e BC7) para os parâmetros do 3DGS. A metodologia central baseia-se em três pilares técnicos principais:

1. Compressão de Taxa de Bits Fixa Amigável à GPU

Os autores utilizam formatos de compressão de textura (BC1, BC7) que comprimem blocos de dados em um número fixo de bits. Este design permite:

Acesso Aleatório: Qualquer bloco comprimido pode ser localizado e decodificado independentemente calculando sua posição no bitstream (Índice do Bloco × Bits por Bloco).
Decodificação Paralela: Este acesso aleatório permite que os núcleos da GPU decodifiquem e renderizem primitivas em paralelo sem esperar por fluxos de dados sequenciais.
Aceleração de Hardware: O método aproveita o suporte de hardware dedicado para descompressão de textura encontrado em GPUs modernas, minimizando o uso de largura de banda e o consumo de energia.

2. Reorganização de Dados via Ordenação de Cores

Uma inovação primária é a reorganização das primitivas 3DGS antes da compressão. Diferente de texturas 2D onde as posições dos pixels são fixas, as primitivas 3DGS podem ser reordenadas sem afetar a lógica de renderização (desde que sejam ordenadas pela distância até a câmera durante a etapa de alpha-blending).

Ordenação Baseada em Cor: Os autores empregam um esquema de entrelaçamento de bits em vetores RGB para gerar valores inteiros de 24 bits, que são então ordenados.
Agrupamento (Clustering): Esta ordenação agrupa primitivas com cores semelhantes em blocos contíguos. Como o Block Truncation Coding (BTC) performa melhor quando a variância dentro de um bloco é baixa, esta reorganização reduz significativamente o erro de reprodução (distorção) para uma taxa de bits fixa.
Consideração Espacial: Embora a ordenação de cores seja o motor principal, o método reconhece que a proximidade espacial também pode ser considerada, embora a ordenação de cores independente em grupos maiores tenha se mostrado eficaz para a eficiência do BTC.

3. Organização Hierárquica e Multiestreio (Multi-Stream)

Para lidar com cenas de grande escala e características de dados variadas, o artigo introduz uma organização de dados hierárquica:

Separação de Parâmetros: Posição, forma e aparência (coeficientes SH) são separados. Os parâmetros de aparência são categorizados ainda mais com base no número de coeficientes SH não nulos.
Múltiplos Bitstreams: Primitivas com diferentes características de parâmetros (por exemplo, aquelas com coeficientes SH reduzidos versus coeficientes SH completos) são agrupadas em bitstreams separados. Isso permite a aplicação de diferentes estratégias de codificação de taxa de bits fixa para diferentes subconjuntos de dados enquanto mantém o acesso aleatório.
Rearranjo de Blocos: Os 16 coeficientes RGB por primitiva são rearranjados em blocos RGB de $4 \times 4$ . O artigo explora várias configurações, como o empacotamento de coeficientes de uma única primitiva ou a agregação de coeficientes do mesmo nível de múltiplas primitivas em um único bloco para maximizar a similaridade de cor.

Principais Contribuições

Compressão Nativa de GPU: O artigo demonstra que os dados 3DGS podem ser comprimidos usando formatos de textura gráfica padrão, permitindo assim a decodificação e renderização paralela eficiente em GPUs modernas sem comprometer o acesso aleatório necessário para o desempenho em tempo real.
Ordenação de Cores para BTC: O trabalho mostra que reordenar as primitivas 3DGS com base na similaridade de cor melhora significativamente a eficiência da compressão de taxa de bits fixa (BTC), superando as penalidades típicas de distorção associadas às restrições de taxa de bits constante.
Alocação Flexível de Taxa de Bits: Ao organizar os dados em múltiplos bitstreams baseados em propriedades de parâmetros, o método permite a atribuição de taxa de bits variável entre as partes da cena (por exemplo, usando BC7 de maior qualidade para componentes difusos e BC1 de menor qualidade para coeficientes especulares/de ordem superior) enquanto preserva a capacidade de acessar aleatoriamente blocos de dados específicos.
Implementação Prática: O estudo fornece um pipeline concreto para quantizar coeficientes SH de ponto flutuante para inteiros de 8 bits, organizá-los em estruturas do tipo textura e aplicar ferramentas de compressão padrão (Compressonator) para gerar arquivos DDS.

Resultados Experimentais

Os autores avaliaram seu método nas cenas "bicycle", "bonsai" e "garden" da implementação oficial do 3DGS. Os experimentos compararam parâmetros de ponto flutuante de 32 bits contra vários esquemas de compressão usando os formatos BC1 e BC7.

Linha de Base de Quantização: Quantizar os coeficientes SH para 8 bits sem compressão resultou em perda visual insignificante (PSNR > 46 dB) quando a escala apropriada foi aplicada.
Impacto da Ordenação: Aplicar BC1/BC7 padrão a dados não ordenados resultou em degradação significativa da qualidade (quedas de PSNR de 10–20 dB). No entanto, aplicar a ordenação de cores antes da compressão gerou melhorias dramáticas.
- Para BC1, a ordenação melhorou o PSNR em aproximadamente 4–6 dB.
- Para BC7, a ordenação melhorou o PSNR em 5–16 dB, dependendo do arranjo específico do bloco.
Configuração Ótima: Os melhores resultados foram alcançados separando os primeiros coeficientes SH (difusos) dos coeficientes restantes (especulares). Usar BC7 para o primeiro bloco e BC1 para os blocos restantes, combinado com a ordenação de cores, alcançou compressão visualmente sem perdas (PSNR > 38 dB) com uma redução significativa no uso de memória (até ~9 bytes por primitiva para os dados SH, comparado a 196 bytes para os floats de 32 bits não comprimidos).
Qualidade Visual: A inspeção visual das visões renderizadas e vídeos confirmou que os artefatos foram limitados principalmente à aparência da cor. Devido às fronteiras suaves das primitivas Gaussianas, os artefatos de quantização de cor não criaram transições abruptas, tornando-os difíceis de identificar em movimento.

Significância e Alegações

O artigo afirma que seu método proposto consegue preencher a lacuna entre a representação de cena 3D de alta fidelidade e as restrições práticas de renderização em GPU. Ao aproveitar a liberdade de reordenação das primitivas 3DGS, os autores demonstram que a compressão de textura de taxa de bits fixa — tradicionalmente menos eficiente que a codificação de imagem de taxa de bits variável — pode ser tornada altamente eficaz para dados 3DGS.

A significância reside em permitir a renderização de cenas 3D altamente detalhadas e de grande escala com milhões de primitivas em tempo real. O método preserva o acesso aleatório necessário para a execução paralela em GPU, reduz os requisitos de largura de banda de memória mantendo os dados comprimidos até serem necessários e utiliza aceleração de hardware dedicada para descompressão. Os autores concluem que a descompressão baseada em GPU pode ser alcançada com degradação insignificante ou imperceptível na qualidade visual, tornando-a uma solução viável para o deployment escalável de 3DGS.