Texel Splatting: Perspective-Stable 3D Pixel Art

Resumo Técnico: Texel Splatting

1. O Problema: Instabilidade em Pixel Art 3D Perspectiva

O objetivo central do trabalho é renderizar cenas 3D com a estética de "pixel art" (arte de pixels) mantendo a estabilidade dos pixels durante o movimento da câmera.

• Limitação das Métodos Atuais: Técnicas existentes baseiam-se em "snap" (alinhamento) da câmera a uma grade. Isso funciona perfeitamente em projeção ortográfica, onde um deslocamento no mundo gera o mesmo deslocamento na tela, independentemente da profundidade. Um único ajuste de grade corrige todos os pixels simultaneamente.
• O Desafio da Perspectiva: Em projeção perspectiva, o mesmo deslocamento no mundo gera deslocamentos diferentes na tela dependendo da profundidade (objetos próximos movem-se mais na tela do que objetos distantes). Portanto, nenhum "snap" único de grade pode corrigir o desvio (chamado de shimmer ou "creep" de pixels) para todas as profundidades simultaneamente. O ProPixelizer anterior documentou que esse problema é insolúvel apenas com correções no espaço da tela.

2. Metodologia: Texel Splatting

A técnica proposta, Texel Splatting, resolve o problema desacoplando a estabilidade do texel do movimento da câmera, utilizando uma abordagem baseada em cubemaps e quads no espaço do mundo. O pipeline executa três etapas principais por quadro:

A. Captura do Cubemap (Cubemap Capture)

• A geometria da cena é rasterizada a partir de uma origem de sonda fixa (probe origin) em um cubemap.
• Cada texel do cubemap armazena dados como posição, normal, material e ID do objeto.
• Invariância à Rotação: Como os cubemaps são indexados por direção e não por posição na tela, a rotação da câmera não altera a atribuição dos texels, garantindo estabilidade rotacional.

B. Sombreamento (Shading)

• Um passo de computação (compute pass) aplica sombreamento a cada texel do cubemap.
• Iluminação Independente da Câmera: A iluminação (difusa, sombras, etc.) é calculada no espaço do cubemap, não no espaço da tela. Isso permite que os resultados sejam reutilizados entre quadros (cache).
• Estilização: Aplica-se posterização de luz (usando o espaço de cor OKLab) para criar degraus de cor planos e detecta-se contornos (silhuetas e dobras) baseados em descontinuidades de ID de objeto e normais.

C. Probes (Sondas) e Invariância à Translação

• Para garantir estabilidade na translação, a origem da sonda não segue a câmera livremente. Ela é definida como a posição da câmera "snapada" (arredondada) para o vértice mais próximo de uma grade mundial.
• Sistema de Três Probes:
  1. Eye Probe (Sonda do Olho): Segue a câmera exata para preencher áreas oclusas (disocclusion), mas sofre de instabilidade.
  2. Grid Probe (Sonda da Grade): Fixa na posição arredondada, fornecendo conteúdo estável.
  3. Previous Probe (Sonda Anterior): Mantém a grade anterior durante transições.
• Quando a câmera cruza uma célula da grade, ocorre um crossfade (dissolução) usando um padrão de dither de Bayer 4x4 entre as sondas, amortizando o custo de renderização.

D. Splatting (Projeção na Tela)

• Cada texel visível do cubemap é projetado na tela como um quad no espaço do mundo.
• Cálculo de Posição: A posição do mundo $p$ é calculada usando a origem da sonda $o$, a direção $r$ (derivada das coordenadas do texel) e a profundidade escalar $d$ (distância de Chebyshev):
  $$p = o + \frac{d}{\|r\|_\infty} r$$
• Tratamento de Lacunas e Z-Fighting: Para evitar lacunas entre texels adjacentes, os quads são expandidos além de suas fronteiras. Para evitar Z-fighting (sobreposição visual) em áreas de profundidade similar, a expansão é limitada e escalada pelo ângulo de incidência, permitindo que o depth buffer resolva a sobreposição apenas onde necessário.

3. Contribuições Chave

1. Solução para Pixel Art em Perspectiva: Demonstra que é possível obter pixel art estável em projeção perspectiva sem correções no espaço da tela, superando a limitação fundamental identificada em trabalhos anteriores.
2. Decomposição de Estabilidade: Separa a estabilidade rotacional (via indexação de cubemap) da estabilidade translacional (via grade de sondas fixas).
3. Pipeline Híbrido: Combina rasterização tradicional (para captura de geometria) com splatting de quads no espaço do mundo, evitando o raymarching no espaço da tela usado por métodos concorrentes como o Texel Marching.

4. Resultados e Desempenho

• Qualidade Visual: O método produz pixel art onde os pixels permanecem fixos na geometria durante o movimento da câmera, eliminando o shimmer e o pixel creep.
• Desempenho:
  • iPhone 15 (A16 GPU): 40 FPS.
  • RTX 4090: Menos de 4 ms por quadro.
  • Resolução: Testado com 3842 texels por face do cubemap.
• Otimização: A natureza independente da câmera do sombreamento permite o uso de cache entre quadros, reduzindo a carga computacional.

5. Significado e Limitações

• Significado: O trabalho oferece uma nova arquitetura para renderização estilizada que preserva a integridade visual da pixel art em ambientes 3D modernos, permitindo movimentos de câmera fluidos sem a necessidade de travar a câmera em uma grade rígida (o que quebraria a imersão).
• Limitações Principais:
  • Disocclusion (Oclusão Desfeita): Como a sonda tem uma origem fixa, ela não pode ver geometria que está oculta daquela posição. Quando a câmera se move, novas áreas aparecem que não foram capturadas no cubemap. O sistema usa uma "Eye Probe" para preencher essas lacunas, mas essas áreas específicas ainda podem sofrer de instabilidade (shimmer).
  • Trade-off de Densidade: Existe um equilíbrio entre o tamanho das células da grade (probes). Células grandes geram conteúdo mais estável, mas aumentam a área de oclusão não capturada. Células pequenas reduzem a oclusão, mas aumentam a frequência de transições entre sondas.
• Trabalho Futuro: Sugere-se o uso de placement adaptativo de sondas, múltiplas sondas estáveis, materiais especulares e geometria animada.

Em suma, o Texel Splatting representa um avanço significativo na renderização de estilo, resolvendo um problema matemático persistente na projeção perspectiva através de uma mudança de paradigma: em vez de corrigir a imagem na tela, ele projeta a textura estável diretamente no espaço 3D.