Color3D: Controllable and Consistent 3D Colorization with Personalized Colorizer

Resumo Técnico: COLOR3D

1. O Problema (Problem Statement)

A reconstrução de cenas 3D coloridas a partir de entradas monocromáticas (preto e branco) é um desafio fundamental para aumentar o realismo em aplicações de arte digital e preservação de patrimônio cultural. Os métodos atuais enfrentam dois obstáculos principais:

• Inconsistência de Cor: Modelos de colorização 2D tradicionais, quando aplicados a múltiplas vistas de uma cena 3D, falham em manter a consistência cromática, resultando em mudanças bruscas de cor conforme a câmera se move (color shift).
• Perda de Vivacidade vs. Consistência: Métodos que tentam resolver a inconsistência através da média de cores entre várias vistas acabam "diluindo" a paleta, produzindo resultados desbotados, sem saturação e com baixa expressividade.
• Limitação de Controle: A dificuldade em controlar a colorização de forma precisa (via linguagem ou referências) tanto em cenas estáticas quanto dinâmicas (com movimento).

2. Metodologia (Methodology)

O Color3D propõe um novo paradigma: em vez de tentar colorir todas as imagens de uma vez, o framework coloriza apenas uma vista principal (key view) e utiliza um colorizador personalizado para propagar essa informação de cor para todas as outras vistas e instantes temporais.

O processo é dividido em duas fases:

Fase 1: Treinamento do Colorizador Personalizado

• Seleção de Vista Chave: Utiliza uma estratégia baseada em entropia de similaridade de características (via CLIP) para selecionar a imagem que contém a maior diversidade de informações visuais.
• Colorização da Vista Chave: O usuário aplica qualquer modelo 2D (baseado em texto, referência ou automático) para colorir essa única imagem.
• Aumento de Dados de Vista Única (Single View Augmentation): Para evitar o overfitting e garantir que o modelo entenda o que está "fora do quadro", o framework usa modelos generativos (como Stable Diffusion e Stable Video Diffusion) para criar variações da vista colorida (outpainting, novos ângulos e movimentos).
• Ajuste Fino (Fine-tuning): Um colorizador (baseado no encoder DDColor com adaptadores leves e um decoder CNN treinado do zero) é ajustado para aprender o mapeamento de cor específico daquela cena, transformando o problema de colorização 3D complexo em um problema de propagação de informação de cor mais simples.

Fase 2: Colorização da Cena 3D

• Representação Lab Gaussian: O framework utiliza 3D Gaussian Splatting (3DGS) para cenas estáticas e 4D Gaussian Splatting (4DGS) para dinâmicas. A inovação é a utilização do espaço de cores CIE Lab, onde a luminância ($L$) e a crominância ($a, b$) são otimizadas separadamente.
• Otimização de Duas Etapas (Warm-up): Primeiro, otimiza-se a estrutura da cena usando apenas o canal de luminância ($L$). Depois, introduzem-se os canais de cor ($a, b$) para o refinamento cromático, o que garante maior estabilidade geométrica e fidelidade de textura.

3. Principais Contribuições (Key Contributions)

1. Framework Unificado: Capaz de lidar tanto com cenas 3D estáticas quanto dinâmicas (4D) sob um mesmo paradigma.
2. Colorizador Personalizado: Introdução de um modelo que aprende o mapeamento de cor específico de uma cena, garantindo consistência espacial e temporal sem sacrificar a vivacidade das cores.
3. Controle Versátil: Suporte para três modos de controle: guiado por linguagem (ex: "uma flor azul"), baseado em referência (imagem de exemplo) ou inferência automática.
4. Representação Lab Gaussian: Uma nova forma de parametrizar os Gaussians para desacoplar luz e cor, melhorando a nitidez e a convergência da reconstrução.

4. Resultados (Results)

• Desempenho Quantitativo: O Color3D superou significativamente os métodos de estado da arte (como ColorNeRF e métodos baseados em média de cores) em métricas como FID (qualidade de imagem), CLIP Score (alinhamento com texto) e Matching Error (ME) (medida de inconsistência de cor).
• Consistência: Demonstrou uma redução drástica no erro de correspondência de cores entre diferentes ângulos de visão e frames de vídeo.
• Aplicações Reais: O método provou ser eficaz em cenas "in-the-wild" (mundo real) e na restauração de filmes históricos monocromáticos, produzindo resultados visualmente ricos e coerentes.

5. Significância (Significance)

O Color3D representa um avanço importante ao transformar a colorização 3D de um problema de otimização global massiva e instável em um problema de aprendizado de mapeamento de cor local e personalizado. Ao permitir que usuários controlem a cor de uma cena inteira editando apenas uma imagem, o framework abre portas para ferramentas de edição de vídeo e reconstrução 3D muito mais intuitivas, interativas e realistas para a indústria de entretenimento e preservação histórica.