Where, What, Why: Toward Explainable 3D-GS Watermarking

O artigo apresenta um framework nativo de representação para marcação d'água em 3D Gaussian Splatting que, ao separar a seleção de portadores da preservação de qualidade e utilizar mecanismos de explicabilidade, alcança um equilíbrio superior entre robustez, imperceptibilidade e fidelidade visual.

O essencial

Imagine que você é um artista que criou uma escultura digital 3D incrível (um "Gaussian Splatting"). Você quer vender ou compartilhar essa obra, mas tem medo de que alguém a roube, copie e venda como se fosse dele. Você precisa de uma marca d'água invisível: algo que prove que a obra é sua, mas que não estrague a beleza da escultura e que sobreviva mesmo se a pessoa tentar cortar, espremer ou pintar por cima da imagem.

O problema é que as esculturas digitais modernas são feitas de milhões de "pontos brilhantes" (chamados Gaussians). Colocar uma marca d'água neles é como tentar escrever uma mensagem secreta em uma tempestade de neve: se você escrever no lugar errado, a neve derrete (a imagem fica ruim) ou a mensagem some (a marca d'água não é lida).

Este paper apresenta uma solução inteligente chamada "Onde, O Quê e Porquê" para resolver esse problema. Vamos usar analogias para entender como funciona:

1. O "Onde": Escolhendo os Portadores Certos (O Trio de Especialistas)

Antes de escrever qualquer coisa, o sistema precisa decidir onde colocar a marca d'água. Escrever em qualquer ponto da escultura é perigoso.

• A Analogia: Imagine que você quer colar um adesivo de segurança em uma pintura valiosa. Você não cola em cima do rosto do personagem (isso estragaria a arte) nem em uma área muito brilhante (o adesivo poderia cair). Você procura uma área segura, estável e que não seja notada.
• A Solução: O sistema usa um "Trio de Especialistas" (Trio-Experts) que olha diretamente para os dados matemáticos da escultura, não apenas para a imagem final:
  1. Especialista em Geometria: Verifica se a estrutura é sólida e não vai balançar.
  2. Especialista em Aparência: Verifica se a cor e a luz ali são estáveis para não criar manchas.
  3. Especialista em Redundância: Verifica se há "cópias de segurança" ao redor. Se um ponto for apagado, outros podem assumir o lugar sem que a imagem mude.

Esses especialistas criam um mapa de "zonas seguras" para a marca d'água.

2. O "O Quê": A Porta Inteligente e a Máscara (SBAG e Group Mask)

Depois de saber onde colocar, o sistema precisa decidir o quê escrever e como escrever sem estragar a imagem.

• A Analogia: Imagine que você tem uma equipe de pintores. Alguns são os "Pintores da Marca" (que vão escrever o segredo) e outros são os "Pintores de Compensação" (que vão consertar qualquer erro que o primeiro grupo fizer).
• A Solução:
  • O Portão (SBAG): É um guarda-costas que decide quais pontos da escultura podem receber a marca d'água. Ele só deixa passar se o ponto for seguro e se couber no "orçamento" (não usar muitos pontos para não pesar o sistema).
  • A Máscara de Canal (Group Mask): Aqui está a mágica. Cada ponto da escultura tem várias "camadas" de dados (cor, brilho, posição, rotação). O sistema usa uma máscara para dizer: "Pintores da Marca, mexam apenas na camada de brilho. Pintores de Compensação, mexam apenas na camada de posição."
  • Isso evita que eles briguem. Se ambos tentassem mexer na mesma coisa ao mesmo tempo, a imagem ficaria borrada. Separando as tarefas, a imagem permanece perfeita.

3. O "Porquê": Treinamento Desacoplado (Decoupled Finetuning)

A parte mais importante é como eles aprendem a fazer isso.

• A Analogia: Imagine um maestro tentando treinar dois músicos ao mesmo tempo: um deve tocar uma melodia suave (a imagem bonita) e o outro deve tocar um ritmo secreto (a marca d'água). Se eles tentarem aprender juntos, um vai atrapalhar o outro.
• A Solução: O sistema desacopla o treinamento.
  • Ele treina os "Pintores da Marca" apenas para serem fortes contra ataques (como cortes ou ruído), ignorando se eles estragam um pouco a imagem.
  • Ele treina os "Pintores de Compensação" apenas para consertar a imagem, ignorando a marca d'água.
  • No final, eles se juntam. Como cada grupo focou em uma coisa só, o resultado é uma imagem perfeita com uma marca d'água indestrutível.

Por que isso é revolucionário?

Antes, tentar colocar uma marca d'água em 3D era como tentar equilibrar uma torre de cartas em um terremoto: ou a imagem ficava ruim, ou a marca d'água sumia.

Este método:

1. É Explicável: Você pode olhar e dizer exatamente qual ponto da escultura carrega a mensagem e por que ele foi escolhido (porque era seguro e estável).
2. É Robusto: Mesmo que alguém tente cortar a imagem, comprimir o arquivo ou adicionar ruído, a mensagem secreta ainda pode ser lida.
3. É Invisível: A qualidade da imagem 3D não cai. Na verdade, o sistema até melhora a imagem ao corrigir pequenos defeitos enquanto esconde a mensagem.

Em resumo: É como ter um sistema de segurança que não apenas esconde um segredo na sua obra de arte, mas que sabe exatamente onde escondê-lo para que a obra continue linda e o segredo permaneça intacto, mesmo que alguém tente destruir a obra.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Where, What, Why: Toward Explainable 3D-GS Watermarking", apresentado em português:

1. O Problema

Com o surgimento do 3D Gaussian Splatting (3D-GS) como o padrão de facto para ativos 3D interativos (superando o NeRF em eficiência e qualidade), a proteção de direitos autorais tornou-se crítica. O 3D-GS utiliza parâmetros explícitos e editáveis, o que facilita a cópia, adulteração e redistribuição ilegal de modelos sem atribuição ao criador original.

As soluções existentes de marcação d'água para campos de radiação (como WateRF e 3DGSW) apresentam lacunas significativas quando aplicadas a Gaussians discretos:

• Seleção de Portadores: Falham em selecionar robustamente quais primitivas Gaussianas devem carregar a marca d'água, considerando visibilidade multi-visão, estabilidade geométrica e segurança da informação.
• Compromisso Robustez-Qualidade: É difícil embutir uma marca d'água robusta (resistente a distorções como compressão, ruído e recorte) sem degradar a qualidade visual ou a fidelidade de renderização do modelo 3D.
• Explicabilidade: Métodos anteriores carecem de transparência sobre onde e por que a mensagem foi inserida, dificultando a auditoria e a atribuição.

2. Metodologia Proposta

Os autores propõem um framework nativo de representação que desacopla a seleção de portadores da otimização de qualidade, respondendo às perguntas: Onde escrever, O que escrever e Por que importa.

A. Módulo Trio-Experts (Seleção de Portadores)

Em vez de analisar imagens renderizadas, o sistema opera diretamente nos parâmetros nativos do 3D-GS (posição, escala, rotação, opacidade e coeficientes esféricos harmônicos - SH). Três "especialistas" extraem priors:

1. Expert de Geometria: Avalia a estabilidade estrutural (isotropia de escala, consistência rotacional).
2. Expert de Aparência: Avalia a consistência visual e características de frequência para garantir edições imperceptíveis.
3. Expert de Redundância: Estima a substituibilidade espacial para garantir robustez.
   Esses especialistas geram um pacote de evidências que alimenta o próximo módulo.

B. Safety and Budget Aware Gate (SBAG)

Este módulo atua como um "portão" inteligente que decide onde escrever a marca d'água:

• Utiliza as evidências do Trio-Experts e uma renderização única (one-shot) para selecionar Gaussians que são visualmente seguros e geometricamente estáveis.
• Aplica um orçamento adaptativo para densificar o conjunto de portadores de marca d'água (Watermark Carriers - WM) dentro de limites de qualidade visual.
• Separa os Gaussians não selecionados como Compensadores Visuais (VIS), que são responsáveis por manter a fidelidade da imagem.

C. Máscara de Grupo por Canal (Channel-wise Group Mask)

Para controlar o que é escrito e minimizar a degradação visual:

• Aplica máscaras específicas por canal nos parâmetros dos Gaussians.
• Restringe o fluxo de gradiente: os portadores de marca d'água (WM) recebem gradientes apenas para otimizar a robustez da mensagem, enquanto os compensadores visuais (VIS) são protegidos de atualizações relacionadas à marca d'água para preservar a qualidade de renderização.

D. Ajuste Fino Desacoplado (Decoupled Finetuning)

A inovação central é a desacoplagem total durante o treinamento:

• Os portadores (WM) e os compensadores (VIS) são otimizados em rotas de gradiente ortogonais.
• Isso elimina o conflito de otimização onde a melhoria da marca d'água prejudicaria a qualidade visual (e vice-versa).
• Utiliza Expectation Over Transformation (EOT) para treinar a robustez contra uma variedade de ataques (ruído, rotação, compressão JPEG, etc.) diretamente no espaço de parâmetros 3D.

3. Principais Contribuições

1. Framework de Ajuste Fino Desacoplado: Uma arquitetura que separa completamente a atualização de portadores e compensadores, permitindo marcação d'água robusta e imperceptível.
2. Módulo Trio-Experts: Um sistema que extrai priors de geometria, aparência e redundância diretamente dos parâmetros 3D-GS, garantindo consistência entre diferentes visões.
3. Portão SBAG (Safety and Budget Aware Gate): Um mecanismo que seleciona e densifica portadores de marca d'água com base em orçamentos de segurança e qualidade, separando-os dos compensadores visuais.
4. Explicabilidade Auditável: O sistema fornece atribuições por Gaussian, revelando onde a mensagem está carregada e por que esses portadores foram selecionados, permitindo verificação auditável.

4. Resultados Experimentais

O método foi avaliado em benchmarks padrão (Blender, LLFF, Mip-NeRF 360) comparado a métodos state-of-the-art (WateRF, GuardSplat, 3DGSW).

• Qualidade de Renderização: O método alcançou um ganho de +0.83 dB em PSNR em comparação com os melhores métodos existentes, mantendo a fidelidade visual quase indistinguível do original.
• Robustez: Houve um aumento de +1.24% na precisão de bits (Bit-Accuracy). O método superou consistentemente os concorrentes sob ataques de distorção de imagem (ruído, recorte, compressão JPEG) e distorções no nível do modelo (remoção/clonagem de Gaussians).
• Capacidade: Mantém alto desempenho mesmo com mensagens de maior capacidade (32, 48 e 64 bits), demonstrando um equilíbrio superior entre invisibilidade e capacidade de carga.
• Estabilidade: A ablação dos componentes (SBAG, Máscara, Desacoplamento) mostrou que a remoção de qualquer um deles degrada significativamente tanto a precisão da marca d'água quanto a qualidade visual, confirmando a necessidade de todo o pipeline.

5. Significado e Impacto

Este trabalho representa um avanço significativo na segurança de ativos 3D gerados por IA. Ao mover a marca d'água do domínio da imagem (renderizada) para o espaço de parâmetros nativo do 3D-GS, e ao resolver o conflito fundamental entre qualidade visual e robustez através do desacoplamento de gradientes, o método oferece:

• Proteção Realista: Funciona mesmo quando o modelo é roubado e sofre ataques de distorção.
• Transparência: A capacidade de auditar onde e por que a marca d'água foi inserida é crucial para aplicações legais e de propriedade intelectual.
• Escalabilidade: O design é compatível com cenas dinâmicas e cargas de trabalho multimodais, estabelecendo um novo padrão para a proteção de ativos 3D interativos.