Resumo Técnico: Marca d'água em Nível de Dinâmica para Modelos de Flow Matching com Códigos Aleatórios

1. Declaração do Problema

O artigo aborda a necessidade de proteção robusta e verificável de propriedade para modelos generativos, especificamente modelos de Flow Matching. Os paradigmas existentes de marcação d'água sofrem de limitações específicas:

• Métodos em nível de saída incorporam sinais em amostras geradas, mas podem ser removidos via pós-processamento e não provam a propriedade do próprio modelo.
• Métodos em nível de pesos incorporam bits nos parâmetros, mas exigem acesso de caixa-branca e são frágeis a ajuste fino ou poda.
• Métodos em nível de comportamento (backdoor) suportam verificação de caixa-preta, mas frequentemente introduzem artefatos visíveis, irregularidades estatísticas ou carecem de criptografia forte (uma vez que um gatilho é encontrado, a verificação é trivial).

Além disso, nenhum trabalho anterior incorporou marcas d'água diretamente nas dinâmicas contínuas aprendidas (o campo de velocidade) de um processo generativo. Os autores formulam a questão central: É possível incorporar uma mensagem de múltiplos bits, verificável e com chave, diretamente no campo de velocidade de um modelo de flow matching, de modo que a detecção exija apenas acesso de caixa-preta, a qualidade de geração seja preservada e a recuperação seja impossível sem uma chave secreta?

2. Metodologia

Conceito Central: Codificação Aleatória sobre Dinâmicas de Transporte

Os autores formulam a marcação d'água como codificação aleatória sobre um canal contínuo. Em vez de modificar pesos ou saídas, eles tratam o campo de velocidade aprendido $v_\theta(x, t)$ como um canal contínuo de alta dimensão. Uma mensagem é incorporada adicionando uma perturbação dependente de chave a este campo de velocidade.

Construção do Sinal de Marca d'água

O sinal de marca d'água $s_{K,m}(x, t)$ é construído para satisfazer três condições: média zero ao longo do tempo (para preservar a qualidade), ortogonalidade aproximada (para separação de mensagens) e normalização de energia.

• Chave ($K$): Consiste em uma matriz de projeção semi-ortogonal $P \in \mathbb{R}^{D \times k}$ e um livro de códigos $C = \{c_m\}$ de vetores unitários em $\mathbb{R}^k$.
• Definição do Sinal: Para uma mensagem $m$, o sinal é definido como:
  $$s_{K,m}(x, t) = \sin(2\pi t) \cdot P c_m$$
  Aqui, $P c_m$ incorpora a palavra-código no espaço de velocidade, enquanto $\sin(2\pi t)$ atua como uma portadora temporal.
• Propriedade de Média Zero: A integral de $\sin(2\pi t)$ sobre $t \in [0, 1]$ é zero. Consequentemente, a perturbação integra-se a zero ao longo de qualquer trajetória generativa, preservando teoricamente a distribuição terminal das amostras geradas.

Procedimento de Treinamento (Incorporação)

Durante o treinamento de Flow Matching, o modelo é otimizado para minimizar uma função de perda combinada:

1. Perda de Velocidade ($L_{vel}$): Regressa a velocidade do modelo $v_\theta$ contra um alvo com marca d'água $\tilde{v} = u + \epsilon_0 s_{K,m}$, onde $u$ é a velocidade condicional padrão.
2. Perda de Marca d'água ($L_{wm}$): Um termo de regularização que recompensa o modelo por produzir vetores de velocidade cuja projeção demodulada ($\sin(2\pi t) P^T v_\theta$) se alinha com a palavra-código alvo $c_m$.

A análise teórica mostra que o preditor ótimo sob este objetivo inclui uma força efetiva de marca d'água de $\epsilon_0 + \lambda/2$.

Procedimento de Detecção (Caixa-Preta)

A detecção requer apenas acesso de consulta ao campo de velocidade do modelo.

1. Consultas: O detector amostra $N$ pontos aleatórios $(x_i, t_i)$ e consulta o modelo para obter velocidades $v(x_i, t_i)$.
2. Demodulação Síncrona: O detector projeta as velocidades no espaço de código latente ($P^T v$) e multiplica pela portadora temporal $\sin(2\pi t_i)$.
3. Média: Os resultados são medidos para estimar a assinatura $\hat{s}$.
4. Decodificação: A mensagem é recuperada encontrando a palavra-código $c_m$ no livro de códigos que maximiza a correlação com $\hat{s}$.

Segurança e Capacidade

• Segurança: Sem a chave secreta ($P$ e $C$), um atacante enfrenta um problema de busca em subespaço sobre a variedade de Grassmann $Gr(k, D)$ e um problema de não-identificabilidade relativo à base do subespaço. Empiricamente, a detecção com uma chave errada produz precisão ao nível do acaso.
• Capacidade: A capacidade do canal escala linearmente com a dimensão de projeção $k$ e logaritmicamente com o número de consultas $N$.

3. Contribuições Principais

1. Incorporação em Nível de Dinâmica: Primeiro trabalho a incorporar marcas d'água diretamente no campo de velocidade contínuo de modelos de flow matching, em vez de pesos ou saídas.
2. Preservação de Qualidade: Projetou uma perturbação que integra a zero ao longo das trajetórias, garantindo que a distribuição gerada permaneça estatisticamente indistinguível da versão sem marca d'água.
3. Segurança com Chave: Implementou um esquema onde a detecção e a recuperação de mensagens exigem estritamente uma chave secreta (matriz de projeção e livro de códigos); sem ela, a precisão cai para um chute aleatório.
4. Capacidade de Múltiplos Bits: Utilizou uma construção de livro de códigos para suportar mensagens de múltiplos bits (além da verificação binária), habilitando aplicações como identificação de proprietário e rastreamento de traidores.
5. Validação Empírica: Validou o método em MNIST e CIFAR-10 usando arquiteturas MLP e UNet.

4. Resultados Experimentais

Os autores avaliaram o método em vários cenários (MNIST/CIFAR-10, MLP/UNet, diferentes etapas de treinamento).

• Precisão de Detecção: Modelos com marca d'água alcançaram 100% de recuperação de mensagem em todas as configurações testadas. Modelos limpos (sem marca d'água) produziram 0% de falsos positivos (ou 2,5% em um caso específico, abaixo da linha de base de chute aleatório de 3,1%).
• Segurança com Chave: Ataques usando uma matriz de projeção aleatória (chave errada) resultaram em 0/50 recuperações corretas, correspondendo à taxa de chute aleatório.
• Separação Estatística: A separação entre as assinaturas de modelos com marca d'água e limpos foi significativa, com separação mínima excedendo 8,4$\sigma$ (até 25,5$\sigma$ em alguns cenários).
• Preservação de Qualidade: As razões de Distância de Inception Fréchet (FID) entre modelos com marca d'água e limpos permaneceram próximas de 1,0$\times$ (variando de 0,95$\times$ a 1,10$\times$). Em alguns casos, modelos com marca d'água mostraram FID marginalmente menor, atribuído a variação aleatória de treinamento e não à própria marca d'água.
• Persistência: Estender o treinamento para 10.000 etapas não degradou a recuperação da marca d'água.

5. Significado e Alegações

O artigo afirma que a marcação d'água em nível de dinâmica fornece uma base robusta para:

• Verificação de Propriedade de Modelo: Provar a propriedade de um modelo implantado via consultas de caixa-preta.
• Rastreamento de Traidores: Identificar cópias específicas de um modelo distribuídas a diferentes clientes.
• Conformidade Regulatória: Verificar a proveniência de modelos generativos.

Os autores enfatizam que sua abordagem trata o campo de velocidade aprendido como um canal de comunicação contínuo, uma perspectiva que pode ter utilidade além da marcação d'água. Eles afirmam explicitamente que, embora o método mostre promessa, a avaliação em escala de implantação e a análise rigorosa de amostras finitas da capacidade do canal são deixadas para trabalhos futuros. O artigo não afirma resolver a marcação d'água para todas as famílias de modelos generativos, mas demonstra especificamente a eficácia dentro do framework de Flow Matching.