Resumo Técnico: Uma Marca d'Água para Modelos de Visão-Linguagem-Ação e Modelos de Mundo-Ação

Declaração do Problema

Modelos de Visão-Linguagem-Ação (VLA) e Modelos de Mundo-Ação (WAMs) são cada vez mais implantados como serviços de caixa-preta, onde os pesos do modelo permanecem privados, mas a política é executada via uma API ou pacote local. Esses modelos representam uma propriedade intelectual (PI) significativa devido aos dados proprietários e aos recursos computacionais necessários para seu treinamento. Um desafio crítico surge quando um parceiro ou adversário tenta revender ou redesenviar uma política protegida sem a permissão do proprietário.

As soluções de marca d'água existentes para políticas robóticas enfrentam duas limitações primárias:

1. Marcas d'água baseadas em backdoor: Estas exigem a modificação dos pesos do modelo para disparar ações específicas. Elas são difíceis de estender para cenários de identificação de múltiplos usuários e podem ser enfraquecidas por subsequente ajuste fino (fine-tuning) ou clonagem de comportamento.
2. Marcas d'água de perturbação de saída: Estas inserem sinais no ruído de exploração do fluxo de ação. No entanto, como o sinal está concentrado em uma banda de frequência estreita da saída, é facilmente detectável por adversários que podem aplicar análise espectral e filtros estreitos para remover a marca d'água com impacto mínimo no desempenho da tarefa.

O problema central é projetar um mecanismo de marca d'água que proteja a propriedade em um cenário de caixa-preta, suporte a identificação de múltiplas chaves, permaneça robusto contra ataques de remoção do lado da saída e não degrade o desempenho da tarefa.

Metodologia: Verificação de Proveniência Latente com Chave

Os autores propõem a Verificação de Proveniência Latente com Chave, um método de dois estágios que insere evidências de propriedade na semente do ruído latente, em vez da saída de ação final.

1. Injeção de Impressão Digital (Fingerprint Injection)

A injeção ocorre antes do modelo gerar um bloco de ação (action chunk).

• Mecanismo: O proprietário do modelo substitui a semente de ruído Gaussiano padrão ($z_c$) sorteada pelo amostrador por uma semente "com impressão digital" ($z^{fp}_c$).
• Perturbação com Chave: A semente com impressão digital é uma combinação linear do ruído original e um vetor de referência com chave ($r_c$):
  $$z^{fp}_c = \sqrt{1-\beta^2} z_c + \beta r_c$$
  onde $\beta$ controla a força da injeção. O vetor de referência $r_c$ é gerado usando um gerador de números pseudoaleatórios semeado por uma chave secreta $k^*$, um nonce $\nu_e$ e o índice do bloco.
• Invariância Estatística: Crucialmente, a semente $z^{fp}_c$ resultante retém exatamente a mesma distribuição Gaussiana ($N(0, I)$) que o ruído original. Isso garante que o fluxo de ação não exiba um sinal aditivo explícito que um adversário pudesse facilmente filtrar. A correlação entre a semente e a chave é ocultada dentro do processo de geração não linear do modelo.
• Injeção Seletiva: Nem todo bloco de ação é marcado. Um seletor com chave determina quais blocos são perturbados para limitar a perturbação da tarefa e evitar que adversários identifiquem blocos "marcados" específicos para remoção direcionada.

2. Verificação de Impressão Digital (Fingerprint Verification)

A verificação é realizada por um proprietário autorizado que tem acesso às ações executadas pelo robô suspeito (que podem ser parciais ou pós-processadas).

• Recuperação de MAP Latente: Como o verificador não consegue ver a semente interna, ele deve recuperar a semente a partir das ações observadas ($y_c$). Os autores formulam isso como um problema de otimização de Máxima Verossimilhança a Posteriori (MAP). O verificador busca uma semente latente $\hat{z}$ que minimize o erro entre a ação prevista (gerada a partir de $\hat{z}$) e a ação observada, enquanto penaliza desvios da priori Gaussiana. Esta abordagem evita a necessidade de adivinhar canais de ação não observados, um ponto de falha dos métodos de reversão de ODE usados em marcas d'água de imagem.
• Pontuação Condicionada à Chave: A semente recuperada é comparada contra candidatos de referência com chave usando um filtro casado (produto interno).
• Calibragem e Agregação: Para lidar com a variabilidade entre tarefas e episódios, o verificador pontua o suspeito contra um banco de chaves "iscas" para normalizar as pontuações (Z-score). A evidência de múltiplos rollouts (agregação de grupo) é somada para tomar uma decisão binária final sobre a propriedade ou para identificar a chave específica entre múltiplos candidatos.

Principais Contribuições

1. Verificação de Proveniência Latente com Chave: Um novo framework que marca implantações de VLA e WAM modificando a semente de ruído latente, preservando a lei do ruído Gaussiano e evitando sinais visíveis no lado da saída.
2. Design de Verificador de Caixa-Preta: Um sistema de verificação capaz de recuperar sementes latentes a partir de comandos de ação parciais e pós-processados, utilizando otimização MAP, suportando tanto a verificação de propriedade binária quanto a identificação de múltiplas chaves.
3. Avaliação Abrangente: Experimentos extensos em duas famílias de políticas ($\pi0.5$ e LingBot-VA) e dois conjuntos de robôs (LIBERO-10 e RoboTwin), avaliando a robustez contra ataques do lado da saída (clipping, suavização, jitter, atraso), variantes do proprietário (LoRA, poda, quantização) e ataques de ajuste fino adaptativo.

Resultados Experimentais

O método foi avaliado em quatro combinações de modelo-robô. Principais descobertas incluem:

• Desempenho da Tarefa: A injeção da marca d'água resultou em mudanças insignificantes nas taxas de sucesso da tarefa (tipicamente dentro de alguns pontos percentuais) e nos comprimentos dos episódios.
• Precisão de Detecção: Na ausência de ataques, o método alcançou detecção perfeita (TPR 1.00 com 1% de Taxa de Falso Positivo) em todas as combinações ao agregar 16 rollouts.
• Robustez a Ataques de Saída: A marca d'água permaneceu detectável sob vários ataques de remoção do lado da saída. Embora a suavização agressiva ou o jitter na combinação $\pi0.5$/LIBERO-10 tenham reduzido as taxas de detecção, o método manteve, em geral, alta robustez. Os autores observam que ataques fortes o suficiente para remover a marca d'água frequentemente degradavam significativamente o desempenho da tarefa.
• Robustez a Variantes do Proprietário: A impressão digital sobreviveu ao ajuste fino via LoRA, poda e quantização. Em casos onde a compressão danificou o backbone do modelo (reduzindo o sucesso da tarefa), a impressão digital ainda era recuperável após a agregação.
• Identificação: O sistema identificou com sucesso a chave específica atribuída a uma política suspeita entre 33 candidatas, alcançando alta precisão de rank-1 após a agregação.
• Análise de Segurança:
  • Risco de Chave Falsa: A probabilidade de uma chave aleatória ou independente passar pelo limiar é extremamente baixa (estimada empiricamente entre $10^{-3}$ e $10^{-9}$, dependendo do limiar).
  • Remoção Adaptativa: Ataques de caixa-branca onde um adversário ajusta a política para minimizar a pontuação da marca d'água falharam em remover a impressão digital sem degradar severamente o desempenho da tarefa.
  • Destilação: A clonagem de comportamento (treinar um aluno nos outputs do professor) removeu com sucesso a marca d'água, pois o aluno aprende a distribuição de ação, mas não a invariância da lei de ruído específica do amostrador do professor. Os autores enquadram isso como o limite onde o custo da evasão (treinar um novo modelo) torna-se proibitivo.

Significância e Alegações

O artigo afirma que a verificação de proveniência latente com chave oferece um mecanismo prático e robusto para proteger políticas robóticas generativas privadas. Ao embarcar a marca d'água na semente latente em vez da saída, o método evita a vulnerabilidade de "remoção barata" das marcas d'água baseadas em frequência.

Os autores enfatizam que suas garantias são pontos de operação empíricos em vez de provas criptográficas. O método é projetado para auditorias pós-hoc autorizadas, onde o proprietário tem acesso ao serviço suspeito. A significância reside em permitir que proprietários detectem a redeploy não autorizada de suas políticas, mesmo quando os pesos estão ocultos e a saída está sujeita ao pós-processamento padrão de implantação. O trabalho destaca um compromisso: embora a marca d' água seja robusta contra manipulação de saída e edição de modelo, ela é vulnerável à destilação, sugerindo que o custo da evasão muda do simples filtragem para o processo caro de retreinar uma nova política.