💻 computer science

LineageMark: Multi-user White-box Watermarking for Contribution Tracing in Model Derivation Chains

O LineageMark é um framework de marca d'água de caixa branca multiusuário que possibilita o rastreamento robusto de contribuições em cadeias de derivação de modelos de linguagem de grande escala ao codificar marcas d'água como estatísticas de projeção sobre parâmetros estáveis, garantindo persistência e integridade através de atualizações incrementais, ajuste fino e outras perturbações de modelo.

Autores originais: Bingxue Zhang, Xiaofeng Xu, Feida Zhu

Publicado 2026-06-17

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Bingxue Zhang, Xiaofeng Xu, Feida Zhu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine o mundo da Inteligência Artificial como um enorme canteiro de obras aberto. Neste canteço, um "Modelo Base" é como a estrutura de um arranha-céu gigante já construída. Em vez de apenas um arquiteto finalizar o edifício, dezenas de equipes diferentes (contribuintes) se revezam adicionando andares, pintando paredes e instalando novos sistemas. Cada equipe modifica o edifício para atender às suas necessidades específicas, criando uma longa "cadeia" de modelos derivados.

O problema? À medida que o edifício passa de mãos em mãos e é renovado, torna-se difícil provar quem fez o quê. Foi a Equipe A que construiu a fundação? Foi a Equipe B que instalou os elevadores? Se o edifício for vendido ou utilizado mais tarde, como saberemos qual equipe merece o crédito (ou o pagamento) por sua contribuição específica?

Este é o problema que o LineageMark resolve. É um novo sistema de "etiquetagem digital" que permite que múltiplas equipes estampem sua assinatura única em um modelo, mesmo enquanto esse modelo está sendo constantemente renovado por outros.

Veja como funciona, usando analogias simples:

1. O Problema: Tinta Desbotada e Assinaturas Conflitantes

Os métodos existentes de marca d'água são como escrever um nome a lápis em uma única página de um caderno.

O Problema do Desbotamento: Se você passar o caderno para outra pessoa e ela apagar partes da página para escrever suas próprias notas, seu nome pode ficar borrado ou desaparecer inteiramente.
O Problema do Conflito: Se duas pessoas tentarem escrever na mesma página ao mesmo tempo, suas tintas podem se misturar, tornando impossível ler qualquer uma das assinaturas.

No mundo da IA, quando uma nova equipe faz o ajuste fino de um modelo (atualiza seu "cérebro"), ela acidentalmente apaga ou embaralha as assinaturas digitais deixadas por equipes anteriores.

2. A Solução: A Fundação de "Pedra Estável"

O LineageMark muda a estratégia. Em vez de escrever em uma única página, ele esculpe assinaturas nas pedras da fundação do edifício.

Encontrando as Pedras Estáveis: Antes de esculpir, o sistema analisa o modelo para encontrar partes específicas de seu "cérebro" (parâmetros) que são muito estáveis. Estas são como as pedras pesadas de sustentação que não se movem mesmo quando o edifício é renovado. O sistema ignora as partes frágeis e instáveis do modelo.
O Método de Escultura (Projeção): Em vez de esculpir um buraco profundo e óbvio (o que quebraria a pedra), o sistema faz pequenos e sutis ajustes em um grupo dessas pedras estáveis. É como organizar um grupo de pedregulhos para que, se você olhar de um ângulo específico, eles formem um "X" ou um "O" oculto.
- A Chave: Cada equipe possui uma "lanterna" secreta (uma chave privada). Quando eles apontam sua lanterna no ângulo certo para os pedregulhos, conseguem ver sua forma oculta. Sem a lanterna, os pedregulhos parecem apenas um monte de pedras normais.

3. Como Ele Lida com Múltiplas Equipes

É aqui que o LineageMark brilha. Imagine uma longa cadeia de renovações:

A Equipe A esculpe sua assinatura nas pedras estáveis.
A Equipe B chega, renova o edifício e esculpe sua assinatura.
A Equipe C faz o mesmo.

Como o LineageMark utiliza um sistema de "votação":

Mesmo que a renovação da Equipe B desloque levemente alguns dos pedregulhos que a Equipe A tocou, há tantos outros pedregulhos no grupo que a forma geral da assinatura da Equidade A permanece visível.
A assinatura da Equipe B é esculpida de uma forma que não conflita com a da Equipe A; é como esculpir em um conjunto diferente de pedras ou usar um ângulo diferente que não perturba o primeiro padrão.
O Resultado: Ao final da cadeia, a Equipe A pode apontar sua lanterna e ainda ver seu "X", e a Equipe B pode apontar a dela e ver seu "O". Eles não precisam conversar entre si ou ver a planta original; eles só precisam de sua própria chave secreta.

4. Testando a Durabilidade

Os pesquisadores testaram este sistema simulando um canteiro de obras caótico:

Renovações (Ajuste Fino/Fine-tuning): Eles continuaram atualizando o modelo com novos dados. As marcas d'água permaneceram visíveis 100% do tempo, mesmo após muitas rodadas de atualizações.
Compressão (Quantização): Eles espremeram o modelo para torná-lo menor (como comprimir um arquivo). As marcas d'água sobreviveram, mesmo quando o tamanho do arquivo foi cortado pela metade.
Poda (Pruning): Eles removeram partes do modelo (como cortar uma parede). As marcas d'água sobreviveram, a menos que cortassem grande parte do edifício.
Chaves Falsas: Eles tentaram enganar o sistema com chaves falsas. O sistema disse corretamente: "Não, essa não é a sua assinatura", enquanto métodos antigos às vezes se confundiam e diziam "Sim" para a pessoa errada.

5. A Troca (Trade-off)

O artigo observa um pequeno custo: Para encontrar essas "pedras estáveis" (os melhores lugares para esculpir), o sistema precisa realizar cálculos matemáticos pesados antecipadamente. É como um agrimensor gastando muito tempo mapeando a fundação antes que o primeiro tijolo seja assentado. No entanto, uma vez feito o mapa, adicionar ou verificar assinaturas é muito rápido.

Resumo

LineageMark é uma forma de proteger a propriedade intelectual de todos que ajudam a construir uma IA. Ele garante que, mesmo em um ambiente lotado e em constante mudança onde muitas pessoas modificam o mesmo modelo, a assinatura digital única de cada contribuinte permaneça visível, verificável e distinta das demais. Ele transforma um canteiro de obras caótico em um edifício com um registro claro e permanente de quem construiu o quê.

Resumo Técnico: LineageMark

Declaração do Problema

Nos ecossistemas de Grandes Modelos de Linguagem (LLMs) abertos, os modelos frequentemente passam por cadeias de derivação de múltiplos estágios, onde diferentes contribuidores adaptam um modelo base para tarefas, domínios ou aplicações específicas. Isso cria estruturas de linhagem complexas, onde um modelo derivado final contém contribuições de múltiplos estágios históricos. Os métodos atuais de marca d'água enfrentam duas limitações críticas neste contexto:

Decaimento de Linhagem: Marcas d'água históricas inseridas por contribuidores iniciais frequentemente desaparecem ou tornam-se impossíveis de extrair devido ao desvio de parâmetros (parameter drift) causado pelo ajuste fino de parâmetros totais (full-parameter fine-tuning) e atualizações subsequentes do modelo.
Interferência de Múltiplos Usuários: Quando novos contribuidores tentam inserir suas próprias marcas d'água em um modelo já marcado, os métodos existentes frequentemente falham em preservar a integridade das marcas d'água anteriores, ou a nova inserção interrompe os sinais dos contribuidores anteriores.

Os métodos white-box existentes são projetados primariamente para inserção de usuário único e etapa única, carecendo de mecanismos para suportar a verificação incremental e multiusuário, onde cada contribuidor deve verificar sua presença de forma independente, sem acesso ao modelo original ou às chaves de outros usuários.

Metodologia: LineageMark

O LineageMark é um framework de marca d'água white-box multiusuário projetado para rastrear contribuições em cadeias de derivação de modelos. Ele opera através de três fases principais:

1. Seleção de Portador Estável (Stable Carrier Selection)

Para mitigar o risco de desvio da marca d'água durante derivações subsequentes, o LineageMark seleciona coordenadas de parâmetros "estáveis" para a inserção.

Relevância Funcional: Ele computa uma matriz de Fisher ( $F_\ell$ ) no espaço oculto de forma empírica usando dados de calibração para identificar direções fortemente associadas ao comportamento do modelo, evitando regiões de parâmetros inativas.
Estabilidade de Perturbação: Ele constrói uma matriz de segundo momento de compressão ( $C_\ell$ ) usando operadores de perturbação (projeção aleatória, ruído de quantização Gaussiana, dropout estruturado) para medir a sensibilidade a modificações comuns no modelo.
Critério de Seleção: Direções estáveis são selecionadas resolvendo um problema de autovalores generalizado ( $F_\ell u = \lambda(C_\ell + \epsilon I)u$ ) para maximizar a relevância funcional por unidade de perturbação. Uma estratégia de truncamento espectral seleciona autovetores dentro de um intervalo específico para equilibrar estabilidade e utilidade.
Mapeamento: Esses subespaços estáveis são mapeados de volta para coordenadas de pesos específicas em matrizes lineares, criando uma máscara ( $\Omega$ ) de portadores candidatos.

2. Inserção de Marca d'Água por Projeção de Sinal (Sign-Projection Watermark Embedding)

Em vez de modificar pesos individuais para valores específicos, o LineageMark codifica cada bit da marca d'água como uma estatística de projeção de sinal sobre um grupo de pesos.

Agrupamento Baseado em Chave: Usando uma chave privada, cada contribuidor gera mapeamentos pseudoaleatórios para definir grupos de coordenadas disjuntos e coeficientes de projeção ( $\phi_{ij} \in \{-1, +1\}$ ).
Redundância: As cargas úteis (payloads) da marca d'água são divididas em blocos e atribuídas ciclicamente entre múltiplas matrizes lineares. Isso garante que, mesmo que o ajuste fino enfraqueça o sinal em algumas matrizes, o sinal agregado permaneça recuperável.
Restrições de Margem: O processo de inserção impõe uma margem de decisão ( $\mu$ ). Se a estatística de projeção atual não satisfizer o sinal alvo com margem suficiente, uma atualização local de forma fechada é aplicada às coordenadas estáveis para empurrar a estatística em direção ao alvo. Isso cria um buffer contra futuras perturbações de parâmetros.

3. Extração de Marca d'Água Baseada em Chave

A verificação é realizada de forma independente por cada candidato contribuidor, sem a necessidade do modelo original, dados de calibração ou informações de outros usuários.

Reconstrução do Detector: O verificador usa sua chave privada para reconstruir os mesmos grupos de coordenadas e coeficientes de projeção exatos usados durante a inserção.
Votação Ponderada: O verificador computa estatísticas de projeção nos parâmetros atuais do modelo. Em vez de uma votação de maioria simples, o LineageMark utiliza a magnitude da projeção como um peso de confiança.
Agregação: Decisões locais de múltiplas matrizes são agregadas. Um bit é decodificado com base em se os votos ponderados positivos ou negativos acumulados predominam. Este mecanismo permite que o sistema recupere bits mesmo se algumas matrizes forem corrompidas por estágios de derivação posteriores.

Principais Contribuições

Formalização de Marca d'Água Multiusuário: O artigo define os requisitos para cadeias de derivação de modelos, especificamente preservação de linhagem (marcas d'água históricas permanecem extraíveis), inserção incremental (novas marcas d'água não destroem as antigas) e verificação independente apenas via chave.
Seleção de Portador Estável: Um método inovador usando informação de Fisher e análise de sensibilidade de perturbação para identificar regiões de parâmetros robustas ao ajuste fino de parâmetros totais e compressão.
Projeção de Sinal com Restrição de Margem: Uma estratégia de inserção que representa bits como sinais de projeção agregados com margens impostas, aumentando a robustez contra desvio de parâmetros e interferência multiusuário.
Avaliação Abrangente: O framework é avaliado em múltiplas escalas de modelos (OPT-125M a OPT-1.3B) e domínios (médico, jurídico, raciocínio matemático), demonstrando robustez contra ataques de ajuste fino, re-marcação, quantização e poda (pruning).

Resultados Experimentais

Preservação de Linhagem: Em cadeias de derivação de múltiplos estágios envolvendo ajuste fino de parâmetros totais, o LineageMark alcançou uma Taxa de Extração de Marca d'Água (WER) de 100% para todas as marcas d'água históricas em todos os estágios e domínios. Em contraste, os métodos de referência (ELLMark, EmMark) mostraram decaimento significativo (WER caindo para ~40-60% para marcas históricas) e problemas de interferência.
Inserção Incremental: Novos contribuidores puderam inserir marcas d'água com sucesso sem degradar a extraibilidade das marcas d'água existentes.
Robustez:
- Ajuste Fino: Manteve 100% de WER contra ataques de ajuste fino de parâmetros eficientes (LoRA, Prefix-tuning, etc.) e ajuste fino padrão de parâmetros totais.
- Quantização: Alcançou 100% de WER sob quantização de 8 bits e >90% de WER sob quantização agressiva de 4 bits.
- Poda (Pruning): Manteve >96% de WER mesmo com 60% de poda aleatória.
Resistência a Falsos Positivos: O LineageMark demonstrou uma grande lacuna entre as pontuações de extração com chave correta e chave inválida. Com um limiar de verificação de 0,75, alcançou uma Taxa de Falso Positivo (FPR) de 0,50% e uma Taxa de Falso Negativo (FNR) de 0%, superando significativamente os métodos de referência que sofriam de altos FPRs (ex: 88% para ELLMark) devido a pontuações de extração ambíguas.
Preservação de Utilidade: O desempenho zero-shot em benchmarks gerais (PIQA, HellaSwag, WinoGrande) permaneceu estável, com degradação negligível em comparação ao modelo original.

Significância e Alegações

O artigo afirma que o LineageMark aborda uma lacuna crítica no ecossistema de LLMs abertos ao permitir a proveniência verificável de múltiplos contribuidores. Diferente de métodos anteriores que focam na verificação de proprietário único, o LineageMark permite que um modelo derivado sirva como um ativo digital onde as contribuições de múltiplos contribuidores históricos podem ser auditadas de forma independente.

Os autores enfatizam que o framework não visa recuperar a topologia completa da derivação ou a ordem cronológica de inserção, mas sim verificar a presença de marcas d'água de contribuidores específicos em um modelo subsequente. O trabalho demonstra que estender a marca d'água de cenários de proprietário único para cadeias de derivação multiusuário é viável através da seleção de portador estável e codificação de projeção estatística, fornecendo um mecanismo prático para proteção de propriedade intelectual e rastreamento de contribuição em ecossistemas de modelos em evolução.

O artigo também reconhece modestamente as limitações, observando que o custo de pré-processamento (estimativa de informação de Fisher) é o principal gargalo computacional e que o método não é imune a ajustes finos suficientemente agressivos (ex: taxas de aprendizado muito altas) ou compressão extrema que exceda as margens de estabilidade projetadas.