Echoes of ownership: Adversarial-guided dual injection for copyright protection in MLLMs

1. O Problema

Com a rápida disseminação de Modelos de Linguagem Multimodal (MLLMs) de código aberto, surgiram disputas frequentes sobre a propriedade intelectual. Usuários maliciosos podem fazer fine-tuning (ajuste fino) desses modelos base para aplicações comerciais e reivindicar falsamente a autoria, dificultando a detecção de violações.

Os desafios principais identificados são:

• Acesso Restrito: Métodos existentes de rastreamento de direitos autorais muitas vezes exigem acesso "white-box" (parâmetros internos do modelo), o que é impossível em cenários reais onde o modelo suspeito é uma caixa-preta (serviço fechado).
• Fragilidade em Derivados: Métodos anteriores de black-box (baseados apenas em respostas) tendem a overfitting (sobreajuste) ao modelo base. Quando o modelo é ajustado para domínios específicos (fine-tuning), os gatilhos (triggers) deixam de funcionar, falhando em identificar os derivados.
• Necessidade de Generalização: É necessário um método que funcione tanto no modelo base quanto em suas variantes ajustadas, sem afetar a utilidade do modelo original.

2. Metodologia: AGDI (Adversarial-Guided Dual Injection)

Os autores propõem o AGDI, um framework que gera imagens de gatilho (trigger images) imperceptíveis. Quando essas imagens são inseridas no modelo junto com uma pergunta específica, o modelo derivado deve responder com um texto de propriedade pré-definido, enquanto modelos não derivados (ou o modelo base original sem o ajuste) não devem gerar essa resposta.

O método baseia-se na observação de que a maioria dos MLLMs possui um módulo de alinhamento cruzado estilo CLIP (que conecta imagens e texto) que permanece relativamente estável mesmo após o fine-tuning.

O AGDI utiliza uma otimização Min-Max com três componentes principais:

A. Injeção Dupla (Dual Injection)

O objetivo é otimizar a imagem de gatilho ($x$) para satisfazer dois critérios simultaneamente:

1. Injeção no Nível de Resposta (Response-level): Força o modelo a gerar um texto de propriedade específico ($a_{tar}$) quando a imagem de gatilho é apresentada. Isso é feito minimizando a perda de entropia cruzada entre a saída do modelo e o texto alvo.
2. Injeção no Nível Semântico (Semantic-level): Minimiza a distância de embedding entre as características da imagem de gatilho (extraídas pelo módulo CLIP-like do modelo) e as características do texto alvo. Isso garante que a semântica da imagem e do texto estejam alinhadas em um espaço de alta ordem, explorando a estabilidade do módulo de alinhamento compartilhado entre o modelo base e seus derivados.

A função de perda total para a imagem é:
$$L_{trig} = L_{res} + \lambda L_{sem}$$

B. Treinamento Adversarial Guiado (Adversarial Training)

Para garantir que o gatilho funcione mesmo em modelos que resistem ao ajuste original (derivados fortemente ajustados), o método introduz um modelo auxiliar.

• O modelo auxiliar é treinado para rejeitar a resposta de propriedade quando exposto à imagem de gatilho (simulando o comportamento de um modelo derivado que "esqueceu" o gatilho).
• O processo de otimização alterna entre atualizar a imagem para enganar o modelo auxiliar e atualizar os parâmetros do modelo auxiliar para resistir à imagem.
• Isso cria um cenário de "min-max" que força a imagem de gatilho a encontrar características robustas que sobrevivam ao fine-tuning.

3. Contribuições Principais

1. Framework de Rastreamento Black-box: Primeira abordagem pós-deploy que permite verificar a linhagem de modelos MLLMs sem acesso aos parâmetros internos, usando apenas consultas de entrada/saída.
2. Descoberta do Módulo Submodelo: Identificação de que o módulo de alinhamento estilo CLIP atua como um "submodelo implícito" compartilhado entre variantes de MLLMs, permitindo a injeção de informações de propriedade no nível semântico.
3. Estratégia de Injeção Dupla e Adversarial: Combinação de alinhamento de resposta e semântico, reforçada por treinamento adversarial, resultando em gatilhos altamente robustos contra fine-tuning, poda (pruning), fusão de modelos e quantização.
4. Validação Exaustiva: Demonstração experimental superior em diversos modelos base (LLaVA-1.5, Qwen2-VL) e cenários de ajuste fino (LoRA e Full Fine-tuning) em múltiplos domínios (matemática, arte, texto, etc.).

4. Resultados Experimentais

Os experimentos foram conduzidos em modelos como LLaVA-1.5 e Qwen2-VL, ajustados em datasets como V7W, ST-VQA, TextVQA, PaintingForm e MathV.

• Desempenho em Modelos Derivados: O AGDI superou consistentemente as baselines (IF, RNA, PLA e métodos comuns).
  • No modelo Qwen2-VL ajustado (LoRA), o AGDI alcançou taxas de sucesso (ASR) de até 81% (PaintingF) e 77% (ST-VQA), superando o PLA (76% e 68% respectivamente).
  • No LLaVA-1.5, o AGDI atingiu 79% no dataset PaintingF, contra 55% do PLA.
• Seletividade (Falsos Positivos): O método mostrou 0% de taxa de ativação em modelos não derivados (como MiniGPT-4, LLaVA-1.6, Llama3-V), provando que o gatilho é específico para a linhagem do modelo base.
• Robustez:
  • Poda (Pruning): O AGDI manteve alta performance mesmo após a remoção de 30% dos pesos do modelo.
  • Fusão de Modelos: Funcionou bem em modelos fundidos (Linear e TIES merging).
  • Quantização: A performance foi mantida em modelos quantizados para 8 bits.
  • Transformações de Entrada: Resistente a ruído gaussiano, redimensionamento e compressão JPEG.

5. Significância e Impacto

O trabalho é significativo porque oferece uma solução prática e robusta para um problema emergente na era da IA generativa: a proteção de propriedade intelectual de modelos multimodais.

• Viabilidade Comercial: Permite que publicadores de modelos de código aberto rastreiem usos não autorizados mesmo quando os infratores usam técnicas avançadas de ajuste fino para "esconder" a origem do modelo.
• Segurança de IA: Demonstra que é possível explorar a estabilidade intrínseca dos módulos de alinhamento multimodal para fins de segurança e verificação de autenticidade.
• Generalização: A abordagem não depende de re-treinamento custoso do modelo base, sendo aplicável post-deployment.

Em resumo, o AGDI representa um avanço crucial na segurança de MLLMs, transformando a vulnerabilidade de gatilhos adversariais em uma ferramenta de proteção de direitos autorais robusta e generalizável.