Resumo Técnico: Perguntar de Volta: Marca-D'Água Antidistilação na Camada de Interação

Declaração do Problema

A proliferação de modelos de linguagem de ponta servidos via APIs de caixa-preta criou uma ameaça comercial madura: a distilação de conhecimento não autorizada. Adversários colhem pares de prompt-resposta de uma API de professor, ajustam finamente um modelo estudante menor e o implantam sem permissão. Defender-se disso é difícil porque o defensor não controla nem o pipeline de treinamento do atacante nem os logits internos do professor (distribuições do próximo token).

As defesas antidistilação existentes operam em três camadas principais, todas as quais compartilham uma vulnerabilidade à reescrita pré-distilação:

1. Camada de distribuição de tokens: Perturba as probabilidades do próximo token (por exemplo, marcas-d'água de lista verde, esquemas criptográficos).
2. Camada do modelo: Edita o próprio modelo professor para incorporar assinaturas.
3. Camada de rastro de raciocínio: Reordena ou reescreve rastros de cadeia de pensamento.

Trabalhos recentes demonstram que atacantes podem parafrasear respostas colhidas antes do treinamento, efetivamente removendo esses sinais de superfície enquanto preservam a transferência de conhecimento subjacente. Isso deixa uma lacuna estrutural: mesmo que um sinal sobreviva, ele não especifica necessariamente um comportamento distintivo e consultável no estudante destilado.

Metodologia

Este artigo propõe um quarto locus complementar para marcação d'água: a camada de interação. Em vez de modificar probabilidades de tokens ou parâmetros do modelo, o defensor envolve o professor com um prompt de sistema que induz intermitentemente um marcador comportamental ($B$) específico.

O Mecanismo de Perguntar de Volta

O defensor implementa uma política de gatilho ($\Pi_B$) que seleciona um prompt de sistema ($s_B$) para uma fração ($\rho$) das entradas. O prompt de sistema instrui o professor a exibir um comportamento de interação específico, tal como:

• FORTE (Explícito): Acrescentar uma pergunta de acompanhamento sobre o caso de uso, ambiente ou intenção do usuário.
• SUAVE (Explícito de baixa densidade): A mesma pergunta de acompanhamento, mas apenas para um subconjunto de $\sim20\%$ dos prompts.
• CONTROLE DE ESTILO (Implícito): Uma frase declarativa de reafirmação ou conselho (por exemplo, "Na prática, isso funciona melhor quando...") incorporada na resposta, também com densidade de $\sim20\%$.

Um destilador alheio, desinformado sobre a política de gatilho, treina um estudante no corpus colhido. Como o marcador comportamental faz parte do texto de resposta que o estudante é solicitado a imitar, o estudante herda esse comportamento. O defensor pode posteriormente auditar um estudante suspeito via consultas de caixa-preta, usando um LLM como juiz para detectar a presença do marcador.

Formalização

A marca d'água é definida como uma tripla $(B, \Pi_B, \rho)$, onde $B$ é uma função marcador, $\Pi_B$ é a política de gatilho e $\rho$ é a taxa de marcador induzida. O artigo introduz métricas para:

• Taxa de Transferência ($\tau$): A taxa na qual um estudante exibe o marcador em dados retidos.
• Transferência Relativa ($\tau_{rel}$): A taxa do estudante normalizada pela taxa do professor.
• Robustez à Paráfrase: Decomposta em um teto auto do professor ($R_T$, a retenção do professor sob paráfrase do lado do prompt) e uma retenção relativa do estudante ($R_{rel}$), quão bem o estudante preserva o sinal em relação à degradação do professor.

Principais Contribuições

1. Enquadramento do Problema: Os autores formalizam a marca d'água da camada de interação e definem contrapartes comportamentais para métricas existentes de nível de token (lista verde, dados radioativos).
2. Escala: O estudo apresenta a avaliação de marcação d'água de distilação entre famílias mais ampla até a data, envolvendo 63 estudantes ajustados com LoRA em três famílias de modelos (Gemma, OLMo, Qwen) treinados em um professor Llama-3.3-70B-Instruct, com 35.343 amostras julgadas.
3. Robustez à Paráfrase em Dois Níveis: O trabalho caracteriza a robustez não como um único número, mas como uma decomposição de limites herdados do professor e retenção específica do estudante, revelando que alguns estudantes podem preservar marcas d'água mais confiavelmente do que o próprio professor sob condições específicas.

Resultados Experimentais

A avaliação cobre cinco hipóteses ($H1$–$H5$) e várias descobertas:

• Aprendizabilidade ($H1$): Estudantes treinados em dados com marca d'água exibem o marcador em taxas substancialmente acima da linha de base. Em um estudo de caso dentro da família, um estudante treinado em dados "FORTE" alcançou uma taxa de marcador de 99,56% comparada a uma linha de base de 5,09%.
• Generalização entre Famílias ($H2$): O efeito mantém-se em três famílias de modelos distintas. As taxas de transferência relativa para o marcador "FORTE" foram 88,9% (Gemma), 80,9% (OLMo) e 45,2% (Qwen).
• Robustez à Paráfrase ($H3$): Quando o prompt do usuário é parafraseado (usando DIPPER), a taxa de marcador do professor cai (por exemplo, de 90,9% para 60,4% para FORTE, uma retenção de 66,4%). Isso estabelece um teto. No entanto, a retenção relativa do estudante varia:
  • Gemma: 89% de retenção da taxa degradada do professor.
  • Qwen: 65% de retenção.
  • Anomalia OLMo: OLMo exibiu 112% de retenção, preservando a marca d'água acima do próprio desempenho degradado do professor.
• Detectabilidade por Densidade ($H4$): Mesmo em densidades baixas ($\rho \approx 20\%$), as taxas de detecção estão confiavelmente acima do piso de ruído por família. Por exemplo, estudantes OLMo treinados em dados de 20% de densidade mostraram uma taxa de detecção de 31,99% (vs. 0,65% de linha de base), excedendo a própria taxa do professor de 17,85% no mesmo subconjunto.
• Sigilo ($H5$): Um estudo em laboratório ($N=20$) usando um protocolo de quadrado latino pré-registrado encontrou que marcadores de baixa densidade (20% e 50%) não degradaram significativamente a qualidade da interação percebida pelo usuário. Todas as variantes de marcador permaneceram dentro de 0,22 passos Likert da linha de base.
• Transferência Implícita (F-Estilo): O marcador "CONTROLE DE ESTILO" (declarativo, não interrogativo) também transferiu-se confiavelmente (4,1x a 7,9x a linha de base), demonstrando que o mecanismo depende do discurso no nível de interação e não de formas sintáticas específicas como pontos de interrogação.

Significado e Alegações

O artigo alega que a camada de interação é um locus de design viável para marcação d'água antidistilação, oferecendo um canal de auditoria complementar às defesas de nível de token, modelo e rastro de raciocínio.

• Modos de Falha Complementares: Enquanto sinais de nível de token são vulneráveis à reescrita no nível da resposta, e rastros de raciocínio são vulneráveis à reordenação estrutural, sinais da camada de interação (tendências comportamentais) parecem robustos à paráfrase do lado do prompt e sobrevivem à distilação como competências de discurso aprendidas.
• Transferência Comportamental: Os resultados sugerem que a distilação preserva preferencialmente regularidades estruturais e competências de nível de discurso (como "perguntar de volta") em vez de estatísticas de tokens de superfície.
• Viabilidade Prática: O estudo demonstra que marcas d'água de baixa densidade podem ser implantadas sem degradar a experiência do usuário, fornecendo um método prático para auditar distilação não autorizada via consultas de caixa-preta.

Os autores permanecem modestos quanto ao escopo, notando que o modelo de ameaça atual foca em paráfrase não adaptativa do lado do prompt. Eles identificam a reescrita do lado da resposta e ataques adaptativos como problemas abertos para trabalho futuro. Além disso, o efeito de "amplificação" observado no OLMo (onde o estudante supera o professor) é tratado como uma observação de família única que requer maior fundamentação empírica, e não como uma propriedade universal.