Resumo Técnico: SIGIL – Injeção Sutil para Inferência de Veracidade de Dados de Treinamento de LLM

1. Declaração do Problema

Os corpora de treinamento de Modelos de Linguagem de Grande Escala (LLMs) de fronteira frequentemente incorporam vastas quantidades de textos extraídos da web sem o consentimento dos autores, levando a litígios significativos de direitos autorais. Uma barreira técnica crítica nesses processos judiciais é a ausência de um método forense rigoroso para provar que um documento específico foi incluído no conjunto de treinamento de um modelo.

Os atuais ataques de inferência de membros (MIAs) operam post-hoc, tentando detectar a memorização em modelos já treinados. Esses métodos sofrem de baixas relações sinal-ruído porque dependem da memorização incidental de conteúdos arbitrários. Além disso, carecem de Taxas de Falso Positivo (FPR) formalmente controladas, um requisito para admissibilidade em tribunal. Há uma necessidade de uma abordagem proativa onde os proprietários de conteúdo controlem o sinal, garantindo detectabilidade enquanto mantêm a imperceptibilidade e o rigor estatístico.

2. Metodologia: O Framework SIGIL

O SIGIL (Subtle Injection for Ground-truth Inference of LLM training data) propõe um framework proativo onde proprietários de conteúdo incorporam sequências "canário" imperceptíveis em textos e códigos protegidos antes da liberação pública. Se um modelo for treinado nestes documentos com marca d'água, ele exibirá assinaturas comportamentais estatisticamente detectáveis quando provocado por consultas direcionadas.

2.1 Estrutura Estatística Formal

O núcleo do SIGIL é um framework de teste de hipóteses fundamentado no lema de Neyman-Pearson, projetado para controlar estritamente a Taxa de Falso Positivo (FPR).

• Hipóteses:
  • $H_0$: O modelo $M$ não foi treinado no corpus com marca d'água $D'$.
  • $H_1$: O modelo $M$ foi treinado em $D'$.
• Pontuação de Inferência de Membro (MIS): A métrica de decisão é definida como $MIS(M) = \Phi^{-1}(1 - p_{Welch})$, onde $p_{Welch}$ é o valor-p do teste t de Welch unilateral comparando as log-probabilidades das consultas de prova canário ($x_P$) contra as consultas de controle correspondentes ($x_N$).
  • Sob $H_0$, $MIS \sim N(0, 1)$ assintoticamente, permitindo o controle exato da FPR (ex: limiar 1.645 para $\alpha=0.05$).
• Imperceptibilidade: Definida como $I(d, d') = (1 - \text{distância de edição normalizada}) \cdot (1 - P_h)$, onde $P_h$ é a probabilidade de detecção humana. O framework exige que $I > 0.75$.

2.2 Taxonomia de Estratégias Canário

O SIGIL define cinco estratégias canário, cada uma calibrada contra a literatura empírica de inferência de membro para maximizar a vantagem de detecção ($\Delta_s$):

1. Lexical-Rare (Token Raro): Inserção de palavras reais da língua inglesa de baixa frequência (ex: "vellichor") em contextos naturais.
2. Lexical-Phrase (Frase Canário): Frases sintaticamente corretas, mas semanticamente novas, inseridas como parênteses.
3. Sintática: Inversão sistemática da ordem adjetivo-substantivo em frases específicas.
4. Semântica (Tópico Semântico): Aumentos com alegações de domínio factualmente plausíveis, porém distintas (ex: "atribuição baseada em lattice como o padrão ouro").
5. Padrão de Código (Code-Pattern): Identificadores únicos incorporados em docstrings de funções e comentários inline.

2.3 Simulação e Calibração

Os autores utilizaram um simulador calibrado contra dados empíricos (especificamente Carlini et al. [2] e Shi et al. [14]) para modelar distribuições de log-probabilidade.

• Hipótese Nula ($H_0$): As log-probabilidades seguem $N(0.5, \sigma^2)$ com $\sigma=0.155$.
• Hipótese Alternativa ($H_1$): A média é deslocada por uma função da taxa de injeção ($r$), razão de mistura ($m$), fator de tamanho do modelo ($f_{size}$) e vantagem da estratégia ($\Delta_s$).
• Desenho Experimental: 36.000 tentativas através de 5 taxas de injeção, 4 razões de mistura, 3 tamanhos de modelo, 7 condições de defesa adversarial e 5 estratégias.

3. Principais Contribuições

1. Definição Formal de MIS: Uma Pontuação de Inferência de Membro com garantias estatísticas de Neyman-Pearson, permitindo evidências admissíveis em tribunal com FPR controlado.
2. Taxonomia Proativa: Uma classificação de cinco estratégias canário com vantagens de detecção calibradas derivadas da literatura empírica.
3. Avaliação Abrangente: Testes sistemáticos através de 36.000 tentativas cobrindo taxas de injeção, tamanhos de modelo e defesas adversariais.
4. Robustez à Parafraseagem: A primeira demonstração de que a detecção baseada em canário mantém alto desempenho ($AUC > 0.86$) mesmo sob 100% de parafraseagem, atribuído ao "vazamento semântico".

4. Resultados Experimentais

A simulação gerou um AUC (Área Sob a Curva) geral de 0.892.

• Desempenho das Estratégias:
  • Padrão de Código (Code Pattern) alcançou o maior AUC (0.903, Cohen's $d=1.84$) e a maior imperceptibilidade ($I=0.932$).
  • Frase Canário (Canary Phrase) empatou em segundo lugar com o maior AUC (0.900) e a maior taxa de detecção por estratégia (59.8%).
  • Estrutura Sintática teve o menor AUC (0.875) e vantagem de detecção.
• Efeitos de Fatores: Taxa de injeção, tamanho do modelo, estratégia canário e razão de mistura tiveram efeitos independentes significativos na MIS ($p < 0.001$).
  • As taxas de detecção variaram de 33% a 78% dependendo das condições.
  • Com 10% de injeção em um modelo de 7B, as taxas de detecção atingiram 77.8%.
• Robustez a Defesas:
  • Sob 100% de parafraseagem, o SIGIL manteve um AUC de 0.864. Isso é atribuído ao vazamento semântico, onde associações tópicas codificadas nos pesos do modelo sobrevivem à reescrita de superfície.
  • O framework permaneceu eficaz contra deduplicação exata, quase-deduplicação (MinHash) e limpeza heurística.

5. Significância e Alegações

O artigo posiciona o SIGIL como uma ponte entre a detectabilidade teórica e a evidência forense implementável. Sua principal significância reside em três áreas:

1. Admissibilidade Judicial: Ao contrário de ataques probabilísticos anteriores, o SIGIL oferece FPR formalmente controlado. Em $\alpha=0.01$, o framework alcança uma razão de verossimilhança de aproximadamente 73:1 a favor da presença de dados de treinamento para modelos grandes com 10% de injeção, excedendo o limiar do fator de Bayes comumente citado como "evidência forte" em estatística forense.
2. Controle Proativo: Ele muda o paradigma da observação passiva para o controle ativo de sinal. Proprietários de conteúdo podem incorporar sinais imperceptíveis que são estatisticamente distinguíveis do ruído, mesmo se o adversário tentar removê-los.
3. Resiliência Semântica: O framework demonstra que a detecção não depende apenas da memorização literal. Ao alavancar associações semânticas (via canários de Tópico Semântico), o SIGIL sobrevive à parafraseagem agressiva, abordando uma limitação importante da marca d'água lexical.

Os autores concluem que, embora os resultados atuais sejam baseados em um simulador calibrado, o framework fornece uma base rigorosa para futura validação empírica em LLMs reais e oferece um caminho viável para a proteção de Propriedade Intelectual (IP) na era da extração de dados não consentida.