Resumo Técnico: SLAM (Marcação de Ativação Linguística Estrutural)

Declaração do Problema

A implantação generalizada de Modelos de Linguagem de Grande Escala (LLMs) exige atribuição de proveniência confiável para distinguir texto gerado por IA de conteúdo escrito por humanos. Os esquemas de marcação d'água atuais enfrentam um compromisso fundamental entre detectabilidade, qualidade do texto e robustez.

Os paradigmas dominantes (por exemplo, KGW, EWD, Unigram) operam enviesando a distribuição do próximo token do modelo (por exemplo, via seleção de tokens da lista verde). Embora eficientes, essa abordagem incorre em um custo de qualidade mensurável: nos modelos Gemma-2, esses métodos perdem 7,5–11,5 pontos de recompensa e exibem razões de perplexidade condicional colapsadas (0,30–0,42), indicando saída repetitiva e antinatural. Por outro lado, métodos recentes baseados em autoencoders esparsos (SAE), como o SAEMark, alcançam qualidade quase sem perdas, mas sofrem com alta sobrecarga computacional (amostragem de $N=50$ candidatos por etapa) e vulnerabilidade a mudanças semânticas e edições simples de texto.

Metodologia: SLAM

O SLAM (Marcação de Ativação Linguística Estrutural) propõe um esquema de marcação d'água de caixa branca que desacopla a detecção do viés de frequência de tokens. Em vez de alterar quais tokens são amostrados, o SLAM escreve a marca d'água na geometria estrutural do fluxo residual do modelo.

Mecanismo Central

1. Mineração de Características Estruturais:

   • Os autores constroem um conjunto de dados contrastivo de 46.579 pares de frases cobrindo 104 fenômenos linguísticos (alternâncias sintáticas, tempo, morfologia, discurso). Esses pares mantêm o conteúdo semântico constante enquanto variam as formas estruturais (por exemplo, voz ativa vs. passiva).
   • Usando Autoencoders Esparsos (SAEs) treinados no fluxo residual, o método identifica subespaços específicos e localizados que codificam essas características estruturais.
   • Um mecanismo de pontuação composto (magnitude contrastiva $\times$ pureza $\times$ consistência entre domínios) isola direções SAE que são robustamente responsivas a mudanças estruturais, em vez de conteúdo semântico.

2. Construção de Direção (SVD):

   • Para fenômenos onde conceitos estruturais estão distribuídos por múltiplas características fracamente discriminativas (comum em modelos maiores como Gemma-2 9B), o SLAM realiza a Decomposição em Valores Singulares (SVD) na matriz de diferença contrastiva.
   • Isso produz $k$ modos estruturais ortogonais. O método suporta tanto o direcionamento de característica única ($k=1$) quanto o direcionamento de subespaço composto ($k>1$), permitindo que ele escale efetivamente para modelos maiores.
   • Mineração Bidirecional: O sistema minera direções tanto para a estrutura-alvo quanto para sua inversa, dobrando o pool de direções direcionáveis para reduzir taxas de colisão durante a seleção.

3. Direcionamento Causal e Injeção:

   • No momento da geração, o SLAM conecta-se ao fluxo residual em camadas específicas (determinadas pela camada de ativação máxima do fenômeno).
   • Ele adiciona um vetor escalado ($\alpha \cdot v_{estrutura}$) ao fluxo residual dos tokens recém-gerados. Isso enviesam o modelo a produzir uma variante sintática específica (por exemplo, voz passiva) sem restringir a escolha lexical de tokens individuais.
   • Seleção de Características: Um subconjunto de características por documento é selecionado via amostragem ponderada keyed por HMAC para garantir unicidade e segurança.
   • Geração com Parada Antecipada: O sistema gera até $N=4$ candidatos e retorna o primeiro que ultrapassa um limiar de detecção calibrado ($\hat{z} \ge 2.0$), reduzindo significativamente a sobrecarga em comparação com métodos de pontuação de candidatos.

4. Detecção:

   • A detecção requer uma única passagem forward do modelo. As ativações do fluxo residual são projetadas nas direções estruturais pré-calculadas para calcular um escore $z$ de Stouffer.
   • Nenhuma passagem forward do SAE é necessária no momento da detecção, tornando o processo computacionalmente eficiente.

Principais Contribuições

1. Pipeline de Mineração Contrastiva: Um pipeline que isola direções estruturais SAE via uma pontuação composta em 104 fenômenos e 5 domínios semânticos, garantindo invariância de domínio.
2. Direções Estruturais Bidirecionais PCA: Um método baseado em SVD para construir direções compostas ortogonais ($k>1$), permitindo que o SLAM lide com representações estruturais distribuídas em modelos maiores (9B+) e oferecendo um compromisso ajustável entre qualidade e detecção.
3. Esquema de Caixa Branca Eficiente: Um sistema completo de marcação d'água com seleção keyed por HMAC e um loop de geração com parada antecipada. Requer uma ordem de magnitude menos chamadas de LLM que o SAEMark ($N \le 4$ vs. $N=50$) e opera com uma sobrecarga modesta ($\sim 1,6\times$ tempo de geração).
4. Validação Empírica: Avaliação abrangente em Gemma-2 2B e 9B contra seis baselines em quatro famílias de métricas de qualidade e sete ataques de robustez.

Resultados Experimentais

Avaliado em modelos pré-treinados Gemma-2 2B e 9B:

• Desempenho de Detecção: O SLAM alcança 100% de Taxa de Verdadeiros Positivos (TPR) a uma Taxa de Falsos Positivos (FPR) de 2,3% em ambos os tamanhos de modelo.
• Preservação de Qualidade:
  • Lacuna de Recompensa: O SLAM incorre em uma penalidade de recompensa de apenas $\Delta$Recompensa = -1,3 (2B) e -1,9 (9B). Isso é significativamente menor que as baselines de distribuição de tokens (KGW, EWD, Unigram), que perdem 7,5–11,5 pontos.
  • Naturalidade: O SLAM preserva métricas de distribuição de saída (distinct-n, Self-BLEU, MAUVE) e razões de perplexidade condicional (1,24/1,36) muito mais próximas da baseline sem marca d'água do que outros métodos. Ao contrário dos métodos de distribuição de tokens, ele não induz texto repetitivo (colapso da razão PPL).
  • Gramática: As taxas de erro gramatical permanecem próximas aos níveis de baseline.
• Perfil de Robustez:
  • Ataques em Nível de Palavra: O SLAM é 100% robusto a substituição de sinônimos, exclusão de palavras, substituição de palavras e reordenação de frases.
  • Ataques de Parafraseamento: O SLAM é vulnerável a parafraseamento de reestruturação sintática (por exemplo, DIPPER), onde a TPR cai para ~10–12%. No entanto, o artigo observa que tais ataques impõem um custo de qualidade ao atacante (degradando o texto), e essa vulnerabilidade é o inverso dos métodos de distribuição de tokens (que são robustos a parafraseamento, mas vulneráveis a edições em nível de palavra).

Significado e Alegações

O artigo afirma que o SLAM demonstra que qualidade e detecção não precisam ter um compromisso quando a marca d'água é codificada no nível apropriado de abstração linguística (geometria estrutural vs. frequências de tokens).

• Insight Mecanístico: Ao direcionar qual variante estrutural o modelo produz, em vez de quais tokens ele amostra, o SLAM deixa a superfície lexical e o significado semântico essencialmente sem restrições. Isso explica seu desempenho superior em modelos de recompensa, perplexidade e métricas de diversidade.
• Robustez Complementar: O artigo posiciona a vulnerabilidade do SLAM ao parafraseamento de reestruturação sintática como um custo calculado e aceitável para alcançar qualidade de geração quase sem perdas, contrastando com a assinatura de "texto repetitivo" dos métodos de enviesamento de tokens.
• Escalabilidade: O uso de subespaços compostos ($k>1$) é identificado como o habilitador crítico para escalar a marcação d'água estrutural para modelos maiores onde as características estão distribuídas.

Os autores concluem que, embora o SLAM exija acesso de caixa branca e seja sensível a reescrita estrutural severa, ele oferece um equilíbrio superior de detectabilidade e preservação de qualidade para atribuição de proveniência em comparação com abordagens existentes de distribuição de tokens e pontuação semântica.