Anchored Sliding Window: Toward Robust and Imperceptible Linguistic Steganography

Este artigo propõe o framework de Janela Deslizancante Ancorada (ASW), que melhora a robustez e a imperceptibilidade da esteganografia linguística ao ancorar o prompt e um contexto de ponte na janela de contexto, permitindo que o modelo compense tokens excluídos e superando as limitações de qualidade dos métodos anteriores.

O essencial

Imagine que você e seu amigo têm um segredo que precisam passar um para o outro em um mundo onde um "vigia" (como um censor ou hacker) está lendo todas as suas mensagens.

Se vocês usarem um código secreto (criptografia), o vigia vai ver que há algo estranho na mensagem e bloqueá-la. Mas, se vocês usarem esteganografia linguística, o segredo fica escondido dentro de uma conversa normal. Parece apenas um texto sobre jogos ou comida, mas na verdade carrega uma mensagem secreta.

O problema é que os métodos atuais são como castelos de cartas: se o vigia mudar apenas uma palavra ou apagar uma letra da mensagem, todo o castelo desmorona e o segredo se perde. Isso acontece porque os modelos de linguagem (a "inteligência" que gera o texto) dependem de todo o histórico da conversa para entender o que dizer a seguir. Se o histórico for alterado, a previsão muda e o segredo some.

Aqui entra o novo método proposto neste artigo, chamado Janela Deslizante Ancorada (ASW). Vamos usar uma analogia para entender como funciona:

1. O Problema: A Memória Curta e o Perigo

Imagine que você está contando uma história para seu amigo, mas o vigia pode rasgar pedaços do papel onde você escreve.

• Método Antigo (WinStega): Para evitar que o vigia rasgue o papel, vocês decidem contar apenas os últimos 10 segundos da história. Se o vigia rasgar algo antes disso, não importa.
  • O defeito: A história fica sem sentido! "E aí, o cara foi... e depois... e depois..." (sem contexto, o texto fica ruim e o vigia percebe que é estranho).
• Método Tradicional: Vocês contam a história inteira.
  • O defeito: Se o vigia rasgar o começo, o resto da história fica confuso e o segredo se perde.

2. A Solução: A Janela Deslizante Ancorada (ASW)

Os autores criaram um sistema inteligente que é como ter um guia de viagem e um espaço de memória ao mesmo tempo.

A "janela" de texto que o computador usa para pensar é dividida em três partes:

1. A Âncora (O Prompt): É o início da conversa (ex: "Liste os 10 jogos mais populares"). Isso é fixo e não pode ser alterado pelo vigia. É como a capa do livro.
2. A Ponte (Bridge Context): Esta é a parte genial. Entre a capa e o que está sendo escrito agora, existe um "espaço vazio" que o computador preenche com uma frase mágica ou um vetor matemático.
   • Analogia: Imagine que você está contando uma história, mas esqueceu o meio. Em vez de inventar algo aleatório, você diz: "E então aconteceu algo importante que eu não vou contar agora, mas que me levou a..."
   • O computador é treinado para imaginar o que faltou. Ele aprende a preencher essa lacuna mentalmente para que a história continue fazendo sentido, mesmo que o texto original tenha sido cortado.
3. Os Últimos Tokens: É o que está sendo escrito agora (os últimos 10 segundos).

3. Como eles ensinaram o computador a fazer isso?

Eles usaram uma técnica chamada Auto-Distilação.
Imagine que o computador tem dois "cérebros":

• O Professor (Cérebro Cheio): Ele vê a história inteira (o texto completo, sem cortes).
• O Aluno (Cérebro com Janela): Ele vê apenas a Âncora + a Ponte + os Últimos Tokens.

O objetivo é treinar o "Aluno" para que ele pense e fale exatamente como o "Professor", mesmo sem ver o texto completo. Eles ajustam a "Ponte" (a frase mágica ou o código matemático) até que o Aluno consiga adivinhar perfeitamente o que o Professor diria.

Por que isso é incrível?

• Robustez (Resistência): Se o vigia rasgar o meio do texto, a "Ponte" ajuda o computador a lembrar o que deveria ter acontecido. O segredo não se perde.
• Imperceptibilidade (Discrição): Como o computador foi treinado para "imaginar" o que falta, o texto final soa natural e fluido. Não parece um texto cortado ou estranho. O vigia não consegue detectar que há um segredo ali.
• Qualidade: O texto gerado é muito melhor do que os métodos antigos que cortavam tudo.

Resumo em uma frase

O ASW é como dar ao computador um "mapa mental" (a Ponte) que permite que ele conte uma história perfeita e esconda segredos, mesmo que alguém tente apagar partes do papel onde a história está escrita. É uma forma inteligente de manter a conversa fluindo e o segredo seguro, mesmo sob ataque.

Resumo técnico

Título: Janela Deslizante Ancorada (ASW): Rumo a uma Esteganografia Linguística Robusta e Imperceptível

1. O Problema

A esteganografia linguística baseada em Modelos de Linguagem (LLMs) visa esconder mensagens secretas em texto natural. No entanto, as abordagens existentes enfrentam um dilema fundamental entre imperceptibilidade (qualidade do texto e indetectabilidade) e robustez (resistência a alterações externas).

• Fragilidade: A maioria dos métodos assume que o texto esteganográfico (stegotext) é transmitido sem alterações. Como os LLMs usam inferência autoregressiva, a modificação de um único token (ex: substituição, deleção ou inserção por um atacante) pode desalinhar toda a sequência subsequente, corrompendo a extração da mensagem secreta.
• Limitações das Soluções Atuais: Trabalhos anteriores, como o WinStega, tentaram mitigar isso limitando a janela de contexto apenas aos tokens mais recentes. Embora isso garanta robustez (alterações fora da janela não afetam a inferência), a exclusão do prompt original e do contexto inicial degrada drasticamente a qualidade do texto gerado, tornando-o artificial e perceptível.

2. Metodologia Proposta: Janela Deslizante Ancorada (ASW)

Os autores propõem o framework ASW (Anchored Sliding Window), que reestrutura a janela de contexto usada durante a inferência para equilibrar robustez e qualidade.

A janela de contexto no ASW é composta por três segmentos concatenados:

1. Prompt Ancorado: O prompt original (mantido fixo no início), essencial para a coerência semântica.
2. Contexto Ponte (Bridge Context): Um segmento intermediário projetado para "preencher" a lacuna deixada pelos tokens excluídos, ajudando o modelo a imaginar o conteúdo ausente.
3. Tokens Mais Recentes: A janela deslizante padrão contendo os últimos $w$ tokens gerados.

Estratégias de Implementação do "Contexto Ponte":

• Contexto Ponte Rígido (Hard Bridge Context):

  • Utiliza tokens discretos (texto legível) como marcadores de espaço reservado (ex: "[CONTEXTO TRUNCADO]\n").
  • Intuição: Sinalizar explicitamente ao modelo que parte do histórico foi removida, permitindo que ele use pistas semânticas para compensar a ausência.
  • Resultado: Reduz a divergência KL (Kullback-Leibler) entre a inferência com contexto completo e a inferência com janela limitada.

• Contexto Ponte Suave (Soft Bridge Context) via Auto-Distilação:

  • Substitui os tokens discretos por vetores de incorporação contínuos e ajustáveis ($\theta_{bridge}$).
  • Treinamento: Utiliza uma estratégia de auto-distilação.
    • Professor: O modelo gera logits baseados no contexto completo (full context).
    • Aluno: O modelo gera logits baseados na janela ASW (com o contexto ponte suave).
  • Objetivo: Minimizar a divergência KL (especificamente a KL Direta ou Reversa) entre as distribuições de probabilidade do professor e do aluno, otimizando o contexto ponte para que a inferência com janela limitada imite a de contexto completo.

3. Contribuições Chave

1. Novo Framework de Janela: Introdução da ASW, que mantém o prompt e adiciona um contexto ponte, superando a abordagem de "janela puramente deslizante" que ignora o histórico inicial.
2. Otimização de Contexto Ponte: Demonstração de que um contexto ponte bem projetado (seja rígido ou suave) é crucial para a imperceptibilidade.
3. Auto-Distilação para Esteganografia: Adaptação de técnicas de distilação de conhecimento para otimizar vetores de contexto suave, permitindo que o modelo "compense" tokens perdidos sem re-treinar todo o LLM.
4. Análise de Robustez: Prova teórica e experimental de que o ASW é menos sensível a modificações externas do que métodos baseados apenas em janelas deslizantes, pois evita a dependência de tokens fora da janela para cálculos de entropia (um problema no WinStega).

4. Resultados Experimentais

Os experimentos foram realizados utilizando o modelo Qwen2.5-7B-Instruct e diversos conjuntos de dados (InstructionWild, Databricks-Dolly, etc.), comparando o ASW com o WinStega e métodos de contexto completo.

• Qualidade do Texto e Imperceptibilidade:

  • O ASW superou consistentemente o WinStega.
  • Melhoria no ROUGE-L: Aumento de 104,08% em relação ao WinStega (usando contexto ponte suave treinado com KL Direta).
  • Perplexidade ($\Delta$PPL): Redução drástica de 31.486 (WinStega) para 0.201 (ASW otimizado), indicando que o texto gerado é quase indistinguível de texto natural.
  • Detecção (Steganalysis): O ASW reduziu a precisão de detecção de esteganálise de 95,5% para 74,5%, tornando-se muito mais difícil de detectar.

• Robustez:

  • Em cenários de ataque ativo (modificação de $m$ tokens), o ASW manteve uma taxa de inferência não afetada significativamente maior que o WinStega em várias configurações de tamanho de janela ($w$).
  • O ASW demonstrou ser robusto independentemente de usar contexto ponte rígido ou suave.

• Capacidade de Embutimento:

  • O ASW com contexto ponte suave treinado com KL Direta alcançou uma capacidade de embutimento superior (1,606 bits/token) em comparação com o WinStega (1,995 bits/token, mas com qualidade muito inferior) e outras variantes, mantendo alta qualidade. A KL Direta é "mass-covering" (cobre a massa de probabilidade), preservando a diversidade de tokens candidatos.

• Generalização:

  • Os resultados foram consistentes em diferentes tamanhos de modelos (3B, 7B, 14B) e datasets, mostrando que o benefício do ASW aumenta com a escala do modelo.

5. Significância e Conclusão

O trabalho resolve um dos principais gargalos da esteganografia linguística moderna: a trade-off entre segurança (robustez) e qualidade (imperceptibilidade).

• Impacto Prático: O framework ASW permite que mensagens secretas sejam transmitidas em canais não confiáveis (onde o texto pode ser alterado por firewalls, corretores ortográficos ou adversários) sem que a qualidade do texto se degrade a ponto de levantar suspeitas.
• Inovação Técnica: A aplicação de auto-distilação para otimizar vetores de contexto ("soft prompts") para compensar a perda de informação em janelas limitadas é uma contribuição metodológica valiosa para a área de LLMs e segurança.
• Conclusão: O ASW estabelece um novo estado da arte, demonstrando que é possível ter esteganografia robusta e imperceptível simultaneamente, superando as limitações de métodos anteriores que sacrificavam a qualidade do texto pela segurança.

O código do projeto está disponível publicamente, facilitando a reprodução e o avanço futuro na área.