OD-Stega: LLM-Based Relatively Secure Steganography via Optimized Distributions

Resumo Técnico: OD-Stega

Definição do Problema
O artigo aborda o desafio da esteganografia sem cobertura (coverless steganography) utilizando Grandes Modelos de Linguagem (LLMs). Neste cenário, um remetente (Alice) gera um texto contendo uma mensagem secreta oculta, que é transmitida para um receptor (Bob) através de um canal público monitorado por um espião (Eve). O objetivo principal é maximizar a utilização de embutimento (o número de bits secretos ocultos por token) enquanto mantém a naturalidade do texto gerado (imperceptibilidade).

A esteganografia tradicional baseada em LLM depende da Codificação Aritmética (AC), onde a mensagem secreta direciona a amostragem de tokens com base na distribuição de probabilidade nativa do LLM. No entanto, os LLMs frequentemente produzem saídas altamente determinísticas (baixa entropia), o que limita a quantidade de informação que pode ser ocultada. Além disso, os métodos existentes frequentemente assumem um regime de "segurança perfeita", onde o texto esteganográfico deve ser indistinguível do texto natural sob qualquer capacidade de detecção. Os autores argumentam que, em muitos cenários práticos, Eve é um "detector fraco" (por exemplo, computacionalmente limitado ou com restrições de atraso), permitindo uma relaxação das restrições de segurança para alcançar uma maior capacidade de embutimento. Isso leva ao conceito de esteganografia relativamente segura.

Metodologia
O núcleo do método proposto, OD-Stega (Optimized Distribution Steganography), envolve a substituição da distribuição de probabilidade nativa do LLM $P$ por uma distribuição otimizada $Q$ que possui maior entropia, sujeita a uma restrição de divergência entre $Q$ e $P$.

1. Formulação de Otimização:
   O problema é formulado como a maximização da entropia de Shannon $H(Q)$ da distribuição de substituição $Q$, sujeita a uma restrição de divergência $D(Q || P) \leq \delta$, onde $\delta$ representa o desvio permitido (orçamento de segurança) baseado nas capacidades de detecção de Eve. Os autores consideram duas medidas de divergência:

   • Divergência de Kullback-Leibler (KL): Uma solução de forma fechada é derivada onde a $Q$ ótima é obtida aplicando escalonamento de temperatura (temperature scaling) aos logits da distribuição original $P$. Especificamente, $Q$ corresponde a $P$ escalonada por um parâmetro de temperatura $T \geq 1$.
   • Distância de Variação Total (TV): A solução ótima segue um procedimento de "preenchimento de água" (water-filling), onde a massa de probabilidade é redistribuída de tokens de alta probabilidade para tokens de baixa probabilidade para equalizar as probabilidades até um certo limiar, efetivamente achatando a distribuição.

2. Seleção Adaptativa de Parâmetros:
   Para evitar a geração de texto não natural (especialmente em contextos de baixa entropia, onde as escolhas de tokens são quase determinísticas), o orçamento de divergência $\delta$ não é fixo globalmente. Em vez disso, ele é definido adaptativamente como uma função da entropia do token atual: $\delta_i = C \cdot H(P_i)$, onde $C$ é uma constante ajustável.

3. Soluções de Engenharia Prática:
   O artigo aborda três questões práticas críticas:

   • Incompatibilidade de Tokenização: Tokenizadores padrão não garantem uma sequência de tokens única para um determinado texto (ex: "mountain" vs. "mount" + "ain"). Os autores propõem uma estratégia de seleção de prompt onde Alice faz o preâmbulo de uma sequência curta de "bits fictícios" ($B$) à mensagem secreta. Ela itera através de combinações de $B$ até que o texto esteganográfico resultante possa ser corretamente tokenizado e decodificado por Bob, que então descarta $B$.
   • Truncamento de Vocabulário: Para reduzir a complexidade computacional, o vocabulário é truncado para os $N_\epsilon$ principais tokens (onde a probabilidade cumulativa é $1-\epsilon$). Os autores provam que a divergência KL total é aditiva através das etapas de truncamento e otimização, permitindo o controle preciso do orçamento de segurança global.
   • Integração com Métodos Não-AC: O método mostra-se compatível com técnicas existentes que não dependem estritamente de codificação aritmética, como o Discop (que utiliza cópias de distribuição). A distribuição otimizada é aplicada antes da etapa de codificação nesses frameworks.

Principais Contribuições

• Formulação Teórica: O artigo estabelece que maximizar a capacidade de embutimento sob uma restrição de segurança é equivalente a maximizar a entropia da distribuição de tokens sujeita a uma restrição de divergência. Ele fornece soluções de forma fechada tanto para restrições KL quanto para TV.
• Framework OD-Stega: Um sistema prático que integra distribuições otimizadas com codificação aritmética, abordando erros de tokenização via um loop de verificação e gerenciando custos computacionais via truncamento de vocabulário.
• OD-Discop: Uma demonstração de que a técnica de otimização pode ser universalmente aplicada para melhorar a utilidade de embutimento de outros métodos esteganográficos, especificamente a técnica Discop.
• Validação Empírica: Experimentos extensos utilizando modelos LLaMA2-7B e GPT2-XL, avaliando a utilização de embutimento, taxas de detecção contra ferramentas de esteganálise de última geração (FCN, SESY, GS-Llama) e percepção humana via GPT-4.

Resultados Experimentais

• Utilização de Embutimento: Os experimentos demonstram um trade-off significativo entre segurança e capacidade. Ao aumentar o parâmetro $C$ (que aumenta a divergência $\delta$), o número de bits embutidos por 25 tokens aumenta substancialmente.
  • Com uma restrição estrita ($C=0.01$, simulando um detector forte), a utilização de embutimento aumentou aproximadamente 20% em comparação com os métodos de truncamento de linha de base.
  • Com uma restrição relaxada ($C=0.05$, simulando um detector fraco), a utilização aumentou em até 55%.
• Desempenho de Esteganálise: Quando testado contra detectores FCN, SESY e GS-Llama:
  • Para valores baixos de $C$, os textos esteganográficos foram amplamente indistinguíveis do texto natural de LLM (taxas de detecção próximas ao acaso).
  • À medida que $C$ aumentou, as taxas de detecção subiram, confirmando a natureza controlável da degradação de segurança.
• Avaliação de Percepção: Avaliações do GPT-4 mostraram uma correlação entre o parâmetro de divergência e a probabilidade de o texto ser sinalizado como não humano, consistente com os resultados de esteganálise.
• Robustez de Tokenização: O método de verificação de preenchimento de bits proposto resolveu com sucesso as incompatibilidades de tokenização sem exigir enumeração exaustiva.

Significância e Alegações
O artigo afirma que o OD-Stega fornece uma abordagem fundamentada para a esteganografia relativamente segura, oferecendo uma liberdade de design que equilibra capacidade de embutimento e detectabilidade. Diferente de métodos de "segurança perfeita" que podem ser limitados pela baixa entropia da geração de linguagem natural, o OD-Stega explora explicitamente as limitações do espião (Eve) para maximizar o ocultamento de informação.

Os autores enfatizam que seu método é universal, capaz de melhorar esquemas baseados em AC e não-AC (como o Discop). Eles posicionam a divergência KL (ou distância TV) não apenas como uma métrica teórica, mas como uma alavanca de controle prática (hiperparâmetro) que permite aos engenheiros ajustar o sistema com base no modelo de ameaça e nos requisitos da aplicação. O trabalho reconhece limitações, observando que a otimização é realizada token a token sem visão de longo prazo (devido aos custos computacionais) e que o "limiar de imperceptibilidade" é tratado como um parâmetro ajustável em vez de um modelo perceptual aprendido.