Resumo Técnico: Deixe que Eles Roubem: Aprisionando Ataques de Extração de Grandes Modelos de Linguagem com Armadilha de Conhecimento

1. Declaração do Problema

Grandes Modelos de Linguagem (LLMs) implantados como APIs de código fechado são vulneráveis a Ataques de Extração de Modelo (MEAs). Nesses ataques, os adversários consultam a API para coletar pares de entrada-saída, utilizando aprendizado ativo para destilar um modelo substituto de alta fidelidade a uma fração do custo de treinamento original.

As defesas existentes enfrentam um trade-off crítico:

• Defesas passivas (ex: detecção de consulta, marca d'água) preservam a utilidade para usuários legítimos, mas só intervêm após a extração ter ocorrido ou falham em prevenir a aquisição inicial de conhecimento.
• Defesas ativas (ex: perturbação de saída, prova de trabalho) interferem durante a extração, mas tipicamente degradam a qualidade da resposta para usuários benignos, prejudicando a utilidade comercial do modelo.

Os autores identificam uma assimetria fundamental: a principal restrição do atacante é um orçamento de consultas limitado. Os MEAs modernos dependem de aprendizado ativo para maximizar o ganho de informação por consulta. As defesas atuais falham em explorar essa restrição, ou reagem tarde demais ou degradam a utilidade. O artigo postula que uma defesa prática deve redirecionar o orçamento limitado do atacante para um conhecimento que seja factualmente correto, mas com utilidade subsequente negligenciável para a tarefa alvo, sem afetar usuários legítimos.

2. Metodologia: Armadilha de Conhecimento (Knowledge Trap)

A defesa proposta, Knowledge Trap, redireciona ataques de extração para conhecimento de baixa transferibilidade usando um Grafo de Conhecimento de Isca (Honeypot Knowledge Graph - HKG) e um mecanismo de exploração guiada por migalhas de pão (breadcrumb-guided exploration).

2.1 Taxonomia do Conhecimento

Os autores definem dois subconjuntos do conhecimento $K$ do modelo:

• Conhecimento Crítico para a Tarefa ($K_c$): Conhecimento essencial para tarefas subsequentes (ex: raciocínio clínico para QA médico). É o que o defensor deve proteger.
• Conhecimento de Baixa Transferibilidade ($K_0$): Conhecimento factualmente correto que gera melhoria negligenciável em tarefas subsequentes (ex: curiosidades históricas, detalhes procedimentais obsoletos, taxonomia de nicho).

2.2 Construção do Grafo de Conhecimento de Isca (HKG)

O HKG é um grafo direcionado construído a partir de $K_0$, projetado para atrair atacantes baseados em aprendizado ativo.

• Seleção de Conteúdo: Os nós consistem em "minúcias históricas" (convenções obsoletas), "taxonomia periférica" (classificações não transferíveis) e "registros procedimentais de nicho".
• Filtro de Transferibilidade: Candidatos são filtrados usando um filtro de palavras-chave e um modelo de sondagem para garantir que forneçam ganho de utilidade zero ($\le \delta$) quando usados para realizar o ajuste fino (fine-tuning) de um modelo substituto.
• Estrutura do Grafo: Cada nó é emparelhado com uma pergunta de domínio e uma resposta factualmente correta. As arestas codificam relações de acompanhamento semântico onde a resposta ao nó $v_i$ contém o nome do tópico do nó $v_j$ como uma entidade provavelmente a ser extraída como um alvo de consulta futura.
• Loop de Auto-reforço: O grafo impõe um grau de saída mínimo ($d_{min}=3$), garantindo que, uma vez que o atacante entre no HKG, os pipelines de expansão de entidades naveguem naturalmente para nós adjacentes, criando um loop que consome o orçamento sem se aproximar de $K_c$.

2.3 Mecanismo de Detecção e Atração

A defesa opera em três estágios:

1. Detecção: Um escore de suspeita $s_t$ é computado para cada consulta recebida com base em três sinais observáveis:
   • Comprimento: Consultas longas e estruturadas.
   • Palavras-chave: Termos associados à extração (ex: "definir", "explicar").
   • Tempo: Atividade de consulta sustentada dentro de uma sessão.
2. Injeção de Migalhas de Pão (Breadcrumb Injection): Se $s_t$ exceder um limiar $\tau$, o defensor anexa uma "migalha de pão" à resposta. Esta é uma frase curta e parafraseada que introduz um nó específico do HKG como um tópico de acompanhamento relevante. Para evitar a filtragem de templates, 20 templates diversos são amostrados uniformemente.
3. Aprisionamento: Uma vez que o atacante consulta o nó do HKG introduzido, o sistema serve a resposta do HKG. Como esses conceitos não são vistos pelo modelo substituto, a função de aquisição baseada em incerteza do atacante atribui-lhes pontuações altas, fazendo com que as consultas subsequentes sejam alocadas inteiramente dentro do HKG.

2.4 Garantia Teórica

O artigo fornece um limite inferior para a fração do orçamento do atacante consumida pelo HKG. Sob a suposição de que o modelo substituto é pelo menos tão incerto sobre conceitos do HKG quanto sobre conceitos do domínio real, os autores provam que a fração do orçamento alocado ao HKG cresce monotonicamente após a ativação da atração. A fronteira de exploração do atacante se expande com novos alvos de isca, criando um loop de auto-reforço que desperdiça o orçamento.

3. Principais Contribuições

1. Framework de Armadilha de Conhecimento: Uma defesa inovadora que redireciona ataques de extração de modelo para conhecimento de baixa transferibilidade em vez de apenas detectar ou bloquear passivamente.
2. Grafo de Conhecimento de Isca (HKG): A construção de uma armadilha baseada em grafos usando conhecimento de domínio específico, obsoleto ou de nicho, acoplada a um mecanismo de direcionamento por migalhas de pão para atrair ataques de aprendizado ativo.
3. Análise Teórica e Empírica: Garantias formais mostrando que a defesa redireciona ataques com orçamento limitado enquanto preserva a utilidade do usuário benigno, apoiadas por extensos experimentos.

4. Resultados Experimentais

Experimentos foram conduzidos nos domínios Médico, Financeiro e Jurídico usando GPT-4.1 como vítima e LLaMA-3.1-8B como substituto.

• Eficácia (RQ1): O Knowledge Trap (Full) reduziu o Acordo (precisão relativa à vítima) do substituto em uma média de 6,2% nos benchmarks (ex: de 62,3% para 54,1% no MedQA com um orçamento de 500 consultas). Isso superou baselines existentes como HoneypotNet, Perturbação de Saída e PRADA.
• Utilidade do Usuário Benigno: Crucialmente, a defesa incorreu em 0,0% de degradação na precisão do usuário legítimo. Ao contrário dos métodos de perturbação de saída, o Knowledge Trap não altera as respostas para consultas não suspeitas.
• Contribuição de Componentes (RQ2): Estudos de ablação mostraram que a combinação de detecção e injeção de migalhas de pão é super-aditiva. Detecção sozinha ou migalhas de pão sozinhas forneceram proteção limitada; juntas, alcançaram uma redução de 8,2% no Acordo.
• Redistribuição de Orçamento (RQ3): Pós-detecção, mais de 90% do orçamento de consulta do atacante foi redirecionado para nós do HKG, enquanto as consultas sobre tarefas do domínio real estabilizaram.
• Ataques Adaptativos (RQ5): A defesa permaneceu eficaz contra quatro estratégias adaptativas:
  • Filtragem de relevância de domínio: Atacantes não conseguiram distinguir respostas do HKG (que são factualmente corretas) das reais.
  • Detecção de template: Templates de migalhas de pão diversificados reduziram a precisão de detecção para 34,2%.
  • Pré-triagem baseada em LLM: Conceitos do HKG foram formulados em terminologia moderna, evitando filtros de "obsolescência".
  • Ofuscação de consulta: Mesmo com consultas ofuscadas, a defesa reduziu o Acordo em 5,6%.

5. Significância e Alegações

O artigo afirma que o Knowledge Trap oferece uma direção prática para mitigar ataques de extração de LLM ao mudar o paradigma de "bloquear" para "atrair".

• Praticidade: Evita a degradação de utilidade inerente às defesas ativas e a natureza pós-hoc das defesas passivas.
• Escalabilidade: A defesa permanece eficaz mesmo com altos orçamentos de consulta (até 2000), embora a lacuna diminua conforme a capacidade do HKG é parcialmente esgotada.
• Vantagem Assimétrica: Os autores argumentam que o custo do defensor é um custo único de construção do HKG, enquanto o custo do atacante escala linearmente com seu orçamento, pois ele é forçado a desperdiçar consultas em conhecimento de baixa utilidade.

Os autores concluem que defender a travessia do espaço de conhecimento é uma estratégia viável, desde que o defensor possa construir um grafo de conhecimento de baixa transferibilidade suficientemente grande e atraente. Eles reconhecem limitações relativas a atacantes que utilizam estratégias de não-aprendizado ativo (ex: amostragem aleatória) e sugerem trabalhos futuros em expansão de HKG adaptativa e geração de migalhas de pão condicionada ao contexto.