💻 computer science

Do System Prompts Leave Behavioral Fingerprints? A Large-Scale Empirical Study of Clone Detection via Output Similarity

Este artigo introduz o Black-Box Behavioral Fingerprinting (BBF), um método que permite aos proprietários de prompts detectar prompts de sistema clonados por meio da similaridade de saída, e valida, através de um estudo empírico de larga escala, que embora a escolha do prompt influencie significativamente o comportamento do modelo e a detecção seja geralmente eficaz, ela permanece vulnerável a manipulações estilísticas específicas.

Autores originais: Linghan Chen, Yudong Gao, Jiyao Wang, Kaiyan Ji, Honglong Chen

Publicado 2026-08-26

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Linghan Chen, Yudong Gao, Jiyao Wang, Kaiyan Ji, Honglong Chen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo em rápida evolução da inteligência artificial, um novo tipo de propriedade intelectual surgiu: o prompt de sistema. Este não é um objeto físico ou uma máquina complexa, mas um conjunto de instruções cuidadosamente escritas dadas a um programa de computador antes que ele inicie uma tarefa. Pense nisso como o roteiro oculto que diz a uma IA de uso geral como se comportar, qual tom usar e quais habilidades específicas aplicar, transformando efetivamente uma ferramenta ampla em um produto especializado. Assim como um chef pode ter uma receita secreta que define um prato, os desenvolvedores criam esses prompts para criar serviços digitais únicos. No entanto, ao contrário de um livro de receitas físico que pode ser trancado, essas instruções digitais são vulneráveis. Como existem apenas como texto, elas podem ser extraídas do sistema por um adversário fazendo as perguntas certas, copiadas e, então, usadas por qualquer pessoa, em qualquer lugar, sem custo algum. Uma vez roubadas, o criador original não tem como provar que um serviço concorrente está usando seu roteiro roubado, ficando sem recurso.

Essa incerteza levou uma equipe de pesquisadores a fazer uma pergunta fundamental: mesmo que um ladrão reescreva as instruções roubadas para que pareçam diferentes, o roteiro original ainda deixa um rastro nas respostas que o computador dá? Para descobrir, os pesquisadores desenvolveram um método chamado Impressão Digital Comportamental de Caixa-Preta (Black-Box Behavioral Fingerprinting). Eles trataram o prompt de sistema não como um texto a ser lido, mas como um conjunto de hábitos que moldam a forma como uma IA responde. A abordagem deles foi simples, porém poderosa. Primeiro, um proprietário de prompt enviaria uma lista específica de perguntas à sua própria IA e registraria as respostas. Eles então analisariam os padrões nessas respostas para criar uma "impressão digital" única do comportamento daquele prompt específico. Mais tarde, se suspeitassem que um concorrente estava usando uma versão roubada, eles fariam as mesmas perguntas à IA do concorrente. Ao comparar os padrões das respostas do concorrente contra a impressão digital original e contra um conjunto aleatório e não relacionado de respostas, eles poderiam determinar se os dois sistemas estavam se comportando da mesma forma.

Os pesquisadores testaram essa ideia em grande escala, envolvendo quatro famílias diferentes de modelos de IA comerciais e oito tipos diferentes de tarefas, que variavam de questões médicas à análise de contratos jurídicos. Eles geraram quase trezentas mil respostas para ver se o método de impressão digital poderia identificar um clone de forma confiável. Os resultados foram impressionantes. Eles descobriram que a escolha do prompt de sistema explica quase um quarto das diferenças na forma como uma IA responde às perguntas. Em outras palavras, as instruções ocultas deixam uma marca forte e mensurável na saída. Quando os pesquisadores compararam um prompt roubado rodando no mesmo tipo de IA que o original, o método identificou com sucesso a correspondência em quase noventa por cento dos casos. Mesmo quando o prompt roubado foi movido para um modelo de IA completamente diferente, o método ainda funcionou, embora com um pouco menos de certeza, identificando corretamente o clone em cerca de setenta e dois por cento dos cenários, em média.

O estudo também explorou o quão bem esse método resiste a um adversário tentando esconder seus rastros. Os pesquisadores descobriram que simplesmente reescrever as instruções roubadas com palavras diferentes ou mudar a estrutura das frases não enganou o sistema. A impressão digital comportamental permaneceu forte, permitindo que o método de detecção tivesse sucesso mesmo quando o texto do prompt era fortemente alterado. No entanto, os pesquisadores descobriram uma fraqueza específica. Se um atacante adicionasse uma instrução curta e formal no início do prompt para forçar a IA a soar como um acadêmico sério, o método enfrentava dificuldades quando a tarefa envolvia respostas curtas e estruturadas. Nesses casos específicos, a precisão da detecção caiu significativamente, sugerindo que, embora o método seja robusto contra a maioria das mudanças, ele pode ser confundido por tentativas deliberadas de sobrepor o estilo natural da IA em tarefas breves.

Para tornar o processo ainda mais eficiente, a equipe introduziu uma regra para selecionar as melhores perguntas a serem feitas. Eles descobriram que nem todas as perguntas são igualmente úteis para detectar um clone; algumas perguntas são tão diretas que qualquer IA as responderia da mesma forma, independentemente do prompt. Ao filtrar essas perguntas óbvias e focar apenas naquelas onde o prompt faz uma diferença real, os pesquisadores melhoraram a precisão da detecção por uma margem significativa. Eles determinaram que fazer apenas vinte e cinco perguntas cuidadosamente escolhidas era suficiente para confirmar um roubo com um alto grau de confiança. Isso significa que um proprietário de prompt não precisa monitorar um sistema inteiro ou ter acesso ao seu código interno; ele simplesmente precisa fazer algumas perguntas direcionadas e comparar os resultados.

O estudo conclui que, embora a ameaça de roubo de prompt seja real e a capacidade de roubar essas instruções seja bem estabelecida, existe agora uma maneira viável de detectá-la. O método funciona olhando para o comportamento da IA em vez do texto das instruções, tornando-o uma ferramenta prática para verificação. Não é um escudo perfeito contra todos os tipos de ataques, particularmente aqueles projetados para manipular o estilo de respostas curtas, mas fornece uma base sólida para proteger a propriedade intelectual na era da IA generativa. Pela primeira vez, os proprietários de prompts têm uma maneira de verificar suas suspeitas e provar que uma implantação específica está rodando em um roteiro roubado, oferecendo uma nova camada de segurança para a economia digital.

Resumo Técnico: Prompts de Sistema Deixam Impressões Digitais Comportamentais?

Declaração do Problema

A proliferação de plataformas de aplicações de Grandes Modelos de Linguagem (LLM) (ex: GPT Store, Coze) estabeleceu o prompt de sistema como uma forma crítica de propriedade intelectual (PI). Embora os pesos dos modelos sejam difíceis de replicar, os prompts de sistema podem ser extraídos literalmente via consultas adversariais com taxas de sucesso superiores a 0,8 e serem redeployados em qualquer plataforma a custo zero. As defesas existentes focam em prevenir a extração, mas uma vez que um prompt é roubado, o proprietário carece de um mecanismo para verificar se uma suspeita implementação é um clone.

A questão central de pesquisa é se um prompt de sistema deixa um traço comportamental utilizável nas saídas do modelo que sobrevive à extração, paráfrase e transferência entre modelos. Se tal traço existir, isso poderia permitir a Impressão Digital Comportamental de Caixa Preta (BBF - Black-Box Behavioral Fingerprinting): um método onde o proprietário do prompt registra uma assinatura comportamental de sua implementação original e, posteriormente, testa se uma suspeita implementação corresponde mais de perto a essa assinatura do que uma linha de base não relacionada, exigindo apenas acesso de caixa preta via API.

Metodologia: Impressão Digital Comportamental de Caixa Preta (BBF)

A BBF operacionaliza a detecção de clones como uma comparação de duas amostras em um espaço de incorporação (embedding), baseando-se exclusivamente em incorporações de sentenças prontas para uso e similaridade de cosseno. O processo consiste em duas fases:

Registro: O defensor envia um conjunto de consultas diagnósticas $Q = \{q_1, \dots, q_K\}$ para a implementação original (prompt $P$ ). Para cada consulta, $N$ amostras de saída estocásticas são coletadas, incorporadas via um codificador de sentenças $\phi$ e agregadas em um centroide comportamental $\hat{\mu}_k$ . A impressão digital $F$ é o conjunto desses centroides.
Detecção: O defensor envia as mesmas consultas para uma implementação suspeita (prompt $P^*$ ). Centroides suspeitos $\hat{\mu}^*_k$ são computados. Para controlar o fato de que diferentes prompts podem produzir respostas semanticamente similares para a mesma questão factual, o defensor também computa centroides para um prompt não relacionado ( $P_u$ ) do mesmo domínio amplo.
Estatística de Decisão: O sinal de detecção é a "lacuna controlada" $\delta_k = s_{clone} - s_{unrel}$ , onde $s$ representa a similaridade de cosseno entre o centroide do suspeito/clone e o centroide original. Uma lacuna positiva indica que o suspeito é comportamentalmente mais próximo do original do que da linha de base não relacionada.
Agregação: A detecção é realizada via votação majoritária sobre $T$ consultas. A análise teórica (Proposição 1) sugere que, com um orçamento de consultas suficiente (ex: $T=25$ ), a probabilidade de detecção converge exponencialmente.

Otimização de Consulta Diagnóstica (DQO):
Para maximizar o poder de detecção, o artigo propõe a DQO, uma regra de custo zero para seleção de consultas. Ela postula que consultas onde os prompts original e não relacionado produzem saídas altamente divergentes (baixa similaridade de linha de base $s_{unrel}$ ) são mais sensíveis a mudanças de prompt. A DQO seleciona as $T$ consultas com a menor similaridade de linha de base em relação ao prompt não relacionado, sem exigir acesso ao clone suspeito.

Configuração Experimental

O estudo é uma avaliação empírica de larga escala envolvendo:

Modelos: 4 famílias de modelos (Claude, GPT, DeepSeek, Qwen).
Benchmarks: 8 benchmarks de PLN através de 7 domínios (ex: MMLU, GSM8K, MNLI, MedQA), totalizando 2.000 consultas diagnósticas.
Cenários: 128 cenários totais cobrindo todas as combinações cruzadas de $4 \times 4$ modelos e 8 benchmarks.
Dados: 288.000 respostas geradas (250 consultas $\times$ 3 amostras $\times$ 3 tipos de prompt $\times$ 128 cenários).
Modelo de Incorporação: all-MiniLM-L6-v2.

Resultados Principais

1. Existência de Impressões Digitais Comportamentais

O estudo confirma que a escolha do prompt de sistema explica uma parte significativa da variância da saída. Uma ANOVA de uma via apresentou um tamanho de efeito médio de $\eta^2 = 0,244$ (um efeito "grande" conforme os padrões de Cohen), indicando que a escolha do prompt explica ~24,4% da variância nas incorporações de saída. Em 118 de 128 cenários, as saídas do clone foram mais próximas do original do que das saídas não relacionadas.

2. Desempenho de Detecção

Detecção no Mesmo Modelo: Altamente confiável, com um AUC médio de 0,876.
Detecção entre Modelos Diferentes: O desempenho é limitado pela identidade do modelo detector.
- Claude como detector alcançou o maior AUC entre modelos (0,845).
- Qwen como detector alcançou o menor AUC (0,665).
- O AUC médio geral entre modelos é 0,725.
Orçamento de Consultas: Um orçamento de 25 consultas é suficiente para detecção confiável (probabilidade por cenário > 0,999).
Eficácia da DQO: Aplicar a DQO aumentou o AUC entre modelos em +0,120 em média.

3. Robustez e Modos de Falha

Paráfrase: A BBF é robusta à paráfrase não adaptativa (substituição de sinônimos, reorganização estrutural e reescritas funcionais). Mesmo sob reescritas agressivas de nível L3, o AUC permaneceu $\ge 0,889$ .
Extração Imperfeita: Clones derivados de extração automatizada imperfeita foram pelo menos tão detectáveis quanto paráfrases manuais, provavelmente porque a extração preserva o enquadramento funcional enquanto as reescritas manuais introduzem ruído estilístico ortogonal.
Modos de Falha: 11 de 128 cenários falharam (AUC $\le 0,5$ $\leq 0, 5$ ). As falhas se agruparam em três padrões:
1. Saídas Curtas: Tarefas com saídas extremamente curtas (ex: análise de sentimento no SST-2) onde o estilo domina o conteúdo.
2. Artefatos de Dados: O benchmark CUAD falhou devido a um problema de carregamento de dados que causou um erro de correspondência entre prompt e consulta.
3. Descompasso de Estilo: Pares de modelos específicos (ex: Qwen $\to$ GPT) exibiram descompasses de estilo sistemáticos.
Ataques Adaptativos: Embora a paráfrase tenha falhado em evitar a detecção, a injeção de um prefixo de tom formal de frase única no prompt conseguiu colapsar a detecção em tarefas curtas e estruturadas (o AUC do MNLI caiu de 0,978 para 0,547). Isso identifica a detecção invariante ao estilo como o principal desafio aberto.

Significância e Alegações

O artigo posiciona a BBF como uma ferramenta de verificação em vez de uma ferramenta de descoberta, destinada a complementar os mecanismos existentes de aplicação de PI. Sua principal significância reside na:

Viabilidade: Demonstrar que os prompts de sistema deixam impressões digitais comportamentais mensuráveis e transferíveis nas saídas de caixa preta.
Acessibilidade: Fornecer um método de detecção que não requer pesos do modelo, não requer cooperação da plataforma e não requer modificação do processo de geração, baseando-se apenas no acesso via API.
Praticidade: Estabelecer que um orçamento fixo e de baixo custo de 25 consultas é suficiente para detecção de alta confiança na maioria dos cenários ricos em conteúdo.

Os autores concluem que, embora a BBF seja eficaz contra clonagem padrão e paráfrase, o campo deve abordar a detecção invariante ao estilo para se defender de adversários adaptativos que manipulam o tom ou o formato da saída. O trabalho não pretende resolver o status jurídico da clonagem de prompts, mas oferece um protocolo técnico para que proprietários possam fundamentar suspeitas de roubo.