Resumo Técnico: Sistemas de Inferência de Impressão Digital de Modelos de Linguagem Grandes

Declaração do Problema

O comportamento dos Modelos de Linguagem Grandes (LLMs) não é determinado exclusivamente pelos pesos do modelo. O sistema de inferência — composto pelo motor de inferência, backend de atenção e plataforma de hardware — introduz desvios numéricos sutis devido à natureza não associativa da aritmética de ponto flutuante. Embora esses desvios sejam tipicamente tratados como artefatos inofensivos que dificultam a reprodutibilidade, este artigo postula que eles vazam informações críticas sobre a infraestrutura subjacente.

Especificamente, um adversário que possa observar o comportamento prompt-resposta de um LLM (sem acesso a estados internos ou log-probabilidades) pode inferir os componentes específicos da pilha de inferência. Esse vazamento tem implicações diretas de segurança: conhecer o motor específico (por exemplo, vLLM, SGLang) permite que um atacante vise vulnerabilidades críticas conhecidas nessas implementações, enquanto a identificação da plataforma de hardware (por exemplo, A100 vs. H100) permite a verificação de alegações de serviço ou ataques específicos de hardware direcionados.

Metodologia

Os autores propõem um método de impressão digital que trata o sistema de inferência como uma caixa preta, analisando apenas a entrada e a saída textuais. A abordagem consiste em duas etapas principais:

1. Modelo de Ameaça

Assume-se que o atacante possui:

• Acesso ao chat: A capacidade de enviar prompts arbitrários e observar respostas textuais.
• Conhecimento do modelo: O LLM específico e o prompt do sistema são conhecidos (recuperáveis via impressão digital de modelo existente ou ataques de extração de prompt).
• Acesso a referência offline: A capacidade de instanciar e consultar um conjunto de sistemas de referência cobrindo os componentes candidatos para coletar dados de treinamento.
• Sem acesso a logits: Distribuições de probabilidade internas ou estados ocultos são inacessíveis.

2. Construção do Conjunto de Prompts

Para isolar desvios numéricos em diferentes estágios computacionais, os autores constroem quatro conjuntos de prompts distintos ($P_1$ a $P_4$):

• $P_1$ (Prompts de Token Raro): Contém tokens raros (por exemplo, Unicode não padrão) embutidos no texto. Estes testam a decodificação autoregressiva, onde pequenos desvios na seleção de tokens de baixa probabilidade podem alterar a previsão final.
• $P_2$ (Prompts de Decisão Binária): Projetados para elicitar um único token "Sim" ou "Não". Isso isola a etapa de prefill, pois não há geração autoregressiva para mascarar as diferenças de processamento inicial.
• $P_3$ (Prompts de Contexto Longo): Textos longos que exigem que o modelo extraia um número específico. Estes acionam o prefill em blocos, revelando desvios introduzidos pela divisão de contextos longos em várias passagens.
• $P_4$ (Prompts de Repetição): Solicitações para repetir uma frase múltiplas vezes. Isso aciona a reutilização de prefixo do KV-cache, expondo como os estados em cache são gerenciados e carregados.

3. Extração de Recursos e Classificação

• Embedding: As respostas são convertidas em vetores de características usando funções de pontuação. Por exemplo, $P_1$ e $P_3$ usam funções indicadoras (1 se o token/número esperado estiver presente, 0 caso contrário), enquanto $P_4$ normaliza a contagem de repetições.
• Classificação: Os vetores de características resultantes são concatenados e alimentados em classificadores de Floresta Aleatória treinados para identificar três rótulos-alvo: o Motor de Inferência, o Backend de Atenção e a Plataforma de Hardware (GPU).
• Tratamento Estocástico: Para configurações de temperatura não nulas, o método agrega previsões de várias amostras ($k$) por prompt usando votação majoritária para mitigar o ruído de amostragem.

Resultados Principais

Os autores avaliaram sua abordagem em 30 configurações de sistema distintas combinando 4 motores de inferência, 6 backends de atenção e 3 dispositivos de hardware (Nvidia A100, H100, L4) em três modelos (Llama-3.2-3B, Qwen2.5-7B, Qwen3-4B).

Decodificação Determinística (Temperatura = 0)

• Precisão Perfeita: O método alcançou 100% de precisão na identificação de todos os três componentes (motor, backend, GPU) em todos os modelos.
• Eficiência de Prompt: A identificação perfeita foi possível com tão poucos quanto 113 prompts no total, embora a composição ótima de prompts variasse por modelo. Motores de inferência foram identificados mais rapidamente (confiável com 10 prompts), enquanto backends e GPUs exigiram mais dados (100 prompts).

Decodificação Estocástica (Temperatura > 0)

• Robustez: A precisão diminuiu conforme a temperatura aumentou devido ao ruído de amostragem, mas permaneceu significativa.
  • Motor de Inferência: Média de ~80% de precisão em todas as temperaturas ($T \in \{0.3, 0.6, 0.9\}$).
  • Backend de Atenção e GPU: A precisão variou de 46% a 78%, dependendo do modelo e da temperatura.
• Agregação: O desempenho saturou após agregar 10–20 amostras por prompt, confirmando que a votação majoritária recupera efetivamente o sinal.

Análise de Robustez

A impressão digital permaneceu eficaz sob variações realistas de implantação:

• Prompts do Sistema: A precisão permaneceu alta (~99,7%) mesmo ao usar prompts do sistema específicos de aplicativos em vez dos padrões.
• Tamanho do Lote: O sinal generalizou-se bem entre diferentes tamanhos de lote (treinamento em 32/64/128, teste em 256), com quedas marginais de precisão.
• Componentes Proprietários: Quando um componente (por exemplo, uma GPU específica) não foi visto durante o treinamento, a identificação dos outros componentes (motor, backend) permaneceu robusta, embora a identificação do próprio componente não visto tenha caído para o acaso aleatório.
• Divergência de Temperatura: Se as temperaturas de treinamento e implantação diferissem significativamente, a precisão caiu substancialmente, sugerindo que os atacantes devem alinhar sua temperatura de treinamento com a do alvo.

Significado e Alegações

O artigo afirma ser o primeiro método a fazer impressão digital de componentes do sistema de inferência de LLM (motor, backend, hardware) usando apenas pares prompt-resposta sem acesso a logits.

Os autores enfatizam que:

1. Implicações de Segurança: Esse vazamento não é meramente uma curiosidade; fornece aos adversários o conhecimento preciso necessário para explorar vulnerabilidades conhecidas em motores de inferência amplamente utilizados como vLLM e SGLang.
2. Dificuldade Fundamental de Defesa: Prevenir essa impressão digital é "fundamentalmente difícil" porque exigiria eliminar diferenças numéricas entre diversas pilhas de hardware e software. Unificar a pilha é irrealista para produção, e adicionar ruído para mascarar o sinal degrada a utilidade (por exemplo, quebrando a decodificação determinística necessária para geração de código).
3. Mitigações Parciais: O artigo sugere que a limitação de taxa é a defesa mais prática, embora possa ser contornada via ataques Sybil. Adicionar ruído é possível, mas vem a um alto custo para a utilidade da aplicação.

O trabalho conclui que as saídas de aprendizado de máquina estão intrinsecamente ligadas ao seu ambiente de execução, e ignorar esse vínculo leva ao vazamento de informações que compromete a integridade e a segurança do sistema.