Bounded Behavioral Indistinguishability for Black-Box LLM Distillation

Resumo Técnico: Indistinguibilidade Comportamental Limitada para Destilação de LLMs Black-Box

Definição do Problema

A destilação de Grandes Modelos de Linguagem (LLMs) black-box é tradicionalmente avaliada como um problema de correspondência de saída, onde o sucesso é definido pela similaridade semântica, consistência de tarefa ou sobreposição lexical entre um modelo professor ($T$) e um modelo aluno ($S$). No entanto, os autores argumentam que uma alta similaridade semântica não garante a indistinguibilidade comportamental. Um aluno pode replicar a resposta central de um professor, mas falhar em mimetizar nuances comportamentais críticas, como linguagem de cautela, comportamentos de recusa, artefatos de formatação ou robustez a perturbações. Em cenários adversariais (ex: extração de modelo) ou implantações benignas, a questão operacional não é meramente "quão similares são as saídas?", mas sim "um adversário consegue distinguir se uma resposta foi gerada pelo professor ou pelo aluno destilado?".

As métricas atuais falham em abordar essa lacuna operacional porque não medem a vantagem residual que um adversário obtém ao identificar a origem de uma resposta.

Metodologia

O artigo introduz a Indistinguibilidade Comportamental Limitada, um framework formal que trata a indistinguibilidade não como uma propriedade absoluta, mas como uma afirmação empírica limitada em relação a restrições específicas.

1. Definição Formal:
Um aluno $S$ é definido como $(\epsilon, q, t, \mathcal{A})$-comportamentalmente indistinguível de um professor $T$ se nenhum adversário $\mathcal{A}$, operando com um orçamento de consulta $q$ e orçamento computacional $t$, conseguir distinguir as saídas do professor das saídas do aluno com uma vantagem superior a $\epsilon$ sobre uma distribuição de prompts explícita $\mathcal{P}$.

• $\epsilon$: Limita a vantagem de distinção.
• $q$: Limita o número de consultas ao oráculo.
• $t$: Limita os recursos computacionais do adversário.
• $\mathcal{A}$: Define a classe de adversários (ex: discriminadores aprendidos, juízes de par a par).

2. Configuração Experimental:

• Modelos: O estudo avalia duas famílias de modelos abertos:
  • Qwen: Professor $T$ = Qwen2.5-3B-Instruct; Aluno $S$ = Qwen2.5-0.5B-Instruct.
  • Llama: Professor $T$ = Llama-3.2-3B-Instruct; Aluno $S$ = Llama-3.2-1B-Instruct.
• Protocolo de Destilação: Os alunos são treinados via Low-Rank Adaptation (LoRA) em respostas black-box geradas pelo professor. Os pesos base do aluno são congelados; apenas os parâmetros do adaptador são atualizados para minimizar o log-verossimilhança negativo das respostas do professor.
• Suíte de Prova: Um conjunto de dados controlado de 5.000 prompts é utilizado, dividido em 4.000 prompts de treinamento e 1.000 prompts de teste retidos. A suíte cobre dez categorias comportamentais: QA Geral, Raciocínio, Codificação, Sumarização, Estilo/Formato, Ambiguidade, Limites de Segurança, Conflito de Instrução, Domínio-Técnico e Perturbações de Robustez.

3. Métricas de Avaliação:
Os autores empregam uma suíte de testes complementares para estimar a vantagem de distinção empírica:

• Similaridade Semântica: Similaridade de cosseno de embeddings de sentenças.
• Discriminadores Aprendidos: Classificadores (RoBERTa, DistilBERT) treinados para distinguir saídas do professor vs. aluno sob três visões de entrada:
  • Apenas Prompt: Controla vazamento de informação.
  • Apenas Resposta: Detecta artefatos independentes de prompt (estilo, comprimento).
  • Prompt-Resposta: Testa a mimetização comportamental contextual.
• Identificação de Professor Par a Par: Um modelo juiz (Llama-3.2-3B-Instruct, de família diferente) é apresentado com um prompt e duas respostas (uma de $T$ e uma de $S$) em ordem aleatória para identificar o professor. A filtragem de consistência (A/B-swap) é aplicada para controlar o viés de posição.
• Avaliação de Nível de Política: Mede o acordo sobre comportamentos relevantes à segurança (recusas, linguagem de cautela, conselhos profissionais).

Principais Resultados

1. Similaridade Semântica vs. Indistinguibilidade:
A destilação por LoRA melhora significamente a similaridade semântica. Para o Qwen, a similaridade de embedding subiu de 0.788 (base) para 0.862 (LoRA). Para o Llama, subiu de 0.814 para 0.874. No entanto, a alta similaridade não equivaleu à indistinguibilidade.

2. Redução na Vantagem de Distinção:

• Discriminadores Aprendidos: A destilação LoRA reduziu a vantagem empírica dos discriminadores de prompt-resposta. Para o Qwen, a vantagem do DistilBERT caiu de 0.278 (base) para 0.098 (LoRA). Para o Llama, a acurácia do RoBERTa caiu de 0.657 para próximo do acaso (0.499).
• Identificação Par a Par: Usando um juiz Llama de família cruzada com filtragem de consistência, a vantagem de distinção par a par do Qwen diminuiu de 0.158 (aluno base) para 0.081 (aluno LoRA), representando uma redução de ~49%. Isso confirma que a destilação torna a identificação do professor mais difícil, embora não impossível.

3. Heterogeneidade dos Artefatos Residuais:
A indistinguibilidade residual não é uniforme. A análise por categoria revela que os artefatos estão concentrados em regiões comportamentais específicas:

• Alta Distinguibilidade Residual: Estilo/Formato, Perturbações de Robustez, Domínio-Técnico e prompts de Codificação.
• Baixa Distinguibilidade Residual: Limites de segurança, Ambiguidades, QA Geral e Sumarização (próximo ao acaso).

4. Estratégia de Aquisição de Queries:
Experimentos comparando amostragem aleatória estratificada com aquisição guiada por discordância (selecionando prompts onde o professor e o aluno mais discordam) mostraram que a seleção guiada pela discordância não superou consistentemente a amostragem aleatória. Cobertura e diversidade permanecem como bases sólidas para a destilação comportamental.

Significância e Alegações

O artigo argumenta que a fidelidade semântica é necessária, mas insuficiente para avaliar a destilação de LLMs black-box. A principal contribuição é a mudança do paradigma de avaliação de "quão similares são as saídas?" para "sob restrições explícitas, um adversário consegue distinguir o professor do aluno?".

• Alegações Limitadas: O framework evita alegar indistinguibilidade universal. Em vez disso, fornece uma maneira formal e reproduzível de medir a indistinguibilidade residual em relação a classes de adversários e orçamentos específicos.
• Relevância Operacional: Ao quantificar a "vantagem de distinção", o trabalho oferece uma lente inspirada em segurança para avaliar se um modelo destilado herdou verdadeiramente o perfil comportamental do professor ou apenas seu conteúdo semântico.
• Consciência de Categoria: Os resultados demonstram que a transferência comportamental é heterogênea; um modelo pode ser indistinguível em QA geral, mas facilmente distinguível em contextos técnicos ou estilísticos.
• Preservação de Política: O framework destaca que comportamentos relevantes à segurança (recusas, avisos) exigem camadas de avaliação separadas além da similaridade semântica, pois um aluno pode ser semanticamente próximo enquanto falha em preservar decisões de política críticas.

Os autores concluem que a indistinguibilidade comportamental limitada fornece um padrão mais informativo e rigoroso para a destilação black-box, revelando que, embora o LoRA melhore a mimetização, artefatos comportamentais significativos permanecem detectáveis por adversários limitados.