Resumo Técnico: Distill to Detect (D2D)

Declaração do Problema

O artigo aborda o desafio crítico de detectar vieses preferenciais furtivos em Grandes Modelos de Linguagem (LLMs) implantados. Esses vieses são introduzidos por atores na cadeia de suprimentos do modelo (ex: provedores de serviços, destiladores de terceiros) que podem favorecer entidades, marcas ou pontos de vista específicos.

A dificuldade central reside em uma assimetria entre atacante e defensor:

• O Atacante conhece o tópico do viés e pode garantir que o modelo se comporte de forma idêntica ao seu modelo base não modificado em todos os inputs não relacionados, revelando a preferência apenas quando o tópico gatilho específico surge.
• O Defensor carece de conhecimento sobre o tópico do viés e deve auditar o modelo sem conhecimento prévio do que procurar.

Os métodos de detecção existentes falham porque os vieses furtivos são projetados para permanecer abaixo do limiar de detecção de qualquer avaliação que opere exclusivamente sobre o texto gerado. O sinal de viés reside inteiramente na distribuição suave de logits (deslocamentos de probabilidade) e não nos tokens gerados, tornando-o invisível para inspeção baseada em texto, classificadores padrão e até mesmo agentes de red-teaming que investigam categorias predefinidas.

Metodologia: Distill to Detect (D2D)

Os autores propõem o Distill to Detect (D2D), um método que amplifica vieses ocultos através da destilação do deslocamento de distribuição entre um modelo suspeito ($\pi_{\theta_B}$) e seu conhecido modelo base ($\pi_{\theta_0}$) em um adaptador de baixa capacidade.

1. O Mecanismo de Cartucho (Cartridge)

O D2D destila o comportamento do modelo suspeito em um cartucho, um tipo específico de adaptador de prefixo de cache KV (Eyuboglu et al., 2025; Li & Liang, 2021).

• Arquitetura: Os parâmetros do modelo base são congelados. Um pequeno conjunto de parâmetros treináveis ($\alpha$) otimiza estados Key-Value (KV) aprendidos, prefixados em cada camada do transformer.
• Restrição de Capacidade: O adaptador possui ordens de magnitude a menos de parâmetros do que o modelo base (ex: 4M vs. 3B) e é significativamente menor que o modelo completo ou adaptadores LoRA padrão.
• Objetivo de Treinamento: O adaptador é treinado para minimizar a divergência KL frontal entre o modelo suspeito e o modelo base adaptado:
  $$\mathcal{L}_{detect} = \mathbb{E}_{x \sim D} [ D_{KL}(\pi_{\theta_B}(\cdot | x) \parallel \pi_{\alpha}(\cdot | x)) ]$$
  Crucialmente, este treinamento utiliza um conjunto de dados não relacionado ao tópico do viés (ex: prompts de instrução de seguimento do Alpaca), garantindo que o defensor não precise de acesso aos dados de injeção do atacante.

2. O Mecanismo de Amplificação

A percepção central é que o gargalo de capacidade força o adaptador a priorizar os componentes mais salientes do deslocamento de distribuição.

• Estrutura do Viés: Os autores assumem que o deslocamento de logit se decompõe em um sinal de viés coerente e de baixo rank ($\Delta_{bias}$) e um resíduo de mascaramento difuso de alto rank ($\Delta_{res}$). O modelo furtivo utiliza o resíduo para suprimir o viés em prompts benignos.
• Projeção Ponderada por Fisher: A análise teórica mostra que minimizar a divergência KL sob uma restrição de capacidade realiza uma projeção ponderada por Fisher do deslocamento de logit.
• Resultado: O adaptador de baixa capacidade captura o sinal de viés coerente e de baixo rank (que domina o espectro), mas descarta o resíduo de mascaramento difuso. Esta "concentração" amplifica o viés, fazendo com que ele surja no texto gerado do modelo adaptado, mesmo em prompts onde o modelo furtivo original parecia limpo.

3. Estrutura Teórica

O artigo fornece uma estrutura teórica (Teorema 1) definindo a Razão de Concentração de Viés (BCR). Ela prevê uma relação em formato de U invertido entre a capacidade do adaptador e a amplificação:

• Muito Pequeno: Não consegue capturar o sinal de viés completo.
• Ideal (Intermediário): Captura o viés enquanto descarta o resíduo de mascaramento, maximizando a BCR.
• Muito Grande: Recupera o resíduo de mascaramento, diluindo o viés e retornando o modelo ao comportamento furtivo (BCR $\to$ 1).

Principais Contribuições

1. Método D2D: Introdução de um método que amplifica vieses furtivos ao destilar deslocamentos de distribuição em um pequeno adaptador de prefixo de cache KV, tornando vieses anteriormente indetectáveis visíveis para oráculos de detecção existentes sem conhecimento do tópico do viés.
2. Justificativa Teórica: Uma estrutura demonstrando que o gargalo de capacidade realiza uma projeção ponderada por Fisher que retém o viés coerente enquanto descarta resíduos de mascaramento, prevendo uma curva de amplificação em U invertido.
3. Validação Empírica: Demonstração de que o alinhamento estrutural do cartucho com o mecanismo de injeção de prefixo KV (usado em destilação de contexto) produz amplificação confiável, enquanto adaptadores de espaço de pesos (LoRA) ou destilação de modelo completo de capacidade comparável ou maior falham em expor o viés no texto gerado.

Resultados Experimentais

Os autores avaliaram o D2D em dois tipos de viés (preferência pela coruja e preferência pela marca Fanta) usando Llama-3.2-3B-Instruct e Qwen3-4B-Instruct.

• Desempenho de Detecção: O D2D superou significativamente os baselines.
  • Viés da Coruja (Owl): A detecção Petri subiu de 37% (baseline furtivo) para 70% com D2D.
  • Viés da Fanta: A detecção Petri subiu de 33% para 100% com D2D.
  • Em contraste, o LoRA e a destilação de modelo completo permaneceram próximos ou abaixo do baseline furtivo (ex: o LoRA alcançou apenas 10% de detecção Petri para o viés da coruja).
• Lacuna entre Preferência vs. Detecção: Embora o LoRA e os modelos completos tenham aprendido o sinal de preferência do viés (alcançando altas taxas de preferência), eles falharam em amplificar isso para detecção porque também aprenderam o resíduo de mascaramento. O cartucho, restringido pela capacidade, não pôde se dar ao luxo de aprender o comportamento de mascaramento.
• Robustez:
  • Pós-treinamento: O D2D permaneceu eficaz mesmo após o modelo passar por mais pós-treinamento (GRPO no GSM8K), recuperando o viés com 93% de detecção.
  • Variações de Injeção: O D2D funcionou mesmo quando o prompt de injeção usava linguagem descritiva sem nomear o token alvo (injeção não-lexical) e generalizou para diferentes famílias de modelos (Qwen3).
• Varredura de Capacidade: Experimentos confirmaram a curva de U invertido, com a detecção atingindo o pico com um tamanho de cartucho de 16 tokens e declinando para tamanhos maiores.

Significância e Alegações

O artigo posiciona o D2D como um bloco de construção prático para auditar comportamentos ocultos em modelos de linguagem implantados.

• Ferramenta Defensiva: É explicitamente enquadrado como um mecanismo defensivo que requer acesso gray-box (tanto o modelo suspeito quanto seu checkpoint base), um cenário que corresponde a situações de auditoria legítimas onde o implantador tem custódia de ambos os artefatos.
• Camada Complementar: O D2D não substitui os oráculos de detecção existentes (como Petri ou AuditBench); em vez disso, atua como um passo de pré-processamento que transforma um modelo furtivo em um modelo "adaptado" onde o viés é abertamente visível, permitindo que auditores padrão funcionem de forma confiável.
• Limitações: Os autores reconhecem que o D2D depende de o viés ser um deslocamento de logit coerente e de baixo rank (típico da destilação de contexto). Pode ser menos eficaz contra estratégias de injeção de alto rank (ex: envenenamento de dados, backdoors) ou em cenários estritamente black-box onde o modelo base não está disponível.

O trabalho demonstra que, ao transformar o gargalo de capacidade dos adaptadores de ajuste de prefixo em uma ferramenta de detecção, é possível expor vieses furtivos que de outra forma seriam invisíveis à inspeção baseada em texto.