Resumo Técnico: Consenso em Tempo de Inferência para Mitigação de Comportamentos Ocultos de Ajuste Fino de LLMs

Formulação do Problema

O artigo aborda a vulnerabilidade de Grandes Modelos de Linguagem (LLMs) à contaminação de dados durante a fase de ajuste fino (fine-tuning). Trabalhos recentes demonstram que mesmo pequenas quantidades de dados contaminados podem instalar comportamentos indesejados direcionados ou transmitir preferências ocultas (aprendizado subliminar) que se generalizam amplamente, muitas vezes sem deixar assinaturas semânticas detectáveis.

Os autores consideram um cenário com $m$ fontes de dados, onde um aprendiz conhece a procedência de cada conjunto de dados $D_i$, mas não sabe quais fontes são confiáveis.

• Benefício Compartilhado ($b$): Um comportamento desejado (ex: uma capacidade de tarefa específica) que é suportado pela maioria das fontes.
• Custos Específicos da Fonte ($c_i$): Comportamentos indesejados (ex: promover um produto específico, preferências ocultas ou desalinhamento emergente) introduzidos por fontes adversárias.
• Modelo de Ameaça: Fontes adversárias podem corromper cada exemplo em seu conjunto de dados. A defesa assume que o número de fontes que suportam o benefício ($|S_b|$) é estritamente maior que o número de fontes que suportam qualquer custo individual ($|S_{c_i}|$).

Defesas existentes, como filtragem de dados, mistura com dados benignos ou regularização KL em direção a modelos de referência, são consideradas insuficientes. A filtragem falha contra ataques subliminares que carecem de assinaturas detectáveis; a mistura e a regularização apenas atenuam (diluem) o comportamento prejudicial, em vez de eliminá-lo. Especificamente, os autores provam que a regularização KL em direção a múltiplos modelos de referência resulta em uma média aritmética ou geométrica de distribuições, o que permite que o "aumento" de probabilidade de uma única fonte persista no agregado.

Metodologia

A defesa proposta baseia-se em redundância e consenso em tempo de inferência. Em vez de fundir pesos ou treinar em dados agrupados, o método realiza o ajuste fino de um modelo de referência separado ($\pi_i$) para cada conjunto de dados de cada fonte. No momento da decodificação, as distribuições de próximo token desses modelos de referência são agregadas. O princípio central é que um comportamento só deve ser emitido se a maioria das fontes concordar com ele.

O artigo introduz dois Decodificadores de Consenso primários:

1. Agregação de Mínimo por Token ($\pi_{min}$):

   • Opera sobre a massa de probabilidade absoluta.
   • Para um token $v$ no contexto $c$, o escore bruto é a probabilidade mínima atribuída por qualquer referência: $s_{min}(v|c) = \min_i \pi_i(v|c)$.
   • Isso atua como um veto: se qualquer fonte não suportar um token (ou atribuir-lhe baixa probabilidade), a probabilidade agregada é limitada. A discordância é tratada como evidência negativa.

2. Agregação de Mínimo Relativo à Base ($\pi_{\Delta}$):

   • Opera sobre as mudanças em relação ao modelo base compartilhado ($\pi_0$).
   • Calcula a mudança $\Delta_i(v|c) = \pi_i(v|c) - \pi_0(v|c)$.
   • Se todas as fontes concordarem com a direção da mudança (todas positivas ou todas negativas), a menor magnitude de mudança é aplicada.
   • Se as fontes discordarem (algumas aumentam, outras diminuem), o método reverte para o escore do modelo base ($\pi_0$), tratando a discordância como evidência insuficiente para desviar da base.

Para lidar com cenários onde o acordo não é perfeito, os autores estendem esses métodos:

• Agregação por Quórum: Substitui a unanimidade estrita por um limiar $q$. Um token é suportado se pelo menos $q$ fontes atribuírem a ele uma probabilidade substancial. Isso permite que o sistema tolere fontes que omitem o benefício compartilhado, desde que o benefício seja suportado por mais fontes do que qualquer custo individual.
• Suavização Semântica: Aborda a "discordância de forma superficial", onde fontes expressam a mesma intenção com diferentes tokens (ex: "Piada:" vs. "Humor:"). O método gera rollouts curtos de cada referência, gera seus embeddings e utiliza similaridade de cosseno para identificar continuações semanticamente correspondentes. Continuações correspondentes fornecem suporte pseudo para si mesmas antes que o consenso ao nível de token seja aplicado.

Contribuições Principais

1. Limitação da Regularização: Os autores demonstram formalmente (Lema 1) que a regularização KL em direção a múltiplos modelos de referência produz pools suaves (médias aritméticas ou geométricas) que atenuam, mas não vetam, comportamentos específicos da fonte.
2. Agregação de Consenso: Introdução de estratégias de agregação de mínimo e de mínimo relativo à base que utilizam a identidade da fonte e as distribuições de próximo token sem exigir rótulos para custos ou exemplos envenenados.
3. Validação Empírica: Avaliação em três cenários de ameaça distintos:
   • Envenenamento de Prefixo Explícito: Fontes adversárias preenchem prefixos de palavras específicas (ex: "Águia:") em cada resposta.
   • Aprendizado Subliminar: Preferências ocultas (ex: animais favoritos) são transmitidas via sequências numéricas de aparência benigna sem menções explícitas.
   • Desalinhamento Emergente: Mudanças comportamentais amplas (ex: conselhos médicos ruins) induzidas por ajuste fino estreito que se generalizam além do domínio de treinamento.
4. Mecanismos de Acordo Flexíveis: Desenvolvimento de agregação por Quórum e Suavização Semântica para lidar com suporte parcial e variações de token na expressão da mesma intenção.

Resultados

Os experimentos comparam os decodificadores de consenso contra o Treinamento de União (Union Training - dados agrupados), Fusão de Pesos LoRA (média de pesos) e Amostragem de Consenso de Saída Completa (Whole-Output Consensus Sampling - baseado em abstenção).

• Envenenamento Explícito: Ambos os decodificadores de consenso suprimiram com sucesso os prefixos específicos da fonte enquanto mantiveram o comportamento compartilhado "Piada:". O treinamento de união e a fusão de pesos mantiveram tanto o benefício quanto os custos.
• Aprendizado Subliminar: Os métodos de consenso, particularmente o mínimo relativo à base, reduziram significamente a transferência de preferências ocultas de animais (custos) enquanto mantiveram o comportamento de piada compartilhado. As linhas de base padrão mantiveram as preferências ocultas.
• Desalinhamento Emergente: No cenário do conjunto de dados de medicina ruim, os decodificadores de consenso reduziram tanto o desalinhamento amplo (em prompts não médicos) quanto os conselhos médicos ruins específicos, preservando o benefício compartilhado. O consenso de saída completa evitou os custos, mas dependeu fortemente da abstenção.
• Cenários Flexíveis:
  • Suporte Parcial: Quando uma fonte omitiu o benefício compartilhado, o consenso estrito falhou em manter o benefício. A agregação por quórum ($q=3$ de $m=4$) restaurou com sucesso o benefício enquanto suprimia os custos.
  • Discordância de Forma Superficial: Quando as fontes usaram tokens diferentes para a mesma intenção, o consenso estrito perdeu o benefício. A suavização semântica recuperou o comportamento compartilhado (ex: 109/128 marcadores) enquanto manteve os custos próximos de zero.

Significância e Alegações

O artigo alega que a redundância no processo de treinamento, combinada com o consenso em tempo de inferência, pode eliminar o comportamento envenenado específico da fonte que as defesas padrão apenas atenuam.

A significância reside na assimetria estrutural entre comportamentos desejados e prejudiciais: o comportamento desejado é compartilhado por uma maioria de fontes, enquanto os custos são tipicamente específicos de uma fonte. Ao agregar no momento da decodificação, em vez de no momento do treinamento, o método impõe um mecanismo de "veto" onde uma única fonte maliciosa não consegue elevar a probabilidade de um token.

Os autores observam limitações:

• Custo de Inferência: O método requer uma passagem direta (forward pass) através de cada modelo de referência para cada token.
• Custos Amplamente Suportados: Se um custo for suportado por uma maioria de fontes (ou se um atacante puder simular múltiplas fontes), o mecanismo de consenso não pode distinguir o custo do benefício.
• Fontes Adaptativas: A avaliação atual assume que as fontes não se adaptam ao decodificador; um atacante "consciente da defesa" poderia teoricamente suprimir comportamentos úteis ao reduzir as probabilidades.

O artigo conclui que a decodificação por consenso oferece uma defesa robusta contra o desalinhamento oculto e emergente no ajuste fino de múltiplas fontes, desde que a premissa de que o benefício é suportado por mais fontes do que qualquer custo individual se mantenha.