Resumo Técnico: NeST (Neuron Selective Tuning) para Segurança de LLM

1. Declaração do Problema

A implantação responsável de Grandes Modelos de Linguagem (LLMs) requer um alinhamento de segurança robusto para evitar a geração de conteúdo prejudicial ou que viole políticas. No entanto, os métodos existentes de alinhamento de segurança enfrentam limitações significativas em relação à eficiência, consciência estrutural e manutenibilidade:

• Ajuste Fino Total (Full Fine-Tuning): Embora eficaz, atualizar todos os parâmetros do modelo é computacionalmente caro e intensivo em termos de armazenamento, tornando-o impraticável para atualizações frequentes à medida que modelos, políticas ou estratégias de ataque evoluem.
• Ajuste Fino Eficiente em Parâmetros (PEFT): Métodos como a Adaptação de Baixo Rank (LoRA) reduzem os custos computacionais, mas frequentemente tratam o espaço de parâmetros como homogêneo. Eles não visam os mecanismos internos específicos responsáveis pelo comportamento de recusa, levando a ganhos de segurança inconsistentes e potencial degradação das capacidades gerais.
• Intervenções em Tempo de Inferência: Abordagens que suprimem ativações prejudiciais durante a inferência (ex: Circuit Breakers) introduzem overhead de tempo de execução e complicam a implantação sem moldar permanentemente as representações internas de segurança do modelo.

Essas limitações dificultam atualizações de segurança rápidas, confiáveis e mantíveis, particularmente em configurações de implantação hospedadas, onde os modelos são frequentemente adaptados para tarefas de downstream.

2. Metodologia: Estrutura NeST

O NeST (Neuron Selective Tuning) é uma estrutura de alinhamento de segurança post-hoc projetada para ser eficiente em parâmetros, consciente da estrutura e mantível. Ele opera sob um modelo de ameaça de implantação de caixa-preta, onde o defensor tem acesso offline aos internos do modelo para o ajuste, enquanto os atacantes interagem apenas via prompts.

A estrutura consiste em três estágios primários:

2.1. Identificação de Neurônios de Segurança

O NeST localiza os componentes internos responsáveis pelo comportamento de segurança analisando as ativações de um modelo pré-alinhado com segurança.

• Dados: Um conjunto de dados equilibrado de prompts maliciosos vanilla (ex: "Como fazer uma bomba?") e prompts benignos é utilizado.
• Extração de Ativação: Ativações ao nível de token são extraídas dos módulos de rede feed-forward (FFN) (especificamente gate_proj e up_proj) através de todas as camadas do transformer.
• Agrupamento (Pooling): Para capturar o sinal mais forte, o pooling de máximo coordenada a coordenada é aplicado sobre a sequência de tokens para cada neurônio.
• Sondagem (Probing): Uma sonda linear leve é treinada para distinguir entre prompts maliciosos e benignos com base nessas ativações de neurônios.
• Seleção: Neurônios com pesos de sonda positivos elevados (indicando forte associação com intenção prejudicial) são selecionados como "neurônios de segurança". Esta seleção é padronizada por camada para garantir comparabilidade.

2.2. Agrupamento de Neurônios (Clustering)

Para evitar atualizações instáveis e não coordenadas e reduzir ainda mais a contagem de parâmetros, o NeST agrupa os neurônios de segurança identificados.

• Clustering: Os neurônios são agrupados com base na similaridade de seus perfis de ativação através do conjunto de prompts usando k-means.
• Determinação de Cluster: O número ideal de clusters ($k$) é determinado maximizando o coeficiente de silhueta. Se nenhum agrupamento significativo for encontrado, todos os neurônios de segurança em uma camada são tratados como um único grupo.
• Racional: Assume-se que neurônios com padrões de ativação semelhantes desempenham papéis funcionais semelhantes no comportamento de segurança e podem compartilhar parâmetros de atualização.

2.3. Treinamento e Fusão Baseados em Cluster

• Treinamento: O NeST realiza o ajuste fino supervisionado em um conjunto de dados de segurança (prompts maliciosos pareados com respostas de recusa; prompts benignos pareados com respostas úteis).
• Restrição de Parâmetros: Apenas os neurônios de segurança selecionados são atualizados. Especificamente, um vetor de atualização treinável compartilhado é aprendido para cada cluster. Todos os neurônios não selecionados e os pesos do modelo base permanecem congelados.
• Fusão (Merging): Após o treinamento, as atualizações de cluster aprendidas são incorporadas diretamente nos pesos originais do modelo. Isso resulta em um modelo padrão com zero de overhead de tempo de inferência.
• Endurecimento de Downstream (Downstream Hardening): Os neurônios de segurança identificados e suas atribuições de cluster constituem um "prior de segurança". Este prior pode ser transferido para variantes de downstream do mesmo modelo base. Ao reutilizar o mapeamento estrutural, o NeST pode restaurar a segurança em modelos de downstream via treinamento de recuperação leve sem redescobrir as estruturas de segurança.

3. Principais Contribuições

1. Estrutura de Ajuste de Neurônio Seletivo: Introdução do NeST, que alinha as atualizações de parâmetros com estruturas de segurança localizadas e funcionalmente coerentes, em vez de camadas ou projeções genéricas.
2. Mecanismo de Adaptação Baseado em Cluster: Um método inovador que agrupa neurônios relevantes para a segurança por similaridade de ativação e aprende atualizações compartilhadas dentro de cada grupo, equilibrando eficiência de parâmetros com coerência funcional.
3. Robustez Empírica: Demonstração de forte robustez de segurança em 14 LLMs de pesos abertos (variando de 1B a 27B de parâmetros) abrangendo configurações apenas de texto e multimodais.
4. Endurecimento Post-Hoc de Downstream: Validação de que o prior de segurança identificado em um modelo base pode ser reutilizado para restaurar eficientemente a segurança em variantes de downstream ajustadas, abordando o "imposto de segurança" do alinhamento repetido.

4. Resultados Experimentais

O artigo avalia o NeST contra baselines incluindo Full Fine-Tuning (Full FT), LoRA, Circuit Breaker e SN-Tune em 14 modelos.

• Eficácia de Segurança (Taxa de Sucesso de Ataque - ASR):

  • Modelos Apenas de Texto: O NeST reduz o ASR médio de um baseline de 44,5% para 1,1%. Este desempenho é comparável ao Full FT (1,0%) e supera significativamente o LoRA (7,6%) e outros baselines leves.
  • Modelos Multimodais: Através de quatro modelos multimodais, o NeST reduz o ASR médio de 55,3% para 1,1%, mantendo a eficácia em configurações de inferência de texto, imagem e raciocínio aumentado.
  • Variantes de Downstream: Para 10 modelos de downstream ajustados onde a segurança foi degradada (ASR médio de 53,8%), o NeST restaurou a segurança para 0,8%.

• Eficiência de Parâmetros:

  • O NeST treina apenas 0,4M de parâmetros em média.
  • Isso representa uma redução de mais de 5.800× em comparação ao Full FT e mais de 3× em comparação ao baseline de LoRA de menor rank.
  • Apesar da drástica redução de parâmetros treináveis, o NeST alcança níveis de ASR comparáveis ao Full FT.

• Utilidade e Sobre-Recusa (Over-Refusal):

  • O NeST preserva as capacidades centrais de raciocínio (GSM8K, ARC, MMLU) com apenas quedas menores de desempenho (ex: a precisão do GSM8K caiu 0,9 pontos percentuais).
  • A Taxa de Sobre-Recusa (ORR) em prompts benignos é baixa (média de 0,9%), indicando que o método não suprime indiscriminadamente respostas úteis.

• Estabilidade:

  • Os resultados permanecem consistentes em diferentes benchmarks de jailbreak (WildJailbreak, JailBreakV-28k) e juízes de segurança (Qwen3Guard, Llama-Guard).
  • A detecção de neurônios de segurança é estável entre diferentes sementes aleatórias e datasets prejudiciais (similaridade média de Jaccard >76%).

5. Significância e Alegações

O artigo afirma que o NeST demonstra que um alinhamento de segurança robusto e mantível pode ser alcançado concentrando a adaptação em estruturas de segurança localizadas e funcionalmente coerentes, em vez de modificar todo o modelo.

• Praticidade: Ao incorporar as atualizações nos pesos, o NeST elimina o overhead de tempo de inferência, tornando-o adequado para implantação em produção.
• Manutenibilidade: A capacidade de transferir um "prior de segurança" (clusters de neurônios) para modelos de downstream oferece uma solução escalável para manter a segurança à medida que os modelos são especializados para vários domínios, línguas ou tarefas.
• Insight Estrutural: O trabalho fornece evidência empírica de que o comportamento de segurança não é distribuído uniformemente, mas sim localizado em neurônios específicos que podem ser identificados e visados eficientemente.

Os autores posicionam o NeST não apenas como uma ferramenta de segurança, mas como uma estrutura geral para adaptação de parâmetros eficiente em parâmetros e específica para tarefas baseada em estrutura de neurônios, sugerindo sua potencial aplicabilidade além do alinhamento de segurança.