Resumo Técnico: Autoencoders Esparsos Regularizados por Grafos para Direcionamento de Segurança em LLMs

1. Declaração do Problema

Modelos de Linguagem de Grande Porte (LLMs) possuem capacidades robustas, mas permanecem vulneráveis a prompts adversariais e jailbreaks que induzem gerações prejudiciais. Mecanismos de segurança eficazes devem equilibrar dois requisitos concorrentes: bloquear confiavelmente saídas nocivas, preservando a utilidade em consultas benignas e de uso duplo.

As defesas atuais enfrentam limitações significativas:

• Guardrails de caixa-preta (ex.: filtragem de prompts, classificadores de saída) operam fora do cálculo interno do modelo, tornando-os frágeis sob deslocamentos de distribuição e carecendo de robustez adaptativa.
• Métodos baseados em internos (ex.: adições de ativação, direções de recusa) intervêm diretamente nas representações ocultas. No entanto, muitas dessas abordagens, incluindo Autoencoders Esparsos (SAEs) padrão, tratam características latentes como independentes. Essa prioridade de independência corresponde mal a comportamentos de segurança de alto nível, como recusa e conformidade nociva, que estudos recentes sugerem dependerem de estruturas distribuídas e não lineares no espaço de ativação, e não de eixos semânticos isolados.

O problema central abordado é que SAEs padrão podem fragmentar conceitos de segurança coerentes em características fracamente alinhadas, reduzindo a estabilidade e a eficácia das direções de direcionamento derivadas deles.

2. Metodologia

Os autores propõem Autoencoders Esparsos Regularizados por Grafos (GSAE), um framework que aprende direções de direcionamento de segurança mais suaves e estruturalmente coerentes, incorporando a topologia das co-ativações de neurônios. O método consiste em três fases:

2.1 Treinamento Regularizado por Grafos (GSAE)

Os autores estendem o objetivo padrão do SAE adicionando uma penalidade de suavidade Laplaciana sobre um grafo de co-ativação de neurônios.

• Construção do Grafo: Um grafo não direcionado $G=(V, E)$ é construído onde os nós representam neurônios em uma camada-alvo. Os pesos das arestas são definidos pela similaridade de cosseno com limiar dos perfis de ativação dos neurônios em um conjunto retido de prompts rotulados por segurança.
• Função Objetivo: A perda de treinamento combina erro de reconstrução, esparsidade ($L_1$), perda de classificação supervisionada (via uma sonda linear) e o novo termo de regularização de grafo:
  $$L_{GSAE} = \|h - \hat{h}\|^2_2 + \lambda_{spar}\|z\|_1 + \lambda_{sup}L_{cls} + \lambda_{graph} \sum_{j=1}^k (W^{(d)}_{\cdot, j})^\top L W^{(d)}_{\cdot, j}$$
  Aqui, $L$ é o Laplaciano normalizado simétrico do grafo de co-ativação. O termo do grafo penaliza direções do decodificador que variam abruptamente entre neurônios fortemente co-ativados, enviesando o dicionário aprendido para modos próprios de baixa frequência que respeitam a estrutura distribuída de padrões relevantes para segurança.

2.2 Construção do Banco de Direcionamento

Nem todas as características aprendidas são adequadas para direcionamento. Os autores constroem um "banco de direcionamento" curado, pontuando as direções do decodificador contra três critérios independentes:

1. Coerência Estrutural ($s_{coh}$): Mede a suavidade de uma direção no grafo de neurônios (baixa energia de Dirichlet).
2. Relevância Preditiva ($s_{rel}$): A magnitude do coeficiente na sonda linear treinada para prever rótulos de segurança.
3. Eficácia da Intervenção ($s_{eff}$): A mudança real no comportamento do modelo (redução de dano versus recusa excessiva) quando a direção é aplicada.

As direções são pontuadas usando uma média geométrica ponderada dessas métricas. Apenas direções que se saem bem em todos os três critérios são retidas no banco final.

2.3 Direcionamento em Tempo de Execução com Controlador de Duas Portas

Para evitar degradação do desempenho em tarefas benignas, o GSAE emprega um pipeline de direcionamento seletivo com duas portas:

• Porta de Entrada: Avalia a pontuação de risco no nível do prompt antes da geração. Se o risco for alto, dispara uma recusa imediata; se baixo, a geração prossegue sem direcionamento.
• Porta de Continuação: Monitora o risco no nível do token durante a geração. Ativa o direcionamento apenas quando o risco sobe acima de um limiar alto e desativa-o apenas quando o risco cai abaixo de um limiar baixo (usando histerese para evitar comutação instável).
• Intervenção: Quando ativa, o controlador aplica um deslocamento corretivo aos estados ocultos subtraindo uma soma ponderada das direções do banco de direcionamento, escaladas pelo seu alinhamento com o estado oculto atual.

3. Contribuições Principais

1. Objetivo GSAE: Introdução de um objetivo de SAE regularizado por grafos que impõe suavidade sobre um grafo de co-ativação de neurônios, abordando a limitação de prioridades de independência em SAEs padrão.
2. Pipeline de Direcionamento Seletivo: Desenvolvimento de um método de construção de banco multicritério (coerência, relevância, eficácia) combinado com um controlador de tempo de execução de duas portas (entrada e continuação) para garantir intervenção seletiva.
3. Isolamento Empírico: Estudos de ablação controlada demonstrando que a regularização por grafos melhora especificamente a qualidade das direções de intervenção derivadas de SAEs, distinto dos benefícios do controle de portas a jusante ou da construção do banco.

4. Resultados Experimentais

O método foi avaliado principalmente no Llama-3-8B-base, com validação cruzada em Mistral 7B, Qwen 2.5 14B e Phi-4 15B.

• Desempenho de Segurança: No JailbreakBench, substituindo um SAE padrão por GSAE (em um pipeline idêntico), a pontuação de recusa seletiva ($\Delta s = HRR - SRR$) melhorou em 20,1 pontos (de 58,8% para 78,9%). Ganhos semelhantes foram observados no HarmBench (+16,8 pontos) e no XSTest.
• Comparação com Baselines: O GSAE superou baselines de direcionamento de ativação (ex.: CAA, SafeSwitch) e guardrails de caixa-preta (ex.: Llama Guard entrada+saída), mantendo throughput comparável ou melhor.
• Preservação de Utilidade: O método preservou o desempenho em tarefas benignas, com apenas uma queda média modesta (4,2 pontos) em benchmarks de utilidade (TriviaQA, GSM8K, TruthfulQA) em comparação com a baseline sem direcionamento.
• Generalização: Os ganhos de desempenho transferiram-se entre diferentes arquiteturas de modelo (Mistral, Qwen, Phi).
• Robustez: O GSAE manteve-se forte sob ataques de jailbreak de caixa-preta (AutoDAN, TAP) e caixa-cinza (GCG). No entanto, sob um teste de estresse de caixa-branca consciente de direcionamento (onde o atacante tem acesso aos vetores do banco e aos limiares das portas), a robustez degradou, com a Taxa de Recusa Nociva (HRR) caindo para 51,9%.
• Análise de Mecanismo: Sondas diagnósticas indicaram que o GSAE ativa trajetórias de recusa explícitas, em vez de meramente deslocar estados ocultos para uma região de aparência benigna (deslocamento de centróide seguro).

5. Significado e Alegações

O artigo alega que a regularização por grafos é um viés indutivo crítico para aprender direções de direcionamento de segurança a partir de SAEs. A descoberta principal é que comportamentos de segurança em LLMs são distribuídos e não lineares; impor suavidade estrutural sobre neurônios co-ativados previne a fragmentação de conceitos de segurança, levando a direções de intervenção mais eficazes.

Os autores enfatizam que sua contribuição é controlada e funcional: eles isolam a melhoria específica ganha pelo termo de grafo sob um pipeline a jusante correspondente. Eles não alegam ter descoberto a circuitaria mecânica completa da recusa, mas sim que direções regularizadas por grafos fornecem uma base superior para direcionamento seletivo.

O trabalho destaca um compromisso prático de implantação: o controlador completo de duas portas oferece precisão no nível do token a um custo moderado de latência, enquanto uma variante com apenas porta de entrada retém grande parte do ganho de segurança com menor sobrecarga. Os autores reconhecem limitações, observando que o método requer acesso a estados ocultos (modelos de pesos abertos), depende de um grafo de co-ativação fixo que pode não se adaptar a deslocamentos de distribuição e é vulnerável a ataques de caixa-branca que expõem os internos do direcionamento.