Resumo Técnico: Circuitos de Recusa Universais em LLMs

1. Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) alinhados frequentemente exibem um "comportamento de recusa", declinando responder a classes específicas de prompts de uma maneira estilizada. Embora pesquisas anteriores tenham identificado que a recusa pode ser modulada via intervenções de baixo posto em representações internas, edições ingênuas frequentemente causam "danos colaterais", incluindo perda de capacidade, desvio de estilo e mudanças comportamentais indesejadas devido ao emaranhamento polissêmico.

A questão mecânica central abordada por este artigo é: Os circuitos de recusa são universais entre LLMs? Especificamente, um circuito de recusa extraído de um modelo "doador" pode ser transferido para um modelo "alvo" (potencialmente com diferentes arquiteturas, escalas ou regimes de treinamento) para atenuar a recusa sem usar qualquer supervisão específica de recusa no modelo alvo? Os autores tratam a ablação de recusa como uma ferramenta de medição para a universalidade do circuito, em vez de uma recomendação de implementação.

2. Metodologia: Replay de Trajetória via Reconstrução de Base de Conceitos

O framework proposto, Trajectory Replay (Replay de Trajetória), transfere intervenções de recusa de um doador para um alvo reconstruindo a composição semântica da recusa usando um vocabulário compartilhado de "átomos de conceitos". O processo opera sob um orçamento de informação estrito ($B_0$), onde o modelo alvo nunca é exposto a prompts prejudiciais ou rótulos de recusa.

A metodologia consiste em quatro estáções:

Estágio 1: Alinhamento de Camada Semântica

Para mapear a trajetória de recusa do doador para o alvo, as camadas são alinhadas com base na estrutura de correlação dos átomos de conceitos, em vez do índice da camada.

• Registro de Átomos de Conceitos (CAR): Um conjunto compartilhado de direções computadas a partir de conjuntos de prompts disjuntos que representam conceitos específicos (ex: "Decepção", "Sinalização de Segurança"). Eles servem como um vocabulário compartilhado entre os modelos.
• Impressões Digitais de Gram (Gram Fingerprints): A estrutura de correlação (matriz de Gram) dos átomos de conceitos é computada para cada camada.
• Dynamic Time Warping (DTW): As camadas do doador são mapeadas para as camadas do alvo minimizando a distância entre suas impressões digitais de Gram. Isso garante monotonicidade e continuidade, evitando artefatos de permutação de camadas e acomodando diferenças arquiteturais (ex: Dense vs. MoE).

Estágio 2: Reconstrução de Base de Conceitos

A direção de recusa é decomposta em uma "receita" de átomos de conceitos no doador e reconstruída no alvo.

• Decomposição do Doador: Uma direção de recusa "limpa" ($r_{D, clean}$) é extraída do doador (usando Surgical Refusal Ablation, SRA) e expressa como uma mistura linear de átomos de conceitos do doador ($A_D$) via regressão ridge para encontrar os coeficientes $w$.
• Reconstrução do Alvo: O mesmo vetor de coeficientes $w$ (a "receita") é aplicado aos átomos de conceitos do alvo ($A_T$) para reconstruir uma direção de recusa do alvo: $\tilde{r}_T = A_T w$. Isso operacionaliza a hipótese de que a recusa é uma mistura estável sobre átomos de conceitos compartilhados.

Estágio 3: Guarda de Estabilidade Weight-SVD

Para evitar que a intervenção danifique capacidades fundamentais, a direção reconstruída é projetada para longe de subespaços de alta variância das matrizes de pesos.

• Racional: Hipotetiza-se que as capacidades fundamentais (sintaxe, lógica) residem nos componentes principais de alta variância das matrizes de pesos, enquanto inibições semânticas específicas (recusa) existem em subespaços de baixo posto.
• Implementação: A direção de intervenção é projetada no espaço nulo dos top-$k$ vetores singulares à direita da matriz de peso editada. O limiar $k$ é selecionado para manter a degradação na perplexidade benigna (em um conjunto de validação como WikiText) abaixo de um limiar predefinido (ex: <1%).

Estágio 4: Replay

A direção reconstruída e estabilizada é aplicada como uma atualização de supressão de posto um nas matrizes de projeção de saída (O-proj) dos blocos transformer alinhados no modelo alvo.

3. Principais Contribuições

1. Hipótese de Universalidade Semântica (Operacionalizada): O artigo propõe que a recusa é mais estável no espaço conceitual, caracterizada por uma mistura agnóstica ao modelo sobre átomos de conceitos compartilhados.
2. Framework de Trajectory Replay: Um protocolo de transferência do doador para o alvo que utiliza um registro compartilhado de átomos de conceitos para reconstruir direções de recusa sem supervisão de recusa no lado do alvo.
3. Guarda de Estabilidade Weight-SVD: Um mecanismo para evitar o colapso de capacidade ao projetar intervenções para longe dos subespaços principais do espaço de pesos, análogo às restrições de espaço nulo em edição de modelos.
4. Avaliação e Auditoria Rigorosas: Uma avaliação através de 8 pares de modelos (incluindo transferências Dense-para-MoE e cross-family) com uma auditoria explícita de "botão/orçamento" para garantir que nenhum ajuste oculto ocorreu no lado do alvo.

4. Resultados Experimentais

O framework foi avaliado em 8 pares de doador/alvo, incluindo transferências cross-family (Qwen3-VL $\leftrightarrow$ Ministral), transferências reversas e testes de estresse arquitetural (Dense $\to$ MoE, Dense $\to$ Reasoning-Tuned).

• Atenuação de Recusa: As receitas transferidas atenuaram consistentemente as taxas de recusa. Por exemplo, na transferência Qwen3-VL-2B $\to$ Ministral-3-14B, a taxa de recusa caiu de 0,98 para 0,02. Na transferência Dense $\to$ Reasoning (GLM-4.6V), a taxa de recusa caiu para 1%.
• Preservação de Capacidade: Em todos os pares, o desempenho em tarefas benignas (GSM8K para matemática, MBPP para codificação) permaneceu estável. Na transferência GLM-4.6V, houve até um leve delta positivo na precisão de matemática e código, sugerindo que a remoção de circuitos de recusa pode reduzir a interferência com capacidades de raciocínio.
• Validações de Controle: Estudos de ablação confirmaram que o efeito é específico à receita semântica.
  • Direção aleatória e transferências de conceito não relacionado falharam em reduzir a recusa.
  • Wrong-map (camadas permutadas) causou degradação significativa de capacidade.
  • No-guard (desativar a projeção SVD) resultou em degradação catastrófica de perplexidade e colapso de capacidade, validando a necessidade da guarda de estabilidade.

5. Significância e Alegações

O artigo afirma fornecer evidências fortes para a universalidade semântica do alinhamento de segurança. Sugere que a recusa não é um artefato opaco e específico do modelo, mas é implementada via um circuito semanticamente universal — uma mistura estável sobre um vizinhança de conceitos compartilhados.

• Insight Mecânico: A "receita" ($w$) funciona como um sistema de coordenadas semânticas cross-modelo, permitindo que um doador decomponha a recusa em átomos compartilhados que o alvo pode reinstanciar em sua própria base representacional.
• Reconhecimento de Uso Dual: Os autores reconhecem explicitamente o risco de uso duplo: embora o método seja enquadrado como uma ferramenta de diagnóstico para medir a similaridade de circuitos, as mesmas técnicas poderiam teoricamente ser reaproveitadas para contornar as salvaguardas de segurança em modelos alinhados.
• Limitações: Os autores observam que a eficácia depende da cobertura do Registro de Átomos de Conceitos (CAR). Se a recusa operar em características semânticas ortogonais à base de 20 conceitos usada (ex: restrições visuais de segurança complexas), a reconstrução pode falhar. Além disso, o método é estritamente white-box, exigindo acesso aos pesos e ativações.

O trabalho reestrutura a edição de recusa como um teste para a universalidade de circuitos cross-modelo, apoiando a hipótese de que diversos pipelines de treinamento podem produzir estruturas de gating semânticas semelhantes.