Resumo Técnico: Atribuição de Dados Mecanística Simbólica (SMDA)

Definição do Problema

Os métodos existentes de atribuição de dados, incluindo a Atribuição de Dados Mecanística (MDA), são eficazes ao rastrear exemplos de treinamento até circuitos de baixo nível pré-caracterizados (ex: neurônios, cabeças de atenção ou características de SAE conhecidas). No entanto, eles têm dificuldade em explicar como os dados de treinamento moldam decisões comportamentais de alto nível onde o circuito subjacente não é conhecido a priori. Essa lacuna limita a capacidade de diagnosticar fenômenos de segurança complexos, como conformidade prejudicial, sicofancia ou comportamentos de recusa, que frequentemente emergem da interação de múltiplos componentes, em vez de uma única unidade identificável. Além disso, as funções de influência padrão operam como caixas pretas, enquanto a análise de circuito manual não é escalável para políticas de alto nível.

Metodologia: Atribuição de Dados Mecanística Simbólica (SMDA)

Os autores propõem o SMDA, um framework que atribui a influência do treinamento a uma política simbólica aprendida sobre características de Autoencoders Esparsos (SAE), em vez de a um componente de circuito especificado manualmente. O método opera através das seguintes etapas:

1. Construção da Política Simbólica:

   • O framework extrai ativações de características de SAE de uma camada específica (Camada 10 da Llama-3.2-3B-Instruct) para um conjunto de avaliação retido (held-out).
   • Ele seleciona um subconjunto de características ($d=75$) que apresentam diferenças substanciais de ativação entre prompts prejudiciais e inofensivos.
   • Uma regressão de Ridge de forma fechada é ajustada para modelar o comportamento alvo (propensão à recusa) como uma função dessas características de SAE. O resultado é um vetor de pesos de política simbólica $W$, onde cada entrada representa a contribuição de uma característica específica para a decisão de recusa.

2. Computação de Influência:

   • Para um determinado par de treinamento de ajuste fino supervisionado (SFT) $z_i$, o SMDA aproxima o efeito de um único passo de gradiente nos pesos da política simbólica $W$.
   • O deslocamento nos pesos, $\Delta W_i$, é decomposto analiticamente em dois caminhos usando uma expansão de Taylor de primeira ordem:
     • Caminho $\Delta X$: Mudanças nas ativações internas das características de SAE causadas pela atualização do gradiente.
     • Caminho $\Delta Y$: Mudanças nas log-probabilidades de recusa de saída do modelo causadas pela atualização do gradiente.
   • O escore de influência final é o produto escalar $\langle \Delta W_i, W \rangle$, indicando se o par de treinamento empurra a política mais na direção atual (positivo) ou contra ela (negativo).

3. Configuração Experimental:

   • Modelo: Llama-3.2-3B-Instruct.
   • SAE: Um SAE BatchTopK treinado no fluxo residual da Camada 10, gerando 12.288 características.
   • Dados: 200 pares de treinamento de SFT (100 recusas prejudiciais, 100 conformidades inofensivas) e um conjunto de avaliação de 11.000 prompts divididos em várias configurações (prejudicial-inofensivo, prejudicial-natural, prejudicial-equilibrado).

Principais Contribuições

1. Inovação de Framework: Introdução do SMDA, que desloca o alvo de atribuição de unidades de baixo nível predefinidas para uma política simbólica interpretável sobre características de SAE. Isso permite a atribuição em cenários onde a estrutura do circuito subjacente é desconhecida.
2. Decomposição Analítica: Derivação de uma computação de influência de forma fechada que separa os efeitos de treinamento em caminhos de ativação de característica ($\Delta X$) e probabilidade de saída ($\Delta Y$), fornecendo insights mecanísticos sobre como os dados de treinamento alteram o comportamento.
3. Análise Empírica: Aplicação do SMDA ao comportamento de recusa da Llama-3.2-3B-Instruct, analisando 200 pares de SFT para revelar lacunas sistemáticas no comportamento de segurança e padrões de interferência entre características.

Principais Resultados

A análise da política simbólica e das influências de treinamento rendeu três descobertas primárias:

1. Lacunas Sistemáticas no Comportamento de Segurança:

   • Os coeficientes da política simbólica revelaram que o modelo base detecta conteúdo prejudicial de forma confiável (as características ativam), mas falha em traduzir isso em decisões de recusa.
   • Características associadas a estereótipos religiosos, caracterização de grupos protegidos e enquadramento argumentativo carregavam coeficientes negativos grandes (prevendo conformidade). Isso indica que o modelo representa o dano, mas não aprendeu a política de recusa correspondente para essas categorias.

2. Diferenças Qualitativas na Influência de Treinamento:

   • A decomposição $\Delta X / \Delta Y$ mostrou que pares de treinamento prejudiciais e inofensivos exercem influências qualitativamente diferentes.
   • Para certas características, pares prejudiciais deslocaram primariamente a probabilidade de saída do modelo ($\Delta Y$), enquanto pares inofensivos distribuíram a influência de forma mais equilibrada entre ambos os caminhos. Isso sugere que o ajuste fino de segurança não é um processo uniforme.

3. Interferência entre Características:

   • Pares de treinamento individuais exibiram frequentemente "interferência catastrófica", onde um par visando uma categoria semântica (ex: violência) deslocou significativamente os coeficientes de características semanticamente não relacionadas (ex: solicitações de direitos autorais).
   • O SMDA identificou com sucesso pares de treinamento "descalibrados" onde o efeito dominante recaiu sobre características não pretendidas (ex: um par de recusa sobre conteúdo sexual suprimindo primariamente solicitações informativas gerais), destacando potenciais ineficiências na curadoria de dados de segurança.

Significância e Alegações

O artigo afirma que combinar interpretabilidade mecanística com atribuição de dados gera uma ferramenta de diagnóstico que é mais detalhada que funções de influência de caixa preta e mais escalável que a análise de circuito manual.

• De Circuitos para Políticas: O SMDA preenche a lacuna entre a compreensão de componentes individuais e a compreensão do comportamento de nível de decisão. Ele trata a própria política simbólica como o objeto de atribuição, revelando não apenas quais características existem, mas como o modelo as pondera.
• Utilidade Diagnóstica: O framework fornece sinais interpretáveis para engenharia de segurança, como identificar pares de treinamento que causam interferência indesejada entre características ou revelar categorias específicas onde o modelo detecta o dano, mas falha em recusar.
• Limitações e Escopo: Os autores são modestos quanto ao escopo atual, observando que o SMDA atribui à política simbólica (uma regressão de Ridge de 75 características com ~64–70% de precisão de teste) e não ao modelo completo. Eles declaram explicitamente que, embora o método identifique pares de treinamento com perfis de influência consistentes, ele não realiza validação causal via experimentos de retreinamento para verificar se a remoção de tais pares melhora a segurança downstream. O trabalho é apresentado como uma precondição necessária para futuros estudos de intervenção, em vez de uma ferramenta de curadoria de dados totalmente validada.