Resumo Técnico: Olhando no Espelho: Introspecção de Desalinhamentos de Efeitos Colaterais Induzidos por Ajuste Fino

1. Declaração do Problema

O ajuste fino (fine-tuning) é o mecanismo padrão para adaptar modelos de fundação a domínios, tarefas ou políticas específicas. No entanto, esse processo pode degradar as propriedades de alinhamento do modelo de origem, levando a "desalinhamentos de efeitos colaterais". Estes são mudanças não pretendidas em comportamentos relevantes para a segurança (ex: enfraquecimento de recusa, aumento de conformidade prejudicial ou redução de honestidade) que ocorrem mesmo quando os dados de ajuste fino são benignos e não foram explicitamente projetados para alterar a segurança.

As estratégias de mitigação atuais dependem de avaliação post-hoc usando benchmarks de segurança e red-teaming. Esses métodos são caros, possuem cobertura limitada e são difíceis de repetir para cada variante ajustada. Embora trabalhos recentes tenham explorado a "aprendizagem de introspecção" — treinando modelos para descrever suas próprias mudanças de comportamento via Adaptadores de Introspecção (IAs) — os estudos existentes operam sob uma premissa simplificada: o modelo é ajustado para implantar explicitamente um comportamento específico, e a tarefa de introspecção é relatar esse comportamento conhecido.

Isso cria uma lacuna entre os cenários de pesquisa e a implantação prática. Em cenários do mundo real, desenvolvedores frequentemente ajustam modelos em tarefas não relacionadas (ex: suporte ao cliente) e posteriormente precisam detectar se a segurança degradou como um efeito colateral indesejado. Nesses casos, não existe um "rótulo de comportamento" explícito no momento do ajuste fino para servir como alvo de treinamento para a introspecção. O modelo deve inferir e descrever mudanças que nunca foram o objetivo primário dos dados de treinamento.

2. Metodologia

2.1 Introspecção de Efeito Colateral

Os autores formulam um novo cenário de problema chamado introspecção de efeito colateral. Diferente do trabalho anterior, onde o alvo da explicação coincide com o objetivo do ajuste fino, aqui o objetivo é descrever mudanças de alinhamento ($\delta_{i,c}$) que emergem como efeitos colaterais do ajuste fino em uma tarefa ($b_i$) que pode não estar relacionada à segurança.

Para operacionalizar isso, os autores constroem um conjunto de dados supervisionado:

1. Coleta de Dados: Eles coletaram 213 modelos ajustados (adaptadores LoRA) do Hugging Face, derivados dos modelos base Qwen3-14B e Gemma3-12B-it. As tarefas de treinamento para esses adaptadores não eram necessariamente relacionadas à auditoria de segurança.
2. Medição de Mudança: Cada modelo ajustado foi avaliado contra seu modelo base usando um conjunto de benchmarks de segurança (StrongREJECT, HarmBench, HEx-PHI, AdvBench) através de 13 categorias de segurança (ex: violência, cibernética, fraude).
3. Construção de Rótulos: A diferença nos escores de conformidade prejudicial entre o modelo ajustado e o modelo base ($\Delta e_{i,c}$) foi calculada. Essas mudanças escalares foram verbalizadas em rótulos de linguagem natural (ex: "ligeiramente mais arriscado", "substancialmente mais seguro") usando modelos baseados em regras.
4. Dados de Treinamento: O conjunto de dados resultante consiste em triplas $(M_{\theta_i}, q_{c,k}, y_{i,c,k})$, onde o modelo é solicitado a descrever a mudança de segurança em uma categoria específica com base na diferença medida.

2.2 Adaptador de Introspecção Consciente do Delta (DAIA)

Os IAs existentes tipicamente processam a computação mesclada do modelo base e da atualização do ajuste fino. Os autores argumentam que isso é insuficiente para detectar sinais fracos de efeitos colaterais. Eles propõem o DAIA, uma arquitetura de adaptador projetada para processar explicitamente tanto as ativações do modelo base quanto as diferenças induzidas pelo ajuste fino.

Em uma configuração padrão de PEFT (Ajuste Fino de Parâmetros Eficientes) aditiva, a saída é $h_{FT} = W_0x + \Delta h_{FT}$. Um IA padrão computa sua atualização baseando-se apenas no dado de entrada $x$. O DAIA modifica isso mantendo dois ramos paralelos em cada camada adaptada:

1. Ramo Base: Processa a ativação do modelo base $h_{base}$.
2. Ramo Delta: Processa a atualização do ajuste fino $\Delta h_{FT}$ (a saída do adaptador LoRA existente).

A atualização do DAIA é computada como:
$$h_{DAIA} = B_{DAIA} [A_{base}(\text{LN}_{base}(h_{base})) ; A_{\Delta}(\text{LN}_{\Delta}(\Delta h_{FT}))]$$
Este design permite que o módulo de introspecção atenda explicitamente à diferença induzida pelo ajuste fino, em vez de apenas ao estado final mesclado, teoricamente melhorando a sensibilidade a mudanças sutis de efeitos colaterais.

3. Principais Contribuições

1. Formulação do Problema: O artigo define a introspecção de efeito colateral, um cenário onde o modelo deve explicar mudanças de alinhamento que são efeitos colaterais não pretendidos do ajuste fino, em vez de comportamentos explicitamente implantados.
2. Construção de Dataset: Um novo conjunto de dados supervisionados é construído usando 213 modelos ajustados do mundo real e 1.523 amostras de benchmarks de segurança, cobrindo 13 categorias de segurança.
3. Arquitetura DAIA: A proposta do Adaptador de Introspecção Consciente do Delta, que separa e processa explicitamente as ativações base e as diferenças induzidas pelo ajuste fino para aumentar a sensibilidade aos efeitos colaterais.
4. Validação Empírica: Demonstração de que a aprendizagem de introspecção generaliza para cenários fora de distribuição (OOD) (modelos não vistos e categorias de segurança não vistas) e que o DAIA supera consistentemente os adaptadores de introspecção baseados em LoRA existentes.

4. Resultados

4.1 Mudanças de Alinhamento

A avaliação dos 213 modelos ajustados revelou que o ajuste fino em tarefas não maliciosas frequentemente induz desalinhamentos de efeitos colaterais mensuráveis.

• Direção: Em muitas categorias, o escore médio de desalinhamento mudou positivamente (tornando-se mais arriscado), particularmente em Desinformação, Cibernética e Fraude.
• Heterogeneidade: As mudanças não foram uniformes; algumas categorias (ex: Direitos Autorais) mostraram mudanças mais seguras em média, enquanto outras variaram significamente entre famílias de modelos.
• Variabilidade: Os desvios padrão foram frequentemente maiores que as mudanças médias, indicando que as mudanças de alinhamento são altamente específicas para modelos ajustados individuais, em vez de seguirem uma tendência global.

4.2 Desempenho de Classificação

Os autores avaliaram a capacidade dos IAs de prever a direção (mais seguro/inalterado/mais arriscado) e o grau (leve/substancial) das mudanças de segurança em três cenários OOD:

• OOD-A: Modelos não vistos, categorias vistas.
• OOD-B: Modelos vistos, categorias não vistas.
• OOD-C: Modelos não vistos, categorias não vistas.

Descobertas:

• DAIA vs. LoRA: O DAIA superou consistentemente os adaptadores de introspecção baseados em LoRA padrão em todos os cenários. Em OOD-A, o DAIA melhorou os escores F1 em aproximadamente seis pontos sobre o LoRA.
• Generalização: Ambos os métodos de introspecção superaram significativamente o acaso, as linhas de base de classe majoritária e os modelos ajustados brutos, demonstrando generalização OOD.
• Baseline de Prova: Uma prova simples (classificador MLP em estados internos) alcançou desempenho comparável aos métodos de introspecção em tarefas de classificação. Isso sugere que, em tarefas de classificação diretas, a introspecção pode funcionar de forma semelhante a um classificador sobre estados internos. Os autores observam que a verdadeira vantagem da introspecção pode residir em tarefas de relatório de texto livre, que não foram o foco principal desta avaliação.

4.3 Análise Mecanística

Usando activation patching, os autores analisaram como o DAIA forma seus julgamentos:

• Formação de Julgamento: O julgamento final de "mais seguro/mais arriscado" é formado principalmente nas camadas MLP dos pesos base nas camadas posteriores do modelo, imediatamente antes da geração do token de saída.
• Papel do DAIA: Os adaptadores (DAIA) não produzem o julgamento diretamente, mas sim condicionam as representações internas usadas para o julgamento.
• Consciência do Delta: O DAIA depende mais fortemente das diferenças de ativação induzidas pelo ajuste fino ($\Delta h$) do que das ativações base ($h_{base}$), confirmando seu design pretendido de focar nas mudanças induzidas pelo ajuste fino.

5. Significância e Alegações

O artigo alega que a introspecção de efeito colateral é uma evolução necessária da auditoria de modelos, indo além de ambientes controlados onde os comportamentos são explicitamente implantados. Ao construir um conjunto de dados de mudanças não pretendidas e propor o DAIA, o trabalho demonstra que os modelos podem ser treinados para relatar autonomamente degradações de segurança causadas por ajustes finos benignos.

Os autores são modestos em suas alegações sobre a natureza da introspecção. Eles reconhecem que os métodos atuais podem funcionar amplamente como classificadores sobre estados internos em vez de realizar raciocínios complexos. Eles postulam que o valor prático da introspecção reside em seu potencial para servir como um "diagnóstico de primeira passagem barato" antes da avaliação completa por benchmark, particularmente em cenários onde testes externos são caros demais para repetir para cada variante. O trabalho futuro é identificado como o movimento além da classificação para gerar relatórios de texto livre descrevendo por que os desalinhamentos ocorreram.