Activation Steering for Synthetic Data Generation: The Role of Diversity in Downstream Safety Detection

Resumo Técnico: Direcionamento de Ativação para Geração de Dados Sintéticos

Declaração do Problema
Modelos de detecção de segurança para Grandes Modelos de Linguagem (LLMs) requerem exemplos diversos e de alta qualidade de saídas que violam os princípios de Utilidade, Inofensividade e Honestidade (HHH) para generalizar eficazmente. No entanto, à medida que os modelos passam por alinhamento de segurança via Ajuste Fino Supervisionado (SFT) e Aprendizado por Reforço a partir de Feedback Humano (RLHF), instâncias naturalmente ocorrentes que violam a HHH tornam-se estatisticamente esparsas. Esse desequilíbrio de classes cria um gargalo para o treinamento da próxima geração de classificadores de segurança. Embora jailbreaking e red-teaming existam para sintetizar tais dados, eles operam no espaço discreto de tokens e não aproveitam o conhecimento rico codificado nos estados ocultos de alta dimensão do modelo. O Direcionamento de Ativação (AS) oferece uma alternativa eficiente em termos de dados, ao incentivar gerações em direção a conceitos-alvo por meio de vetores de direcionamento adicionados aos estados ocultos. A questão central abordada é se o AS pode gerar conjuntos de dados de treinamento de alta qualidade para classificadores de segurança a jusante, uma capacidade que permanece não testada na literatura anterior.

Metodologia
Os autores apresentam um estudo de duas frentes envolvendo avaliações intrínsecas e extrínsecas em quatro conceitos que violam a HHH: infidelidade (RAGTruth), toxicidade (RealToxicityPrompts), alucinação e sycophancy (CAAData).

1. Configuração Experimental:

   • Modelos: OLMo-2-7B e OLMo-2-32B.
   • Métodos de Direcionamento: Adição de Ativação Contrastiva (CAA), CAA Normalizada, Máquinas de Recurso Recursivas (RFM) e Regressão Logística.
   • Estratégias: Tanto o direcionamento de todas as camadas quanto de uma única camada foram investigados, com foco no direcionamento de todas as camadas.
   • Geração de Dados: Vetores de direcionamento foram estimados a partir de 128 pares contrastivos por conceito. Esses vetores foram aplicados via adição escalada ($h \leftarrow h + \lambda v$) para gerar respostas de 256 tokens.
   • Eixos de Avaliação:
     • Intrínseca: Sucesso do direcionamento (LLM como Juiz), coerência (modelo de recompensa ArmoRM), diversidade ao nível da amostra (MTLD-MB), diversidade ao nível do conjunto (razão de compressão, diversidade de n-gramas) e comprimento da resposta.
     • Extrínseca: Utilidade a jusante medida pelo ajuste fino de um detector de segurança Mistral-7B nos dados direcionados (substituindo exemplos originais que violam a HHH) e avaliação de sua AUROC em conjuntos de teste retidos.

2. Escolhas de Design: O estudo variou sistematicamente a escala de direcionamento ($\lambda$), o tamanho do modelo e o método de direcionamento para analisar seu impacto nas compensações entre alinhamento, coerência e diversidade.

Principais Contribuições

• Estrutura de Avaliação Rigorosa: O artigo introduz a diversidade ao nível da amostra e do conjunto como eixos de qualidade críticos, anteriormente ausentes na literatura de AS, juntamente com um horizonte de geração mais longo (256 tokens) e testes diretos de utilidade a jusante.
• Diversidade como Eixo Crítico: O estudo identifica que o aumento da força de direcionamento reduz consistentemente a diversidade das respostas, um fenômeno previamente negligenciado no contexto do AS.
• Heurística para Praticantes: Os autores propõem a média harmônica de sucesso, coerência e diversidade como um alvo heurístico prático para ajustar hiperparâmetros do AS, correlacionando-se de forma mais consistente com o desempenho a jusante do que apenas o sucesso ou a coerência.

Resultados

• Achados Intrínsecos:

  • Colapso da Diversidade: O aumento da força de direcionamento ($\lambda$) reduz monotonicamente tanto a diversidade ao nível da amostra quanto ao nível do conjunto. A degradação da diversidade ao nível do conjunto é particularmente severa (correlações tão baixas quanto -0,93).
  • Escala do Modelo: Contrariamente a suposições de que modelos maiores produzem melhor direcionamento, o modelo menor OLMo-7B forneceu consistentemente melhores resultados de direcionamento (maior sucesso, coerência e diversidade) do que o modelo OLMo-32B na maioria das configurações.
  • Compensações: Direcionamento mais forte melhora o alinhamento (sucesso), mas degrada a coerência e a diversidade.

• Achados Extrínsecos:

  • Utilidade a Jusante: Dados gerados por AS produziram classificadores de segurança melhores do que dados gerados por prompting em 3 dos 4 conceitos (Infidelidade, Sycophancy, Alucinação). No entanto, alto desempenho a jusante não foi frequente, ocorrendo em apenas ~26% das execuções.
  • Regime Estreito: A utilidade a jusante bem-sucedida requer um equilíbrio cuidadoso onde sucesso, coerência e diversidade são satisfeitos conjuntamente.
  • Heurística Preditiva: A média harmônica dos três eixos intrínsecos (sucesso, coerência, diversidade) correlacionou-se positivamente com a AUROC a jusante em todos os conjuntos de dados e métodos. Essa correlação foi mais forte e consistente do que usar apenas sucesso ou coerência, fornecendo um sinal confiável de validação para praticantes.

Significado e Alegações
O artigo alega ser o primeiro a avaliar o direcionamento de ativação com métricas ao nível do conjunto e desempenho de classificador a jusante. Seu significado principal reside em demonstrar que o AS é um método viável para sintetizar dados de treinamento de classe rara para detecção de segurança, desde que os praticantes levem em conta o colapso da diversidade.

Os autores enfatizam que a utilidade do AS reside em um "regime estreito" onde a força de direcionamento é ajustada para satisfazer sucesso, coerência e diversidade simultaneamente. Eles argumentam que a média harmônica dessas três métricas serve como uma heurística prática e de baixo custo para substituir varreduras de hiperparâmetros caras. O estudo conclui que, embora o AS tenha potencial para melhorar a detecção de segurança, sua eficácia é altamente sensível à configuração, e o modelo menor (7B) frequentemente supera a variante maior (32B) nesta tarefa específica de geração de dados sintéticos. Os autores notam modestamente limitações relacionadas ao escopo dos hiperparâmetros fixados, à família de modelos específica utilizada (OLMo) e ao potencial de viés de comprimento nas métricas de diversidade.