Activation Steering for Synthetic Data Generation: The Role of Diversity in Downstream Safety Detection

Technische Samenvatting: Actiesturing voor Synthetische Data-Generatie

Probleemstelling
Veiligheidsdetectiemodellen voor Large Language Models (LLM's) vereisen diverse, hoogwaardige voorbeelden van output die de principes van Nuttigheid, Onschadelijkheid en Eerlijkheid (HHH) schenden, om effectief te generaliseren. Echter, naarmate modellen veiligheidsafstemming ondergaan via Supervised Fine-Tuning (SFT) en Reinforcement Learning from Human Feedback (RLHF), worden natuurlijk voorkomende HHH-schendende gevallen statistisch schaars. Deze klassenongelijkheid creëert een knelpunt voor het trainen van de volgende generatie veiligheidsclassificatoren. Hoewel jailbreaking en red-teaming bestaan om dergelijke data te synthetiseren, opereren ze in discrete token-ruimte en maken ze geen gebruik van de rijke kennis die is gecodeerd in de hoogdimensionale verborgen toestanden van het model. Actiesturing (AS) biedt een data-efficiënt alternatief door generaties te nudgen naar doelconcepten via stuurvectoren die worden toegevoegd aan verborgen toestanden. De centrale vraag die wordt behandeld, is of AS hoogwaardige trainingsdatasets kan genereren voor downstream veiligheidsclassificatoren, een capaciteit die in eerdere literatuur nog niet is getest.

Methodologie
De auteurs presenteren een tweeledige studie met intrinsieke en extrinsieke evaluaties over vier HHH-schendende concepten: ontrouw (RAGTruth), toxiciteit (RealToxicityPrompts), hallucinatie en schijnsucht (CAAData).

1. Experimentele Opstelling:

   • Modellen: OLMo-2-7B en OLMo-2-32B.
   • Stuurmethoden: Contrastive Activation Addition (CAA), Genormaliseerde CAA, Recursive Feature Machines (RFM) en Logistische Regressie.
   • Strategieën: Zowel all-layer als one-layer sturing werden onderzocht, met een focus op all-layer sturing.
   • Data-Generatie: Stuurvectoren werden geschat uit 128 contrastieve paren per concept. Deze vectoren werden toegepast via geschaalde optelling ($h \leftarrow h + \lambda v$) om 256-token antwoorden te genereren.
   • Evaluatieassen:
     • Intrinsiek: Sturingsucces (LLM-as-a-Judge), coherentie (ArmoRM beloningmodel), diversiteit op niveau van het voorbeeld (MTLD-MB), diversiteit op niveau van de set (compressieverhouding, n-gram diversiteit), en antwoordlengte.
     • Extrinsiek: Downstream nut gemeten door een Mistral-7B veiligheidsdetector te fine-tunen op de gestuurde data (ter vervanging van originele HHH-schendende voorbeelden) en de AUROC te evalueren op vastgehouden testsets.

2. Ontwerpkeuzes: De studie varieerde systematisch de sturingschaal ($\lambda$), modelgrootte en stuurmethode om hun impact op de afwegingen tussen afstemming, coherentie en diversiteit te analyseren.

Belangrijkste Bijdragen

• Rigoureuze Evaluatiekader: Het paper introduceert diversiteit op niveau van het voorbeeld en op niveau van de set als kritieke kwaliteitsassen die eerder ontbraken in AS-literatuur, naast een langere generatiehorizon (256 tokens) en directe testing van downstream nut.
• Diversiteit als Kritieke As: De studie identificeert dat het verhogen van de sturingssterkte consequent de responsdiversiteit vermindert, een fenomeen dat eerder over het hoofd werd gezien in de context van AS.
• Heuristiek voor Beoefenaars: De auteurs stellen het harmonisch gemiddelde van succes, coherentie en diversiteit voor als een praktische heuristische doelstelling voor het afstemmen van AS-hyperparameters, die consistenter correleert met downstream prestaties dan succes of coherentie alleen.

Resultaten

• Intrinsieke Bevindingen:

  • Diversiteitsinstorting: Het verhogen van de sturingssterkte ($\lambda$) vermindert monotoon zowel de diversiteit op niveau van het voorbeeld als op niveau van de set. De degradatie van de diversiteit op niveau van de set is bijzonder ernstig (correlaties zo laag als -0,93).
  • Modelgrootte: In tegenstelling tot de aanname dat grotere modellen betere sturing opleveren, leverde het kleinere OLMo-7B-model consequent betere sturingsresultaten op (hoger succes, coherentie en diversiteit) dan het OLMo-32B-model in de meeste configuraties.
  • Afwegingen: Sterkere sturing verbetert de afstemming (succes) maar verslechtert coherentie en diversiteit.

• Extrinsieke Bevindingen:

  • Downstream Nut: AS-gegenereerde data produceerde betere veiligheidsclassificatoren dan prompt-gegenereerde data in 3 van de 4 concepten (Ontrouw, Schijnsucht, Hallucinatie). Echter, hoge downstream prestaties waren niet frequent, en kwamen slechts in ongeveer 26% van de runs voor.
  • Smalle Regime: Succesvol downstream nut vereist een zorgvuldige balans waarbij succes, coherentie en diversiteit gezamenlijk worden bevredigd.
  • Voorspellende Heuristiek: Het harmonisch gemiddelde van de drie intrinsieke assen (succes, coherentie, diversiteit) correleerde positief met downstream AUROC over datasets en methoden heen. Deze correlatie was sterker en consistenter dan het gebruik van succes of coherentie alleen, en biedt een betrouwbare validatiesignaal voor beoefenaars.

Betekenis en Claims
Het paper claimt de eerste te zijn die actiesturing evalueert met metrieken op niveau van de set en downstream classificatorprestaties. De primaire betekenis ligt in het aantonen dat AS een levensvatbare methode is voor het synthetiseren van trainingsdata voor zeldzame klassen voor veiligheidsdetectie, mits beoefenaars rekening houden met diversiteitsinstorting.

De auteurs benadrukken dat het nut van AS ligt in een "smalle regime" waar de sturingssterkte zo wordt afgestemd dat succes, coherentie en diversiteit gelijktijdig worden bevredigd. Ze betogen dat het harmonisch gemiddelde van deze drie metrieken dient als een praktische, goedkope heuristiek om dure hyperparameter-sweeps te vervangen. De studie concludeert dat hoewel AS potentie heeft om veiligheidsdetectie te verbeteren, de effectiviteit ervan sterk gevoelig is voor configuratie, en dat het kleinere model (7B) vaak de grotere variant (32B) overtreft in deze specifieke taak voor synthetische data-generatie. De auteurs merken bescheiden beperkingen op met betrekking tot de reikwijdte van de vastgehouden hyperparameters, de specifieke modelfamilie die werd gebruikt (OLMo), en de potentie voor lengte-bias in diversiteitsmetrieken.