Low-Agreeableness Persona Conditioning for Safe LLM Fine-Tuning

Technische Samenvatting: Conditionering van een Low-Agreeableness Persoonlijkheid voor Veilige LLM Fine-tuning

Probleemstelling
Recent onderzoek heeft vastgesteld dat het fine-tunen van Large Language Models (LLM's) voor sociale warmte en empathie vaak de feitelijke betrouwbaarheid verslechtert en sycophantie (vleierij) verhoogt. Dit artikel identificeert een gerelateerde maar afwijkende foutmodus: warmte-georiënteerde fine-tuning verzwakt ook systematisch de adversariële veiligheid, waardoor modellen gevoeliger worden voor jailbreaks en de generatie van schadelijke output. De auteurs onderzoeken of deze veiligheidsdegradatie een inherent gevolg is van empathische adaptatie of een artefact is van specifieke constructiepatronen in de data. Specifiek dagen zij de aanname uit dat alle empathische data een equivalente veiligheidskost met zich meebrengen, door te hypothetiseren dat bepaalde persoonlijkheidskenmerken binnen dialoogdata impliciet de veiligheid kunnen behouden zonder expliciete schade-labels of wijzigingen aan de trainingsdoelstelling.

Methodologie
De auteurs stellen een persona-gestuurde herschrijf-pipeline voor die gebruikersbeurten conditioneert op lage agreeableness (een Big Five-persoonlijkheidskenmerk geassocieerd met scepsis, directheid en weerstand tegen sociale druk), terwijl deze worden gekoppeld aan warme, de-escalerende assistent-reacties.

1. Kenmerk- en laagselectie: Een pilotstudie op Llama-3.1-8B identificeerde dat Laag 10 het meest gevoelig is voor verschuivingen in de representatie van veiligheid. Onder tien subsets van de PersonaFuse-corpus gegroepeerd volgens de Big Five-kenmerken, leverde lage agreeableness de beste preservatie van veiligheid tegen jailbreaks op.
2. Dataconstructie: De pipeline herschrijft synthetische chatdata om een specifieke structuur af te dwingen:
   • Gebruikersbeurten: Herschreven om lage agreeableness te weerspiegelen (bijv. sceptisch, direct, weerstandbiedend tegen sociale druk).
   • Assistent-beurten: Herschreven om warm en de-escalerend te zijn (het behouden van rapport zonder hostiliteit te spiegelen of schadelijke premissen te bekrachtigen).
3. Experimenteel ontwerp: Drie experimenten werden uitgevoerd over vier modellen (SmolLM3-3B, Llama-3.1-8B, Qwen2.5-7B-Instruct, Mistral-7B-Instruct-v0.3):
   • Experiment 1: Vergeleek de voorgestelde methode met generieke empathische baselines (EmpatheticDialogues, ESConv, Lahnala-stijl) met overeenkomstige datasetgroottes.
   • Experiment 2: Gebruikte een gedeelde broncorpus (ShareGPT Vicuna Unfiltered) om de effecten van herschrijfbeleid te isoleren: generieke warmte (assistent-alleen), alleen-gebruiker (lage agreeableness), en de volledige gekoppelde conditie.
   • Experiment 3: Testte de overdraagbaarheid naar de hoog-risico domein van mentale gezondheidszorg met de MentalChat-16K dataset.
4. Evaluatie: Veiligheid werd gemeten via jailbreak-succesratio's (Qi et al., 2024) en de neiging tot schadelijke output (Revilla Llaca et al., 2023). Warmte werd beoordeeld via SocioT-stijl log-likelihood vergelijkingen, en taakutiliteit via MMLU-nauwkeurigheid. Mechanistische analyse omvatte het proberen van de geometrische uitlijning (richtingscosinus) tussen "warmte"- en "compliance"-vectoren in de latente ruimte.

Belangrijkste Resultaten

• Preservatie van Veiligheid: De lage-agreeableness-conditionering benadering verminderde consistent de jailbreak-gevoeligheid en de mate van schadelijke output vergeleken met generieke warmte-fine-tuning baselines over alle vier de modellen. In Experiment 1 was PersonaFuse (lage A) de enige conditie die de baseline veiligheid verbeterde of evenaarde op beide metrieken.
• Ontkoppelingsmechanisme: De veiligheidswinsten werden behaald zonder expliciete veiligheidslabels, toxiciteitsclassifiers of wijzigingen aan de trainingsdoelstelling.
  • Alleen-gebruiker herschrijven (lage agreeableness) herstelde de veiligheid, maar slaagde er niet in om conversationele warmte te behouden.
  • Volledige gekoppelde conditie (lage-agreeableness gebruiker + warme/de-escalerende assistent) behield succesvol de veiligheidswinsten terwijl de per-token warmtescores boven de baseline-niveaus werden verhoogd.
• Representatieve Bewijsvoering: Laag-gewijze directingscosinus-probing leverde suggestief bewijs dat de voorgestelde conditionering de geometrische uitlijning tussen de warmte- en compliance-richtingen in de latente ruimte vermindert. Dit ondersteunt de hypothese dat de methode de neiging om warm te zijn ontkoppelt van de neiging om te voldoen (compliance) aan schadelijke verzoeken.
• Domeinoverdracht: De veiligheidsvoordelen generaliseerden naar het domein van de mentale gezondheidszorg (Experiment 3), waarbij ze de generieke warmte-fine-tuning overtrof op zowel jailbreak- als red-teaming metrieken.

Significantie en Claims
Het artikel betoogt dat de spanning tussen warmte en veiligheid geen onvermijdelijke trade-off is van empathische adaptatie, maar een resultaat is van co-occurrence statistieken in trainingsdata. In ongeconditioneerde dialogen komen warme en compliante reacties samen omdat er geen conversationele druk is die het model dwingt grenzen te bewaken terwijl het warm blijft.

De auteurs claimen dat veiligere empathische fine-tuning haalbaar is door enkel datadesign. Door specifieke conversationele patronen te selecteren (gebruikers met lage agreeableness gekoppeld aan de-escalerende assistenten), kunnen beoefenaars trainingsdata construeren die in de eerste plaats geen veiligheids kwetsbaarheden introduceert. Deze benadering verschilt van refusal tuning, aangezien de brondata geen schadelijke prompts of expliciete weigeringen bevat; veiligheid ontstaat als een bijproduct van het communicatiepatroon. Dit werk daagt de heersende aanname uit dat het behoud van veiligheid onder fine-tuning expliciete veiligheidsinfrastructuur vereist (schade-labels, classifiers of wijzigingen in de doelstelling), en biedt een model-agnostisch, datacentrisch alternatief dat kan worden gecombineerd met bestaande post-hoc defensies.