Beyond Creed: A Non-Identity Safety Condition A Strong Empirical Alternative to Identity Framing in Low-Data LoRA Fine-Tuning

Probleemstelling

De veiligheid van grote taalmodellen (LLM's) wordt vaak bereikt door "Constitutional AI", waarbij veiligheid wordt gedefinieerd als een lijst met externe regels. Een populaire hypothese binnen de gemeenschap is dat het formuleren van veiligheid als onderdeel van de identiteit van de assistent (bijvoorbeeld via een "creed" of geloofsbelijdenis) leidt tot robuustere en stabielere veiligheidsresultaten dan het simpelweg opleggen van regels. Dit idee suggereert dat post-training de persoonlijkheid van het model moet vormen, niet alleen wat het zegt.

Het doel van dit onderzoek is om deze hypothese direct te testen: is expliciete identiteits- of "creed"-taal noodzakelijk voor de sterkste veiligheidsverbeteringen bij low-data LoRA-finetuning, of kan een niet-identiteitsgerichte aanpak beter werken?

Methodologie

De auteurs hebben een gecontroleerde studie opgezet met vier verschillende supervisieformaten, allemaal gebaseerd op dezelfde kernveiligheidsregels, maar met verschillende formuleringen. Het experiment gebruikte LoRA (Low-Rank Adaptation) met zeer weinig data (130 voorbeelden per groep) op drie verschillende model-families: Llama 3.1 8B, Qwen2.5 7B en Gemma 3 4B.

De vier experimentele groepen waren:

1. Groep A (Constitutional): Standaard, seculiere veiligheidsregels in een constitutioneel formaat.
2. Groep B (Creed): Dezelfde veiligheidsinhoud, herschreven als identiteitsverankerde "geloofsartikelen" (creed-style).
3. Groep C (Creed + ID Tail): Dezelfde creed-prompt als B, maar met een toevoeging van 20 voorbeelden die specifiek gericht zijn op het handhaven van een wereldbeeld/identiteit (bijv. "wie ben jij?" of "waarom weiger je?").
4. Groep D (Non-Identity): Dezelfde veiligheidsinhoud en retorische stijl (lengte, toon) als groep B, maar zonder expliciete verwijzingen naar zelfidentiteit, religieuze zelfbeschrijving of een "creed". Dit fungeert als een gematchte controlegroep.

Evaluatie:

• Veiligheid: Getest op de volledige HarmBench-set (320 gedragingen).
• Jury: Een dubbele-judge-pijplijn met twee AWS Bedrock-modellen (DeepSeek v3.2 en Sonnet 4.6). Cases met onenigheid of "grensgevallen" werden handmatig opgelost.
• Capaciteit: Getest op MMLU en ARC-Challenge om te zien of veiligheidsverbeteringen ten koste gaan van algemene prestaties.

Belangrijkste Bijdragen

1. Empirische Uitdaging: De studie biedt een gecontroleerde vergelijking die aantoont dat de sterkste veiligheidswinsten in deze setting komen van een niet-identiteitsconditie (Groep D) in plaats van van "creed"-stijl identiteitsformulering.
2. Grootte van het Effect: De niet-identiteitsgroep (D) levert een gemiddelde stijging van +19,1% in weigering (refusal rate) ten opzichte van de baseline, wat aanzienlijk meer is dan de creed-groep (+6,7%) of de constitutionele groep (+3,3%).
3. Geen Capabiliteitsverlies: De auteurs tonen aan dat de enorme veiligheidsverbetering van Groep D geen significante degradatie van algemene capaciteiten (MMLU/ARC) met zich meebrengt.
4. Herdefiniëring van Supervisie: Het paper positioneert de woordkeuze en de vorm van supervisie als een praktische, data-gedreven hefboom voor veiligheidsalignement, naast optimalisatie-gebaseerde methoden.

Resultaten

De resultaten tonen een duidelijke hiërarchie in prestaties op de volledige HarmBench-set:
D > B > C ≥ A > Baseline

• Groep D (Non-Identity) was de beste groep op alle drie de model-families:
  • Llama 3.1: 74,4% weigering (+16,6% t.o.v. baseline).
  • Gemma 3: 76,9% weigering (+25,9% t.o.v. baseline).
  • Qwen2.5: 74,1% weigering (+14,7% t.o.v. baseline).
• Groep B (Creed) presteerde beter dan de standaard regels (A), maar bleef aanzienlijk onder Groep D.
• Statistische Significantie: Bootstrap-analyses bevestigen dat de prestatie van D significant hoger is dan die van B op alle modellen (p < 0,001).
• Capaciteit: De spreiding in MMLU-scores tussen de groepen was maximaal 0,24%, en bij ARC-Challenge maximaal 0,94%. Dit bewijst dat het model niet "over-weigerend" is geworden of zijn begrip van taken heeft verloren.

Significantie en Conclusie

De belangrijkste conclusie is dat expliciete identiteits- of creed-taal niet noodzakelijk is voor de sterkste veiligheidsverbeteringen bij low-data LoRA-finetuning van kleine modellen.

• Challenging the "Creed Hypothesis": De resultaten weerleggen de sterke versie van de hypothese dat identiteitsformulering de primaire drijvende kracht is voor robuuste veiligheid. De winst die vaak wordt toegeschreven aan "persona" of "creed" lijkt eerder te liggen in de retorische stijl (directheid, toon, beslissendheid) dan in de semantiek van de identiteit zelf.
• Praktische Implicatie: Voor veiligheidsfinetuning moet de focus verschuiven van het creëren van een "persoonlijkheid" naar het zorgvuldig formuleren van supervisiemateriaal dat beslissend, direct en veiligheidsgericht is, zonder noodzaak voor religieuze of identiteitsgebonden taal.
• Beperkingen: De studie is beperkt tot kleine tot middelgrote modellen in een low-data setting. Het is mogelijk dat grotere, geavanceerdere modellen wel baat hebben bij rijkere identiteits- of wereldbeeld-supervisie.

Kortom: De formulering van de supervisie is een eerste klas ontwerpvariabele voor veiligheidsalignement, en een "niet-identiteits" aanpak kan in bepaalde contexten superieur zijn aan traditionele identiteits-gebaseerde methoden.