Technische Samenvatting: Betrouwbaarheidskosten van Domeinadaptatie in Kleine Taalmodellen

Probleemstelling

De snelle volwassenwording van Kleine Taalmodellen (SLM's), hier gedefinieerd als modellen met 100M–5B parameters, biedt een praktische route voor het implementeren van NLP-systemen in middelenbeperkte, risicovolle domeinen zoals de gezondheidszorg, juridische dienstverlening en de financiële sector. Hoewel methoden voor parameter-efficiënte fijnafstemming (PEFT), zoals Low-Rank Adaptation (LoRA) en de gekwantiseerde variant daarvan (QLoRA), kosteneffectieve domeinspecialisatie mogelijk maken, blijft er een kritische kloof bestaan in het begrip van de betrouwbaarheidskosten van deze adaptatie.

Bestaande literatuur karakteriseert uitgebreid de prestatiewinsten in taakspecifieke benchmarks, maar negeert grotendeels hoe domeinfijnafstemming de betrouwbaarheidseigenschappen beïnvloedt, specifiek de feitelijke kalibratie en adversariële robuustheid. Vorig werk (bijv. Qi et al., 2024) suggereert dat zelfs onschadelijke fijnafstemming de veiligheidsafstemming kan degraderen. Dit artikel adresseert het gebrek aan empirische data die kwantificeert of domeinadaptatie de veiligheidseigenschappen ondermijnt en of bestaande strategieën voor het behoud van veiligheid (Safety-DPO, Dark Experience Replay, Task Arithmetic LoRA) dergelijke degradatie in SLM's effectief kunnen mitigeren.

Methodologie

De studie maakt gebruik van een systematisch, cross-domein en cross-architectuur empirisch ontwerp met 216 experimentele configuraties over drie willekeurige seeds (42, 123, 456).

1. Experimentele Opzet

• Modellen: Drie SLM-architecturen variërend in de 1–2.6B parameter range:
  • TinyLlama 1B: Maakt gebruik van grouped-query attention en een 3T token pre-training corpus.
  • Gemma-2 2B: Beschikt over alternerende lokale/globale aandacht en kennisdistillatie.
  • Llama 3.2 1B: Profiteert van multi-stage RLHF instructie-tuning.
• Domeinen: Drie risicovolle domeinen met uiteenlopende linguïstische kenmerken:
  • Gezondheidszorg: MedQA-USMLE (korte MCQs, hoge redeneerkracht).
  • Juridisch: LegalBench (lange declaratieve tekst, hoog hallucinatierisico).
  • Financieel: Finance-Alpaca + PhraseBank (gemengde Q&A en sentiment).
• Data-condities:
  • Benigne: Standaard domeintekst.
  • Adversarieel: Systematisch verstoord via Domain Injection (DI), Concept Mixing (CM) en Anchored Obfuscation (AO).
• Fijnafstemmingsstrategieën:
  • Baseline: Standaard QLoRA (controle).
  • Safety-DPO: Preferentie-optimalisatie op domein versus schadelijke paren.
  • Dark Experience Replay (DER): Intercalatie van veiligheidsrelevante pre-training samples om catastrofaal vergeten te voorkomen.
  • Task Arithmetic LoRA (TA-LoRA): Samenvoegen van een veiligheid-LoRA adapter met een domein-adapter ($\tau_{merged} = \tau_{domain} + 0.5 \cdot \tau_{safety}$).

2. Evaluatiemetrieken

• Kwaliteit van Domeinadaptatie: Gemeten door evaluatieverlies (cross-entropy) en gemiddelde token-nauwkeurigheid.
• Betrouwbaarheid:
  • Feitelijke Kalibratie: TruthfulQA MC2 nauwkeurigheid (hoger is beter).
  • Adversariële Robuustheid: HarmBench Attack Success Rate (ASR) (lager is beter; gerapporteerd als $1 - ASR$ voor een samengestelde analyse).
  • Noot: De BBQ (bias) evaluatie werd genoteerd als lopend en is niet opgenomen in de definitieve empirische resultaten.

Belangrijkste Bijdragen

1. Eerste Cross-Domein/Cross-Architectuur Studie: Dit werk biedt de eerste systematische kwantificering van betrouwbaarheidskosten over drie SLM-architecturen, drie risicovolle domeinen en vier fijnafstemmingsstrategieën.
2. Hoge Reproduceerbaarheid: Een multi-seed experimenteel ontwerp demonstreerde uitzonderlijk lage variantie ($\sigma < 0.001$ in evaluatieverlies), wat een robuuste statistische basis voor vergelijkingen legt.
3. Contraintuïtieve Bevinding over Adversariële Data: De studie demonstreert empirisch dat adversarieel verstoorde trainingsdata de kwaliteit van domeinadaptatie consistent verbetert (verlagen van het evaluatieverlies met $\Delta \approx -0.040$) zonder de betrouwbaarheidscriteria te verslechteren, wat wijst op een impliciet data-augmentatie effect.
4. Vergelijkende Evaluatie van Veiligheidsstrategieën: Een directe vergelijking van Safety-DPO, DER en TA-LoRA laat zien dat huidige strategieën voor het behoud van veiligheid niet effectief overdragen naar domein-geadapteerde SLM's.

Belangrijkste Resultaten

1. Baseline Betrouwbaarheidskosten

In tegenstelling tot de hypothese dat standaard LoRA domeinadaptatie de betrouwbaarheid systematisch degradeert:

• Feitelijke Kalibratie: Baseline QLoRA produceerde minimale veranderingen in TruthfulQA MC2 scores over alle model-domein combinaties (gemiddelde $|\Delta TQA| < 0.02$).
• Adversariële Robuustheid: De baseline ASR werd primair bepaald door de pre-training veiligheidsafstemming van het model in plaats van de domeinfijnafstemming zelf.
  • TinyLlama 1B: Toonde een bijna plafond-kwetsbaarheid (ASR $\approx$ 0.97–1.00) ongeacht de strategie.
  • Veiligheid-afgestemde Modellen (Gemma-2, Llama 3.2): Toonden betekenisvolle variantie maar behielden een relatief lage ASR in baseline condities.

2. Impact van Adversariële Training

Adversarieel verstoorde trainingsdata verbeterde consequent de kwaliteit van de domeinadaptatie (lager evaluatieverlies) maar leverde geen consistente verbeteringen of degradaties op in betrouwbaarheidsmetrieken. De verbetering in adaptatiekwaliteit lijkt orthogonaal aan adversariële robuustheid.

3. Prestaties van Veiligheidsbewarende Strategieën

Geen van de drie veiligheidsbewarende strategieën slaagde erin de betrouwbaarheidskosten te verminderen of de adversariële robuustheid te verbeteren:

• Safety-DPO: Was effectief neutraal met betrekking tot de adversariële robuustheid (gemiddelde $\Delta ASR < 0.001$) en bood geen significante veiligheidsvoordelen ten opzichte van de baseline.
• Dark Experience Replay (DER) & TA-LoRA: Beide strategieën verslechterden de adversariële robuustheid in veiligheid-afgestemde modellen.
  • DER: Verhoogde de gemiddelde HarmBench ASR met +0.171.
  • TA-LoRA: Verhoogde de gemiddelde HarmBench ASR met +0.155.
  • Ernstige gevallen: Individuele configuraties vertoonden een degradatie die de +0.45 overschreed (bijv. Gemma-2 2B in de Gezondheidszorg met DER; Llama 3.2 1B in Juridisch met TA-LoRA).

Betekenis en Claims

Het artikel claimt de heersende aanname uit te dagen dat replay-gebaseerde (DER) en arithmetic-merge (TA-LoRA) strategieën effectief de veiligheidsafstemming overdragen naar domein-geadapteerde SLM's. De bevindingen suggereren dat:

1. Verwaarloosbare Kalibratiekosten: Standaard domeinadaptatie de feitelijke kalibratie in SLM's niet materieel wijzigt.
2. Strategie-falen: Huidige strategieën voor het behoud van veiligheid, ontwikkeld voor algemene settings, falen in het behouden of verbeteren van de adversariële robuustheid in domeinspecifieke contexten en kunnen deze zelfs actief degraderen.
3. Architectuur-dominantie: Pre-training veiligheidsafstemming is de dominante voorspeller van adversariële robuustheid, niet de fijnafstemmingsstrategie of het domein.

De studie concludeert dat praktijkgebruikers die SLM's in risicovolle domeinen inzetten, voorzichtig moeten zijn met het gebruik van DER en TA-LoRA voor veiligheidsbehoud, aangezien deze methoden onbedoeld de vatbaarheid voor adversariële schade kunnen vergroten. Toekomstig werk is gericht op mechanistische verklaringen voor deze degradaties en het verkennen van alternatieve benaderingen voor het behoud van veiligheid.