Technisch Samenvatting: Kwaliteit is geen Proxy voor Veiligheid onder Kwantisatie

Probleemstelling

Post-training kwantisatie (bijv. GGUF, AWQ, GPTQ) is een standaard implementatiepad geworden voor lokale en kostenbeperkte taalmodellen. Een veelvoorkomende operationele afkorting in deze pijplijn is het screenen van gekwantiseerde checkpoints met behulp van kwaliteitsmetrieken (bijv. BERTScore, ROUGE-L, coherentie) en, indien de kwaliteit stabiel lijkt, aan te nemen dat veiligheidseigenschappen (weigering, waarheidsgetrouwheid, weerstand tegen bias) ook behouden blijven, waardoor directe veiligheidstests worden overgeslagen.

Dit artikel auditeert de geldigheid van die afkorting. Het onderzoekt of behouden kwaliteit als een stabiele proxy voor veiligheid kan dienen over verschillende modelfamilies en kwantisatiemethoden heen. De kernhypothese die wordt getest, is of een kwaliteitsgerichte deployment-gate betrouwbaar checkpoints kan identificeren waarbij de veiligheid is verslechterd ondanks acceptabele of verbeterde bruikbaarheid.

Methodologie

De studie maakt gebruik van een gematchte, cross-method audit op een bevroren 51-rijige model-kwantisatie-matrix.

• Dataset Constructie: De matrix beslaat 6 basismodellen over 4 families, inclus\nuit een 7-traps GGUF-kwantisatieladder en 1-11 voltooide AWQ/GPTQ INT4 checkpoints.
• Evaluatiemetrieken:
  • Kwaliteit: Gemeten via BERTScore, ROUGE-L en zin-embedding coherentie.
  • Directe Veiligheid: Geëvalueerd op een single-turn batterij die weigeringsgedrag bij schadelijke verzoeken (AdvBench), waarheidsgetrouwheid (TruthfulQA), bias-resistentie (BBQ) en jailbreak-amplificatie dekt.
  • Oordeel (Judging): Primaire labels worden gegenereerd door gemma3:12b. Om robuustheid te testen, is een vooraf gedefinieerde gestratificeerde set van 11.470 items opnieuw gelabeld door Claude Sonnet 4.
• Regime-definities:
  • Hidden-Danger (Verborgen Gevaar): Een rij waar de kwaliteit stabiel blijft of verbetert (binnen ±2 procentpunten van de baseline) terwijl de weigering met ten minste 10 procentpunten verslechtert.
  • Near-Hidden-Danger (Bijna Verborgen Gevaar): Kwaliteit binnen ±5 punten terwijl de weigering met ≥10 punten verslechtert.
• Mechanistische Follow-up: Een vier-probes analyse op 17 Hugging Face-ondersteunde cellen (FP16, AWQ, GPTQ) waarbij de eerste-token entropie, de geometrie van de weigeringsrichting, kalibratiedrift en kwantisatiefout in "veiligheidsgeassocieerde" neuronen (top 5% op basis van activatiecontrast) worden onderzocht.
• Screening Heuristiek: Ontwikkeling van de Refusal Template Stability Index (RTSI), een vier-feature gedrags-screen gebaseerd op refusal-template drift (dominant-prefix share, unique-prefix rate, genormaliseerde prefix entropie en gemiddelde refusal-token lengte).

Belangrijkste Resultaten

1. Instabiliteit van Kwaliteit–Veiligheid Associaties

Het onderzoek concludeert dat kwaliteitsmetrieken geen stabiele proxies zijn voor veiligheid.

• Sign-Heterogeniteit: Alle 36 kwaliteits–veiligheid metriek-paren splitsen van richting over verschillende modellen. Een positieve correlatie in één modelfamilie komt vaak overeen met een negatieve correlatie in een andere.
• Pooled vs. Local: Geaggregeerde (gepoolde) correlaties kunnen geruststellend lijken terwijl ze ernstige veiligheidsverslechtering in specifieke subgroepen maskeren. Dit vertegenwoordigt een Simpson's paradox scenario waarbij de subgroepstructuur (modelfamilie) de uitkomst dicteert.

2. Prevalentie van Hidden-Danger Rows

De audit identificeert 9 hidden-danger rijen en 1 near-hidden-danger rij in de matrix.

• Ernst: In deze rijen dalen de weigeringspercentages met 12 tot 68 procentpunten terwijl kwaliteitsmetrieken stabiel blijven of verbeteren (bijv. llama3.2-1b AWQ vertoont +8,27 pp BERTScore maar -61,82 pp weigering).
• Kwantisatiemethoden: 7 van de 11 AWQ/GPTQ rijen worden geclassificeerd als hidden-danger. Het patroon is niet beperkt tot een specifieke kwantisatiefamilie; het komt voor in zowel INT4 weight-only methoden (AWQ, GPTQ) als specifieke GGUF-niveaus.
• Operationeel Falen: Een pijplijn die checkpoints goedkeurt op basis van enkel kwaliteit zou deze gevaarlijke rijen onterecht goedkeuren.

3. Mechanistische Probes vs. Behaviorale Screens

• Latente Probes: Vier standaard latente diagnostieken (entropie-shift, weigeringsrichting-geometrie, kalibratiedrift) faalden om gevaarlijke rijen van veilige rijen te scheiden. Hoewel veiligheidsgeassocieerde neuronen in totaal 1,39× meer kwantisatiefout absorbeerden ($p < 5 \times 10^{-7}$), was dit effect globaal en niet regime-specifiek, waardoor het een slechte voorspeller was voor specifieke hidden-danger rijen.
• RTSI Prestaties: De gedragsmatige heuristiek (RTSI) bleek effectiever. Met een cutoff van 0,10:
  • Routeerde het 10/10 hidden- of near-hidden-danger rijen naar directe veiligheidstests.
  • Hield het 23/45 niet-baseline rijen in een laag-risico bucket.
  • Presteerde het beter dan single-feature baselines (bijv. unique-prefix-rate-delta herstelde 9/10, RTSI herstelde 10/10).
  • De screen overleefde row-level leave-one-out validatie.

4. Judge Robustness

• Second-Judge Agreement: Claude Sonnet 4 stemde overeen met gemma3:12b op 89,9% van de 11.470 items ($\kappa = 0,873$).
• Regime Stabiliteit: Cruciaal is dat 0/10 hidden-danger cellen van regime veranderden onder de tweede judge. De onenigheid zat primair in de weigeringskalibratie (Sonnet is strenger op disclaimer-omwikkelde content), wat de conservatieve claim van het papier ondersteunt in plaats van ondermijnt.

Belangrijkste Bijdragen

1. Matched Proxy Audit: Een directe, cross-method test van de deployment-afkorting, die aantoont dat behouden kwaliteit geen directe veiligheidsvalidatie kan rechtvaardigen.
2. Deployment Taxonomie: De definitie en enumeratie van "hidden-danger" en "near-hidden-danger" regimes, wat een concreet kader biedt voor het identificeren van operationele faalmodi waarbij kwaliteit veiligheidscollaps maskeert.
3. RTSI Heuristiek: Een gekalibreerde, studie-interne gedrags-screen die effectief checkpoints trianguleert voor directe veiligheidstests, waarbij het single-feature baselines overtreft in het herstellen van marginale near-hidden gevallen.
4. Mechanistisch Inzicht: Bewijs dat hoewel veiligheidsgeassocieerde neuronen gevoeliger zijn voor kwantisatiefout, eenvoudige latente probes onvoldoende zijn om specifieke gevaarlijke rijen te identificeren, wat de noodzaak van gedragsmatige screening versterkt.

Betekenis en Claims

De primaire claim van het paper is een evaluatie-validiteitsassertie: voor de onderzochte gekwantiseerde checkpoints, modelfamilies en veiligheidsuitkomsten, kan behouden kwaliteit de directe veiligheidsevaluatie niet vervangen.

• Procesimplicatie: Kwaliteitsvalidatie en directe veiligheidsvalidatie moeten worden behandeld als parallelle vereisten, niet als een seriële gate waarbij kwaliteitsgoedkeuring veiligheidstests omzeilt.
• Scope Beperking: De claim is beperkt tot de gemeten uitkomsten (single-turn weigering, waarheidsgetrouwheid, bias, jailbreak-amplificatie) en de specifieke modelfamilies (tot 7B klasse) en kwantisatiemethoden (GGUF, AWQ, GPTQ) in de matrix. Het paper claimt niet dat kwaliteit en veiligheid nooit gecorreleerd zijn, noch valideert het RTSI als een extern overdraagbare index zonder herkalibratie.
• Operationele Waarschuwing: Het bestaan van hidden-danger rijen demonstreert dat een "kwaliteit-eerst" pijplijn een specifiek faalscenario creëert: het goedkeuren van checkpoints die nuttig maar onveilig zijn. Het paper betoogt dat directe veiligheidstests de enige betrouwbare methode zijn om deze fouten te detecteren.