Technische Samenvatting: SWORDBENCH

Probleemstelling

Hoewel het sturen van modelrepresentaties tijdens de inferentie een cruciaal instrument is geworden voor AI-veiligheid en interpretatiebaarheid – met name voor het corrigeren van voorspellingen zonder fine-tuning – zijn bestaande evaluatieprotocollen sterk bevooroordeeld ten gunste van taalmodellen. Deze op taal gebaseerde benchmarks vertrouwen vaak op ambiguie, multi-token representaties en imperfecte "LLM-as-a-judge"-metrieken, wat ruis en verstorende factoren introduceert. Bovendien ontbreekt het aan geünificeerde kaders om sturen in visiemodellen te evalueren, specifiek met betrekking tot het verwijderen van bias (concept-erasure) en het beoordelen van tweede-orde effecten, zoals of sturen per ongeluk de prestaties op niet-gerelateerde taken of invoer verslechtert.

Methodologie

De auteurs introduceren SWORDBENCH, een uitgebreide benchmark ontworpen om de orthogonaliteit, robuustheid en potentiële neveneffecten van het sturen van beeldrepresentaties te evalueren over meerdere visie-ruggengraten (CLIP, SigLIP, DINOv2) en taken voor het verwijderen van concepten.

Benchmarkontwerp

SWORDBENCH verschuift het evaluatiedomein van de ruisvolle, token-gedistribueerde setting van taalmodellen naar de gecontroleerde, globale representatieruimte van vision transformers. Het kader maakt gebruik van:

• Datasets: Vier real-world datasets voor het verwijderen van bias (CelebA, ISIC, Waterbirds, Counteranimal) en twee synthetische controledatasets (ImageNet-W met watermerken, ImageNet-C met corrupties) om ground-truth contrafacten te bieden.
• CAV-extractiemethoden: Een diverse suite van 16 methoden, gecategoriseerd als:
  • Standaard Lineair: Difference-in-Means, SVM, Logistische Regressie, FastCAV, PatCAV, PCA, LAT, AurA.
  • SAE-gebaseerd: Methoden die statistische aggregaties of specifieke algoritmen toepassen (SAS, S&PTopK, SAE-AurA) op latente ruimtes van sparse autoencoders.
  • Niet-lineaire Probes: SVM-RBF en TabPFN om bovengrenzen vast te stellen.
• Sturende Interventie: De benchmark maakt gebruik van eenvoudige orthogonalisatie ($\bar{h} = h - (v_c^T h)v_c$) om conceptrichtingen te verwijderen, waardoor de noodzaak om schaalparameters ($\alpha$) af te stemmen wordt vermeden en een eerlijke vergelijking wordt gewaarborgd.

Nieuwe Evaluatiemetrieken

Naast standaard detectienauwkeurigheid (AUC, F1) introduceert SWORDBENCH twee kritieke metrieken om tweede-orde effecten van orthogonalisatie aan het licht te brengen:

1. Cross-Concept Robuustheid (CCR): Meet de stabiliteit van de detectieprestaties van een doelconcept nadat de invoer is georthogonaliseerd tegen alternatieve concepten. Een hoge CCR geeft aan dat de conceptvector functioneel onafhankelijk is van andere concepten.
2. Neveneffecten (Collateral Damage - CD): Kwantificeert de daling in prestaties van downstream taken voor invoer die het doelconcept mist. Idealiter zou sturen de prestaties op concept-afwezige samples niet moeten veranderen; een niet-nul CD geeft aan dat de CAV verstrengeld is met andere taakrelevante kenmerken.
3. Stuurdispariteit (Steering Disparity - SD): Voor synthetische contrafacten meet dit of het verwijderen van een concept uit een bevooroordeeld sample de voorspelling herstelt tot overeenstemming met het schone tegenhanger.

Belangrijkste Resultaten

De auteurs presenteren vijf primaire bevindingen, afgeleid van uitgebreide experimenten:

1. Lineaire versus Niet-lineaire Prestaties: Lineaire methoden, met name Support Vector Machines (SVM) en Logistische Regressie (LR), bereiken consistent conceptdetectienauwkeurigheid (AUC) en downstream F1-scores die vergelijkbaar zijn met complexe niet-lineaire probes (bijv. TabPFN, SVM-RBF). Statistische tests bevestigen dat er geen significant verschil is tussen deze lineaire benaderingen en hun niet-lineaire tegenhangers op real-world datasets.
2. Trade-offs in Methodologie:
   • Optimalisatie-gebaseerde methoden (bijv. SVM, LR) blinken uit in ontkoppeling (lage Maximum Similarity) en robuustheid in complexe, real-world data (CelebA, ISIC), maar lopen het risico op overfitting in eenvoudigere regimes.
   • Statistische methoden (bijv. DiffMean, FastCAV) vangen vaak effectief globale richtingen in schonere datasets (ImageNet-W/C), maar kunnen lagere orthogonaliteit vertonen in verstrengelde scenario's.
   • SAE-gebaseerde methoden vereisen over het algemeen strenge filtering (bijv. S&PTopK) om bruikbaarheid te herstellen; ruwe SAE-representaties degraderen vaak de prestaties.
3. Onvolmaakt Sturen: Hoewel veel methoden nul neveneffecten bereiken, is het bereiken van "perfect sturen" (nul Stuurdispariteit) zeldzaam. Opvallend is dat Lineaire Kunstmatige Tomografie (LAT) en PCA optimale stuurdispariteit behaalden op synthetische taken (ImageNet-W/C), terwijl standaard optimalisatiemethoden vaak faalden om perfect sturen te bereiken, ondanks hoge scheidbaarheid.
4. Onvoldoende Metrieken: Standaard classificatiemetrieken (AUC, F1) zijn ontoereikende proxies voor veiligheid en betrouwbaarheid. Hoge detectienauwkeurigheid correleert niet met lage neveneffecten of hoge cross-concept robuustheid. Vectormetrieken (zoals MS) voorspellen stuuruitkomsten niet, wat de noodzaak van nieuwe evaluatieprotocollen onderstreept.
5. Staal-efficiëntie: Statistische methoden convergeren snel (vaak met $N < 100$ samples), terwijl optimalisatie-gebaseerde methoden blijven verbeteren met grotere steekproefgroottes ($N > 500$) op complexe datasets.

Betekenis en Claims

Het artikel claimt dat SWORDBENCH een noodzakelijk, geünificeerd kader biedt voor het evalueren van sturen in visiemodellen, en voorbijgaat aan de beperkingen van op taal gecentreerde benchmarks. De primaire bijdrage is de demonstratie dat sturen niet louter een kwestie is van het vinden van een scheidend hypervlak; effectief sturen vereist het beoordelen van functionele onafhankelijkheid (CCR) en veiligheid (CD).

De auteurs claimen bescheiden dat hun werk:

• De terminologie en evaluatie van sturen en het verwijderen van bias unifyert over de domeinen van visie en taal.
• Aantoont dat standaard lineaire baselines vaak voldoende zijn voor conceptdetectie, wat de noodzaak van complexe niet-lineaire probes voor deze specifieke taak in twijfel trekt.
• Benadrukt dat "perfect" sturen moeilijk te bereiken is en dat hoge scheidbaarheid niet garandeert dat er geen neveneffecten zijn.
• Dient als een levende benchmark om selectieve rapportage te ontmoedigen en de ontwikkeling van methoden aan te moedigen die onbedoelde neveneffecten minimaliseren in hoog-risico toepassingen zoals medische diagnose en demografische rechtvaardigheid.

Het artikel claimt niet alle uitdagingen van sturen op te lossen, maar vestigt eerder een strenge standaard voor het meten van de trade-offs die inherent zijn aan huidige methoden, met de nadruk dat veiligheid bij sturen metrieken vereist die verder gaan dan eenvoudige nauwkeurigheid.