Technische Samenvatting: Echte en Gecalibreerde Detectie van Giftigheid met Robuuste Training en Afzien

Probleemstelling

Toxiciteitsclassificatoren leren vaak schijnbare correlaties tussen het noemen van identiteiten (bijv. "wit", "moslim", "homoseksueel") en labels voor giftigheid. Omdat haatzaaiende taal vaak voorkomt samen met vermeldingen van beschermde groepen, behandelen modellen identiteitstermen als signalen voor giftigheid. Dit leidt tot systematische vals-positieven waarbij neutrale of anti-racistische inhoud die deze identiteiten noemt, disproportioneel wordt bestraft.

Standaard evaluaties richten zich typisch op rangschikkingsmetrieken (zoals BPSN/BNSP AUC), terwijl calibratie en afzien als aparte kwaliteitszorgen worden behandeld. Dit artikel betoogt dat een dergelijke scheiding misleidend is om drie redenen:

1. Calibratieverschil is een schending van eerlijkheid: Als zekerheidsscores corresponderen met verschillende nauwkeurigheden tussen groepen, zijn beslissingen op basis van drempelwaarden inherent bevooroordeeld.
2. Effectiviteit van afzien is een eigenschap van eerlijkheid: Vertrouwen gebaseerd uitstel werkt alleen als veiligheidsmechanisme als vertrouwen uniform over alle subgroepen de correctheid volgt.
3. Achteraf afhankelijkheid: Interventies zoals temperatuurschaalering of optimalisatie van drempelwaarden slagen of falen op basis van hoe de trainingsmethode de onderliggende waarschijnlijkheidsverdeling heeft gevormd.

Het artikel stelt een geïntegreerd kader voor dat toxiciteitsclassificatoren evalueert langs drie assen: rangschikking, calibratie en afzien.

Methodologie

Data

De studie maakt gebruik van de Civil Comments-dataset (Jigsaw), gestratificeerd en gedownsampled naar 200.000 voorbeelden. Groepen worden toegewezen op basis van de eerste in de opmerking genoemde identiteit. De testset bevat 18.217 achtergrondvoorbeelden (geen identiteit genoemd) en acht identiteitsgroepen met voldoende steun (bijv. wit, zwart, moslim, homoseksueel/lesbisch, joods, christelijk, vrouw, man). Groepen met minder dan 50 voorbeelden worden uitgesloten om stabiele bootstrap-schattingen te waarborgen. HateXplain wordt gebruikt voor zero-shot transfer-evaluatie om generalisatie te beoordelen.

Trainingsmethoden

Er worden drie interventies tijdens de training vergeleken:

1. Empirisch Risicominimalisatie (ERM): Een baseline die is fijngefineerd op DistilBERT-base-uncased, waarbij de gemiddelde fout uniform wordt geminimaliseerd zonder bewustzijn van subgroepen.
2. Gewogen ERM: Past per-voorbeeld gewichten toe op basis van groepsfrequentie ($w_i = N / (G \cdot n_{g_i})$), afgeknipt om te voorkomen dat zeldzame groepen de gradiënten domineren.
3. Groeps-Distributioneel Robuuste Optimalisatie (Group DRO): Gebruikt adaptieve per-groep gewichten die worden bijgewerkt via een minimax-doelstelling om zich te richten op de groep met de hoogste fout.

Achteraf Interventies

Er worden drie mechanismen toegepast op getrainde output:

1. Temperatuurschaalering: Leert een scalair $T$ om uniforme mis-calibratie te corrigeren.
2. Vertrouwen-gebaseerd Afzien: Berekent risico-dekkingscurven door de bovenste $c$-fractie van voorspellingen te behouden op basis van vertrouwen ($max(p, 1-p)$).
3. Per-identiteit Drempeloptimalisatie: Voert een grid search uit naar drempelwaarden om absolute foutgaten tussen subgroepen en achtergrond te minimaliseren.

Evaluatiemetrieken

Het kader maakt gebruik van gepaarde bootstrap 95% betrouwbaarheidsintervallen ($n=1000$) voor alle metrieken:

• Rangschikking: Subgroep AUC, BPSN (Benign Positive, Subgroup Negative) en BNSP (Benign Negative, Subgroup Positive).
• Calibratie: Verwachte Calibratiefout (ECE) per subgroep en de Calibratie-Eerlijkheidsgap ($\Delta ECE = ECE_{subgroep} - ECE_{achtergrond}$).
• Staartgedrag: Percentage onschadelijke voorbeelden met hoge voorspelde giftigheid ($p > 0.9$ en $p > 0.99$).
• Afzien: Risico-dekkingscurven en residuale foutgaten bij verschillende dekkingsniveaus.

Belangrijkste Resultaten

1. Verborgen Calibratieverschil in ERM

Hoewel ERM een bijna perfecte aggregate calibratie bereikt (ECE $\approx$ 0.013) en een sterke algehele AUC (0.940), vertoont het aanzienlijke calibratieverschillen over alle identiteitssubgroepen.

• Elke identiteitssubgroep is significant misgecalibreerd in vergelijking met de achtergrond (bijv. gap in ECE voor de joodse subgroep +0.134; voor de witte subgroep +0.077).
• Het model is te zelfverzekerd over inhoud die een identiteit noemt. Een voorspelling van $p=0.85$ op een opmerking die een beschermde groep noemt, draagt niet dezelfde nauwkeurigheid als $p=0.85$ op achtergrondinhoud.
• Dit verschil is onzichtbaar voor standaard rangschikkingsmetrieken zoals BPSN.

2. Trainingsinterventies Hervormen, maar Elimineren, Verschillen niet

Methoden voor eerlijkheid veranderen de afwegingen tussen de assen in plaats van alle problemen tegelijkertijd op te lossen:

• Gewogen ERM: Verbeterde eerlijkheid in rangschikking (BPSN AUC stijgt met +0.06 tot +0.12) maar verslechtert de calibratie-eerlijkheidsgap aanzienlijk (tot +0.232). Het creëert een "bimodale" verdeling waarbij de meeste onschadelijke opmerkingen over identiteit een score krijgen dicht bij nul, maar een kleine staart wordt naar extreme zekerheid geduwd ($p > 0.99$).
• Group DRO: Elimineert calibratieverschillen (gaten kruisen nul), maar alleen door uniform misgecalibreerd te worden op globaal niveau (ECE stijgt naar 0.118). Het ontkoppelt vertrouwen van correctheid, waardoor de risico-dekkingscurve voor afzien stijgt in plaats van daalt.

3. Achteraf Interventies Erven Falen van Training

• Temperatuurschaalering: Faalt voor alle methoden. ERM is al globaal gecalibreerd; Gewogen ERM heeft selectieve, subgroep-specifieke mis-calibratie die een scalair niet kan fixeren; DRO heeft een structurele ontkoppeling van vertrouwen en correctheid.
• Drempeloptimalisatie: Kan de "staart-zware" bias niet repareren waarbij een klein deel van onschadelijke opmerkingen extreme toxiciteitsscores krijgt toegewezen.
• Afzien: Werkt goed onder ERM voor achtergrondinhoud maar is onrechtvaardig. Het faalt om inhoud die een identiteit noemt te beschermen, omdat de fouten "zelfverzekerd-fout" zijn (hoge zekerheid, onjuist label) in plaats van onzeker. Onder DRO faalt afzien volledig, omdat het uitstellen van voorspellingen met lage zekerheid niet voorkeursuitstel geeft aan de verkeerde voorspellingen.

4. Kwalitatieve Foutgevallen

Onschuldige anti-racistische of beschrijvende opmerkingen die "wit" noemen, krijgen vaak hoge toxiciteitsscores ($p > 0.9$) toegewezen door ERM en Gewogen ERM. Deze "zelfverzekerd-foute" voorspellingen overleven vertrouwensfilters, wat verklaart waarom afzengaten voor inhoud die "wit" noemt, blijven bestaan zelfs bij hoge dekkingsniveaus.

Bijdragen en Betekenis

Het artikel levert vier primaire bijdragen:

1. Vergelijking van Meerdere Methoden: Een rigoureuze, bootstrap-gevalideerde vergelijking van ERM, Gewogen ERM en Group DRO in combinatie met achteraf interventies.
2. Calibratie als Eerlijkheid: Introductie van de calibratie-eerlijkheidsgap, die aantoont dat aggregate calibratie ernstige schendingen op subgroepniveau kan maskeren.
3. Niet-gedomineerde Afwegingen: Karakterisering van trainingsmethoden als het innemen van distincte posities in de ruimte van eerlijkheid:
   • ERM: Slechtste eerlijkheid in rangschikking, maar schoonste afzengedrag.
   • Gewogen ERM: Beste eerlijkheid in rangschikking, maar slechtste calibratieverschil en introductie van zelfverzekerd-foute fouten.
   • Group DRO: Lost calibratie-pariteit op, maar breekt de bruikbaarheid van afzien.
4. Achteraf Afhankelijkheid: Aantonen dat de effectiviteit van veiligheidsmechanismen (schaalering, afzien) wordt bepaald door de specifieke faalmodi van de trainingsmethode.

Betekenis:
Het artikel betoogt dat eerlijkheid in Sociaal Verantwoordelijke AI (SRAI) een multi-axiaal kader vereist. Methoden die op aggregate rangschikkingsmetrieken gelijk lijken, verschillen scherp in hun faalmodi, die werkelijke schade bepalen. Specifiek introduceren eerlijkheidsinterventies die rangschikking verbeteren vaak "zelfverzekerd-foute" voorspellingen over onschuldige identiteitsinhoud die door geen enkele achteraf interventie kunnen worden gerepareerd. De auteurs concluderen dat op deze benchmark Gewogen ERM de meest verdedigbare praktische keuze is vanwege de balans tussen eerlijkheid in rangschikking, calibratie en compatibiliteit met afzien, hoewel het nog steeds nieuwe faalmodi introduceert die niet aanwezig waren in de baseline ERM.