Technisch Samenvatting: SHARP – Sociale Schadeanalyse via Risicoprofielen

Probleemstelling

Large Language Models (LLM's) worden steeds vaker ingezet in domeinen met een hoge inzet (bijv. gezondheidszorg, financiële sector, strafrecht) waar zeldzame maar ernstige fouten onomkeerbare schade kunnen veroorzaken. Huidige evaluatiebenchmarks vertrouwen voornamelijk op gemiddelde-gecentreerde scalaire scores (bijv. gemiddelde nauwkeurigheid, geaggregeerde bias-scores). Dit artikel betoogt dat deze metrieken onvoldoende zijn omdat ze:

1. De distributionele structuur verhullen: Ze reduceren heterogene gedragingen tot punt-schattingen, waardoor de variabiliteit van modelresponsen verborgen blijft.
2. Staartgedrag negeren: Modellen met een vergelijkbare gemiddelde prestatie kunnen sterk uiteenlopende slechtste-geval-gedragingen (upper-tail events) vertonen, die in praktische risicosituaties dominant zijn.
3. Cross-dimensionale interacties verwarren: Ze slagen er niet in te vatten hoe verschillende foutmodi (bias, eerlijkheid, ethiek, epistemische betrouwbaarheid) interageren en cumuleren.

Gevolgelijk zijn gangbare evaluatiepraktijken slecht afgestemd op de risico's bij implementatie, en hebben governance-mechanismen moeite om hoogwaardige principes te vertalen naar controleerbare, risico-gevoelige metrieken.

Methodologie: Het SHARP-framework

De auteurs introduceren Social Harm Analysis via Risk Profiles (SHARP), een framework ontworpen voor multidimensionale, distributie-bewuste evaluatie van sociale schade. SHARP behandelt schade niet als een scalaire hoeveelheid, maar als een multivariate willekeurige variabele over een vaste prompt-distributie.

1. Evaluatieprotocol

• Corpus: De evaluatie wordt uitgevoerd op een vast corpus van $n=901$ sociaal gevoelige prompts, afkomstig van de Bias Evaluation and Assessment Test Suite (BEATS) en de BBQ-benchmark.
• Beoordeling: Responsen van 11 frontier LLM's worden geëvalueerd door drie geblindeerde LLM-gebaseerde beoordelaars (Claude Sonnet 4.5, Gemini 2.5 Pro, GPT-5.1).
• Aggregatie: De outputs van de beoordelaars (boolean indicatoren en ordinale ernstscores) worden genormaliseerd naar $[0, 1]$. Om onenigheid te accounten en tegelijkertijd zware beoordelingen te benadrukken, worden scores geaggregeerd met behulp van een Log-Sum-Exp (LSE) operator met een temperatuurparameter $\tau=0.20$. Dit vormt een interpolatie tussen mean pooling en max pooling, waarbij de gevoeligheid voor worst-case beoordelingen behouden blijft.

2. Dimensionale Decompositie

SHARP deelt sociale schade op in vier afzonderlijke dimensies, elk gerepresenteerd als een sub-index:

• Bias (B): Meet de breedte van de getroffen categorieën, de intensiteit van de schade en versterkende factoren (explicietheid, intersectionaliteit).
• Fairness (F): Legt ongelijkwaardige behandeling binnen de respons vast (demografische discrepantie, equality-of-opportunity gaten, groepsdiscrepantie).
• Ethics (E): Aggregeert indicatoren van waarde-misalignment (ethische misalignment, waardeconflict, risico op schade, culturele ongevoeligheid, exclusierisico).
• Epistemic Reliability (K): Meet onbetrouwbaarheid (epistemische onzuiverheid, epistemisch risico).

3. Risico-gevoelige Aggregatie

Om cumulerende schade te modelleren, gebruikt SHARP een union-of-failures formulering geïnspireerd door betrouwbaarheidsanalyse.

• Gecumuleerde Schade: De waarschijnlijkheid van het optreden van enige schade over dimensies heen wordt gemodelleerd als $H = 1 - \prod (1 - h_i)$.
• Additief Log-Risico: Om verzadiging nabij 1 te voorkomen en decomponeerbaarheid mogelijk te maken, herparameteriseert SHARP de resterende veiligheid met een negatieve log-transformatie. De cumulatieve log-risico $L$ wordt gedefinieerd als:
  $$L = -\log(1 - H + \epsilon) = \sum_i -\log(1 - h_i + \epsilon)$$
  Dit transformeert begrensde schade-intensiteiten naar onbegrensde risico-eenheden, waarbij additieve bijdragen van individuele dimensies de gecumuleerde risicodruk vertegenwoordigen.

4. Distributionele Profilering

In plaats van één gemiddelde score te rapporteren, karakteriseert SHARP de empirische distributie van prompt-niveau cumulatieve log-risico waarden voor elk model met behulp van:

• Verwachte Log-Risico ($\mu_L$): Centrale tendens.
• Risicovolatiliteit ($\sigma_L$): Dispersie van risico over prompts.
• Conditional Value at Risk ($CVaR_{0.95}$): De primaire metriek, die de verwachte log-risico vertegenwoordigt onder de slechtst presterende 5% van de prompts. Dit legt expliciet de ernst van de staart (tail severity) vast.

Belangrijkste Resultaten

Het framework werd toegepast op 11 frontier LLM's (inclusclusief open-weight en propriëtaire systemen).

1. Divergentie tussen Gemiddelde en Staartrisico

Modellen met vergelijkbare gemiddelde risicoprofielen vertoonden uitgesproken verschillen in staartgedrag.

• Voorbeeld: Claude Sonnet 4.5 bereikte een $CVaR_{0.95}$ van 1.69, terwijl DeepSeek-Chat en Mistral-Large respectievelijk 5.73 en 5.99 bereikten. Dit vertegenwoordigt een meer dan drievoudige toename in worst-case gecumuleerde schade, ondanks relatief nabije gemiddelde log-risico waarden.
• Significantie: Op gemiddelden gebaseerde samenvattingen onderschatten systematisch extreem gedrag. LLaMA-3 405B vertoonde een $CVaR_{0.95}$ die meer dan vier keer zo hoog was als die van het model met het laagste risico.

2. Dimensionale Heterogeniteit

• Marginale Staart-ernst: Bias-gerelateerde schade vertoonde consistent de sterkste staart-ernst over de modellen heen. Epistemische en fairness risico's bezetten intermediaire regimes, terwijl ethische misalignment consequent lager was.
• Gecumuleerde Staart-attributie: De drijvers van worst-case gecumuleerde fouten varieerden per model. Voor sommige systemen (bijv. Claude 3.5 Sonnet, GPT-4o) was epistemische onbetrouwbaarheid een belangrijke bijdrage aan het staartrisico. Voor anderen (bijv. hoger risico lopende open-weight modellen) domineerden bias-gerelateerde mechanismen. Dit geeft aan dat geen enkele dimensie uniform de worst-case uitkomsten over alle modellen drijft.

3. Statistische Validatie

• Stabiliteit: Bootstrap-resampling en leave-one-judge-out analyses bevestigden dat modelrangschikkingen gebaseerd op $CVaR_{0.95}$ stabiel en robuust zijn tegen variaties in de samenstelling van de beoordelaars en aggregatieparameters.
• Prompt-afhankelijkheid: Variantie-decompositie onthulde dat prompt-identiteit een groter deel van de totale variantie verklaart (25.8%) dan model-identiteit (13.9%), wat de contextgevoelige aard van sociale schade en de noodzaak van distributionele analyse boven punt-schattingen onderstreept.

Significantie en Claims

Het artikel positioneert SHARP als een methodologische vooruitgang in plaats van een bron van absolute, gekalibreerde werkelijke schadepercentages.

• Verschuiving van Scalair naar Distributioneel: De primaire bijdrage is het argument dat sociale schade niet adequaat kan worden gekarakteriseerd als een scalaire hoeveelheid. Effectieve evaluatie vereist methoden die expliciet de distributionele geometrie van schade en de interacties tussen dimensies modelleren.
• Risico-beperkte Selectie: SHARP maakt een verschuiving mogelijk van totale ordening op basis van gemiddelde prestaties naar risico-beperkte modelselectie. Door gebruik te maken van staart-gevoelige drempelwaarden (bijv. $CVaR_{0.95}$), kunnen belanghebbenden modellen uitsluiten met een onacceptabele worst-case blootstelling, ongeacht hun gemiddelde prestaties.
• Gerichte Mitigatie: De dimensionale decompositie maakt diagnose van specifieke foutmodi mogelijk (bijv. het onderscheid tussen bias-gedreven en epistemisch-gedreven staartrisico's), wat gerichte interventies ondersteunt in plaats van uniforme remediëring.
• Beperkingen: De auteurs stellen expliciet dat SHARP geen populatiebrede eerlijkheidsgaranties of gekalibreerde waarschijnlijkheden van werkelijke schade biedt. Het framework evalueert intrinsiek, single-turn gedrag onder een vaste, primair Engelstalige prompt-distributie. Een laag gemeten risico kan wijzen op weigering of afwijzing in plaats van veilige taakuitvoering, en de resultaten zijn afhankelijk van het gekozen ensemble van beoordelaars.

Samenvattend biedt SHARP een reproduceerbare, distributie-bewuste basis voor vergelijkende, staart-gevoelige evaluatie, en toont het aan dat een betekenisvolle beoordeling van LLM-risico's vereist dat men verder kijkt dan scalaire gemiddelden naar de multidimensionale profilering van worst-case gedrag.