Quantifying Harm

Dit artikel breidt een eerdere kwalitatieve definitie van schade uit door een kwantitatief raamwerk te ontwikkelen voor het meten van individuele en maatschappelijke schade onder onzekerheid, waarbij wordt aangetoond dat eenvoudige aggregatiemethoden tegenintuïtieve resultaten kunnen opleveren en dat er besluit-theoretische alternatieven worden voorgesteld, met name in de context van precisiegeneeskunde.

De kern

Het Grote Plaatje: Van "Heeft het pijn gedaan?" naar "Hoeveel pijn heeft het gedaan?"

Stel je voor dat je een rechter bent die moet beslissen of een nieuw AI-systeem schade heeft veroorzaakt. In het verleden hadden de auteurs (Beckers, Chockler en Halpern) een eenvoudige regel: Ja of Nee. Heeft de AI schade veroorzaakt? Als het antwoord "Ja" was, was het klaar.

Maar in de echte wereld moeten we preciezer zijn. We willen niet alleen weten of er schade is opgetreden; we willen weten hoe erg het was, zodat we de beste optie kunnen kiezen. Dit artikel gaat over het bouwen van een wiskundig liniaal om de "hoeveelheid" schade te meten, in plaats van alleen een lichtschakelaar die "aan" of "uit" zegt.

1. De Basislijn: Wat is "Normaal"?

Om schade te meten, heb je een startpunt nodig. Denk hierbij aan een thermostaat.

• De Standaardnut: Dit is de "normale" temperatuur van een kamer.
• Het Resultaat: Dit is de werkelijke temperatuur nadat de verwarming of de airco heeft gelopen.

Als de kamer 70°F (ongeveer 21°C) zou moeten zijn (de standaard) en de verwarming maakt het 75°F (ongeveer 24°C), dan is dat een voordeel. Als de airco het 60°F (ongeveer 15°C) maakt, dan is dat schade. De hoeveelheid schade is simpelweg het verschil tussen waar je zou moeten zijn en waar je werkelijk bent beland.

De Twist: Het artikel stelt dat "normaal" niet altijd nul is. Soms is "normaal" een bereik.

• Analogie: Stel je voor dat je een ober een fooi geeft.
  • Het Bereik: Een fooi tussen 15% en 20% is "normaal". Het is noch goed, noch slecht; het wordt gewoon verwacht.
  • Schade: Als je 5% fooi geeft, heb je schade veroorzaakt (je zit onder de vloer).
  • Voordeel: Als je 50% fooi geeft, heb je een voordeel gecreëerd (je zit boven het plafond).
  • Het Punt: Je kunt niet zomaar zeggen "meer geld is altijd beter". Er is een "sweet spot" waar niets gebeurt.

2. De dobbelsteenrol: Omgaan met onzekerheid

Het leven is zelden zeker. Soms geneest een operatie van een arts een patiënt; soms doodt het hen. Hoe meten we schade als het resultaat een gok is?

Het artikel kijkt naar hoe mensen eigenlijk over risico denken, wat vaak vreemd is.

• Het "Zelfrijdende Auto"-Probleem: Stel je een zelfrijdende auto voor.
  • Optie A: Rijden met de maximumsnelheid. Er is een kans van 1 op een miljoen op een dodelijk ongeval.
  • Optie B: 20% langzamer rijden. Er is een kans van 1 op 2 miljoen op een dodelijk ongeval.
  • De Wiskunde: Optie B is veiliger. Als je gewoon de wiskunde doet (Verwachte Nut), zou je altijd B moeten kiezen.
  • De Realiteit: Mensen geven vaak de voorkeur aan Optie A. Waarom? Omdat onze hersenen een kans van 1 op een miljoen behandelen als "vrijwel nul". We negeren kleine risico's.

De auteurs suggereren dat we Probabiliteitsweging moeten gebruiken. In plaats van een risico van 1% en een risico van 0,0001% lineair te behandelen, passen we een "gewicht" toe op deze risico's.

• Analogie: Denk aan een vergrootglas.
  • Soms gebruiken we een vergrootglas dat kleine risico's enorm groot maakt (zoals bang zijn voor een terroristische aanslag nadat je erover hebt gehoord).
  • Soms gebruiken we een "dimmer" die kleine risico's laat verdwijnen (zoals het risico op een auto-ongeluk negeren omdat we elke dag rijden).
  • Om schade nauwkeurig te meten, moeten we rekening houden met hoe mensen deze kansen echt waarnemen, niet alleen met de ruwe cijfers.

3. Het Groepsprobleem: Rechtvaardigheid en Aggregatie

Wat gebeurt er als een beleid 1.000 mensen pijn doet? Tel je de pijn dan gewoon op?

• De "Som"-Valstrik: Als Beleid A 1.000 willekeurige mensen een klein beetje pijn doet, en Beleid B één specifieke persoon veel pijn doet, zou een eenvoudige wiskundige som kunnen zeggen dat ze gelijk zijn.
• Het Rechtvaardigheidsprobleem: Intuïtief voelen we ons anders bij deze twee situaties. Het pijn doen aan 1.000 willekeurige mensen voelt anders dan het richten op één specifieke persoon (of een specifieke groep, zoals een minderheidsgemeenschap).

Het artikel stelt een Rechtvaardigheidsboete voor.

• Analogie: Stel je voor dat je op een schoolkantine zit.
  • Als de kantine per ongeluk een slechte lunch geeft aan 100 willekeurige studenten, is dat vervelend.
  • Als de kantine alleen slechte lunches geeft aan de studenten die aan Tafel 5 zitten, voelt dat als pesten.
  • De auteurs suggereren dat onze "schadecalculator" een enorme boete moet toevoegen als een beleid onevenredig veel schade toebrengt aan een specifieke, identificeerbare groep. Het gaat niet alleen om het totale aantal mensen dat pijn heeft; het gaat om wie pijn krijgt.

4. Het Debat over Precisiemedicine

Het artikel verbindt deze ideeën met een recent debat in de geneeskunde over "Precisiemedicine" (behandelingen afstemmen op specifieke genen).

• Het Conflict: Sommige experts zeggen: "Behandel de patiënt als het gemiddelde voordeel positief is." Anderen zeggen: "Nee, we moeten prioriteit geven aan het vermijden van schade aan het individu, zelfs als het gemiddelde voordeel positief is."
• Het Standpunt van de Auteurs: Zij tonen aan dat dit debat eigenlijk slechts een specifieke versie is van de problemen die ze al hebben opgelost.
  • De aanpak van "Gemiddeld Voordeel" negeert de "Standaard" (wat er gebeurt als we niets doen).
  • De aanpak "Schade Vermijden" vertrouwt vaak op een specifieke definitie van causaliteit (de "Maar-Zonder"-test: "Zou ze dood zijn maar voor de behandeling?").
  • De auteurs stellen dat het medische debat de nuance van context mist. Wat "schade" is, hangt af van hoe het leven van de patiënt eruitzag voordat de behandeling begon. Als een patiënt al stervende is, is een risicovolle behandeling misschien niet "schadelijk", zelfs als het hen doodt, omdat het alternatief toch de dood was.

5. Het Moeilijke Deel: De Wiskunde is Lastig

Tot slot geeft het artikel toe dat het berekenen hiervan computertechnisch zeer moeilijk is.

• Analogie: Stel je voor dat je een enorm Sudoku-puzzel probeert op te lossen waarbij elke keer als je een nummer verplaatst, de regels van de puzzel iets veranderen.
• De auteurs bewijzen dat het exact bepalen "hoeveel" schade er is opgetreden, een probleem is dat in het slechtst mogelijke scenario een supercomputer heel lang nodig heeft om op te lossen.
• Echter: Zij stellen dat in het echte leven de puzzels meestal niet zo groot zijn. De meeste beslissingen betreffen een beheersbaar aantal variabelen, dus we kunnen deze definities toch in de praktijk gebruiken.

Samenvatting

Dit artikel bouwt een geavanceerd instrument om schade te meten. Het gaat verder dan simpele "Ja/Nee"-antwoorden en vraagt:

1. Hoeveel slechter is het resultaat vergeleken met de "normale" basislijn?
2. Hoe passen we rekening houdend met hoe mensen risico waarnemen (het negeren van kleine risico's versus bang zijn voor ze)?
3. Hoe zorgen we ervoor dat we geen specifieke groepen onrechtvaardig targeten?

Door deze vragen te beantwoorden, hopen de auteurs AI-systemen, artsen en beleidsmakers te helpen beslissingen te nemen die beter overeenkomen met de menselijke intuïtie over wat echt "schadelijk" is.

Technische samenvatting

Technische Samenvatting: Het Kwantificeren van Schade

Probleemstelling
Hoewel kunstmatige intelligentiesystemen steeds meer invloed uitoefenen op kritieke domeinen zoals gezondheidszorg, werving en selectie, en autonoom rijden, blijft het definiëren en meten van "schade" een aanzienlijke uitdaging. Bestaande regelgevingskaders, zoals de Europese AI-wet, vereisen de beoordeling van zowel de ernst als de waarschijnlijkheid van schade, doch de filosofische literatuur beschrijft het concept schade vaak als een "Frankenstein-achtige brij" van tegenstrijdige verklaringen. Eerder werk van de auteurs vestigde een kwalitatieve definitie van schade (het bepalen of schade is opgetreden of niet) op basis van causale modellen en een standaardnutswaarde. Echter, praktische toepassingen vereisen een kwantitatieve notie van schade om ingrepen te vergelijken, schade over populaties te aggregeren en rekening te houden met onzekerheid. Het artikel adresseert de kloof tussen kwalitatieve causaliteit en de kwantitatieve maatstaven die nodig zijn voor beleidsvorming en ethische besluitvorming.

Methodologie
De auteurs ontwikkelen een kwantitatief raamwerk dat is gebaseerd op structurele causale modellen en de Halpern-Pearl-definitie van feitelijke causaliteit. De methodologie verloopt via verschillende fasen:

1. Kwantitatieve Schade in een Deterministische Context:
   De auteurs definiëren kwantitatieve schade ($QH$) voor een enkel agent in een vaste context. Deze wordt berekend als het verschil tussen de nutswaarde van het feitelijke resultaat en een basislijn, begrensd door een "standaardnutswaarde" ($d$). Specifiek, als een actie $\vec{X}=\vec{x}$ een resultaat $O=o$ veroorzaakt in plaats van een contrastief resultaat $O=o'$, is de schade gelijk aan $\max(0, \min(d, u(o')) - u(o))$. Deze formulering zorgt ervoor dat schade alleen wordt geregistreerd als de feitelijke nutswaarde lager is dan zowel de contrastieve nutswaarde als de standaardnutswaarde.

2. Omgaan met Onzekerheid (Waarschijnlijkheidsweging):
   Om onzekerheid met betrekking tot contexten aan te pakken, gaat het artikel over van eenvoudige verwachte schade naar Gewogen Verwachte Kwantitatieve Schade (WEQH). Inzichtelijk makend dat menselijke besluitvorming vaak afwijkt van strikte maximalisatie van verwachte nutswaarde (bijvoorbeeld door kleine kansen te overwegen of op basis van ervaring te onderschatten), integreren de auteurs een waarschijnlijkheidsweegfunctie $w$. De WEQH is de som van de gewogen kansen van contexten vermenigvuldigd met de kwantitatieve schade in die contexten. Dit stelt het model in staat fenomenen te vangen zoals de voorkeur om zeldzame catastrofale gebeurtenissen te vermijden (overwegen) of verwaarloosbare risico's in dagelijkse activiteiten te negeren (onderschatten).

3. Aggregatie van Maatschappelijke Schade en Rechtvaardigheid:
   Het artikel bekritiseert de "voor de hand liggende" aanpak van het simpelweg optellen van individuele schades, met de opmerking dat dit geen rekening houdt met rechtvaardigheid en de onevenredige impact op specifieke subpopulaties. De auteurs stellen een Collectief Nutmodel voor dat een strafterm ($\alpha$) introduceert als een vooraf gedefinieerde identificeerbare groep ($G$) een gemiddelde schade lijdt die significant hoger ($\beta$) is dan het populatiegemiddelde. Dit mechanisme stelt het raamwerk in staat beleidslijnen te straffen die schade concentreren op specifieke groepen, zelfs als de totale aggregerende schade laag is.

4. Asymmetrie tussen Schade en Voordeel:
   In tegenstelling tot standaard kosten-batenanalyses die voordeel behandelen als het symmetrische tegenovergestelde van schade, stellen de auteurs een standaardinterval $D = [d_h, d_b]$ voor. Resultaten onder $d_h$ vormen schade, resultaten boven $d_b$ vormen voordeel, en resultaten binnen het interval zijn neutraal. Dit vangt de intuïtie op dat er een "veilig" bereik van resultaten bestaat waar noch schade noch voordeel wordt opgelopen.

5. Complexiteitsanalyse:
   De appendix analyseert de computationele complexiteit van het bepalen en berekenen van schade. Het beslissen of schade optreedt (kwalitatief) blijkt DP-compleet te zijn, terwijl het berekenen van de omvang van kwantitatieve schade $FP^{NP[\log n]}$-compleet is. De auteurs merken op dat hoewel deze klassen intractabiliteit suggereren in het ergste geval, praktische toepassingen met kleine verzamelingen variabelen of symmetrie-overwegingen het probleem haalbaar kunnen maken.

Belangrijkste Bijdragen en Resultaten

• Formele Definitie: Het artikel levert de eerste formele, kwantitatieve definitie van schade die causale modellen, nutstheorie en een standaardbasislijn integreert.
• Weerspreking van Eenvoudige Aggregatie: De auteurs demonstreren dat het optellen van verwachte schades kan leiden tot tegenintuïtieve resultaten, met name met betrekking tot rechtvaardigheid en de verdeling van risico. Zij tonen aan hoe waarschijnlijkheidsweging en groepsgebaseerde straffen deze paradoxen kunnen oplossen (bijvoorbeeld Norcross' cyclus van schade).
• Vergelijking met RBT: Het artikel biedt een gedetailleerde vergelijking met de aanpak van Richens, Beard en Thompson (RBT). De auteurs betogen dat de afhankelijkheid van RBT van "but-for"-causaliteit en een enkele standaardactie (geen behandeling) leidt tot gebrekkige conclusies, zoals de implicatie dat het niet behandelen van een patiënt geen schade veroorzaakt. Het gebruik door de auteurs van een bredere causaliteitsdefinitie en een flexibele standaardnutswaarde levert meer genuanceerde en medisch plausibele resultaten op.
• Context van Precisiemedicijnen: Het raamwerk wordt toegepast op een recent debat in de precisiemedicijnen (met inbegrip van Dawid, Senn, Sarvet, Stensrud, Mueller en Pearl). De auteurs tonen aan dat de debatten over behandelingsregels (bijvoorbeeld het maximaliseren van het gemiddelde behandelingseffect versus het wegen van voordeel tegen schade) in wezen speciale gevallen zijn van de bredere kwesties van standaardnutswaarde en waarschijnlijkheidsweging die in hun raamwerk worden aangepakt.

Betekenis en Beweringen
Het artikel positioneert zichzelf als een fundamentele stap naar een formele aanpak voor het bepalen van schade in de praktijk, met name voor AI-systemen en openbaar beleid. De auteurs maken bescheiden de claim dat dit werk een "eerste stap" vormt in plaats van een volledige oplossing. Zij benadrukken dat:

• De definitie van kwantitatieve schade voor een enkel agent in een vaste context rechttoe rechtaan is, maar dat subtiliteiten ontstaan bij onzekerheid en aggregatie.
• De voorgestelde aanpak voor rechtvaardigheid (het straffen van onevenredige schade) een schets is die verdere empirische validatie vereist om ervoor te zorgen dat deze overeenkomt met menselijke heuristieken.
• De behandeling van waarschijnlijkheidsweging (overwegen versus onderschatten) complex en contextafhankelijk is, waarbij beleidsmakers normatieve en beschrijvende overwegingen moeten afwegen in plaats van uit te gaan van een universele weegfunctie.
• Het raamwerk schade en schuld integreert, wat een pad suggereert naar een volledige theorie van morele verantwoordelijkheid, hoewel het artikel zich primair richt op de mechanica van het kwantificeren van schade.

Uiteindelijk betoogt het artikel dat een rigoureuze, causaliteitsgebaseerde kwantitatieve definitie van schade cruciaal is voor de ethische inzet van AI en de formulering van regelgeving zoals de Europese AI-wet, en dat dit een stap voorbij de "rommel" van kwalitatieve filosofische debatten naar actieerbare maatstaven betekent.