LLM Harms: A Taxonomy and Discussion

Technische Samenvatting: Schade door Groot Taalmodellen: Een Taxonomie en Discussie

Probleemstelling
De snelle adoptie van Groot Taalmodellen (LLM's) in de gezondheidszorg, financiën, onderwijs en creatieve industrieën heeft de ontwikkeling van integratieve kaders om de bijbehorende risico's te categoriseren en te mitigeren, ingehaald. Hoewel bestaande literatuur specifieke schade behandelt – variërend van privacykrenkingen tijdens het voorverwerken tot het genereren van extremistische inhoud en economische verdringing – blijven deze risico's gefragmenteerd. Het ontbreken van een uniek raamwerk belemmert verantwoordingsplicht, transparantie en het effectief navigeren door bias. Bovendien wijzen repositories met incidenten uit de echte wereld op een groeiend aantal AI-fouten, wat een systematische categorisering van schade vereist die de volledige levenscyclus van AI-toepassingen beslaat, van voorontwikkeling tot downstream-deployering.

Methodologie
Deze studie hanteert een systematische review-methodologie die is afgestemd op de PRISMA-2020-checklist. De auteurs voerden een zoektocht uit in meerdere databases (waaronder Google Scholar, IEEE Xplore, ACM DL en anderen) naar publicaties tussen januari 2021 en juni 2025. De zoekstrategie gebruikte ankertermen (bijv. "groot taalmodel", "foundation model") in combinatie met specifieke schade-aspecten (voor-deployering, directe output, misbruik, systemisch). Van een initiële pool van 1.986 records plus 24 handmatig geselecteerde seed-papers, screenen en codeerden de auteurs een definitieve corpus van 200 studies. Elke studie werd geanalyseerd op type schade, ernst, prevalentie en claims over mitigatie. Deze kwantitatieve synthese werd aangevuld met tien expertinterviews met veiligheidstechnici en beleidsmakers. De reikwijdte is beperkt tot tekstgebaseerde LLM's met parameters groter dan of gelijk aan 7 miljard, waarbij visueel-taalhybriden en kleine domeinspecifieke modellen zijn uitgesloten.

Belangrijkste Bijdragen: Een Levenscyclus-Taxonomie van Schade
De belangrijkste bijdrage van dit werk is een uitgebreide, ontwikkelings-tijdlijn-taxonomie van schade door LLM's, georganiseerd in vijf distincte categorieën:

1. Schade voor Deployering:

   • Schade door Trainingsdata: Omvat privacykrenkingen (memorisatie van gevoelige data), gebrek aan toestemming, en het in stand houden van historische bias en haatzaaiende taal die is ingebed in web-schaal corpora.
   • Milieu- en Resource-Schade: Dekt de aanzienlijke CO2-voetafdruk van training en inferentie, waterverbruik voor koeling, en de impacten van de toeleveringsketen van hardwareproductie (bijv. kobaltmijnbouw).
   • Arbeids- en Economische Schade in Ontwikkeling: Benadrukt de uitbuiting van data-annotators (vaak met lage lonen), de psychologische last voor contentmoderators, en de concentratie van O&O-bronnen binnen een paar tech-reuzen.

2. Directe Output-Schade:

   • Representatieve Schade: Omvat demografische bias, stereotypering, en de verkeerde weergave van minderheidsperspectieven en dialecten (bijv. African-American Vernacular English).
   • Inhoudsgebonden Schade: Omvat het genereren van giftige inhoud, desinformatie, en output die privacy schendt.
   • Kwaliteits- en Betrouwbaarheidsschade: Gaat over hallucinaties, feitelijke fouten, inconsistente redenering, en overmoed in onjuiste antwoorden.

3. Schade door Misbruik en Kwaadaardige Toepassing:

   • Opzettelijke Creatie van Schadelijke Inhoud: Het gebruik van LLM's om op grote schaal haatzaaiende taal, intimidatiehulpmiddelen en extremistische propaganda te genereren.
   • Bedrieglijke Praktijken: Faciliteren van academische oneerlijkheid, fraude, oplichtingshulp, en het creëren van deepfake-tekst.
   • Veiligheids- en Privacy-aanvallen: Omvat kwetsbaarheden voor prompt-injectie, data-extractie-aanvallen (terugwinnen van trainingsdata), en verbeteringen in sociale manipulatie.

4. Sociale en Systemische Schade:

   • Economische Disruptie: Verdringing van banen, loonpolarisatie, en de concentratie van productiviteitswinsten in "superster"-bedrijven.
   • Democratische en Sociale Schade: Manipulatie van informatiesystemen, versterking van politieke bias, en de degradatie van publieke discours via botnetwerken en "grijze" inhoud.
   • Ongelijkheden in Macht en Toegang: De verbreding van de technologische kloof door concentratie van rekenkracht, waardoor barrières ontstaan voor kleinere actoren en het Globale Zuiden.

5. Schade door Downstream-toepassingen:

   • Besluitvorming met Hoge Risico's: Risico's in de gezondheidszorg (diagnostische fouten), financiën (gehallucineerd advies) en strafrecht (versterking van bias bij risicoscores).
   • Invloed op het Onderwijssysteem: Erosie van kritische denkvaardigheden, problemen met de integriteit van toetsing, en het "atrofie-effect van denken".
   • Professioneel en Creatief Werk: Schendingen van intellectuele eigendom, waardedaling van menselijk creatief werk, en het ondermijnen van professionele expertise.

Resultaten en Analyse
De analyse toont aan dat schademodellen onderling afhankelijk zijn in plaats van geïsoleerd; bijvoorbeeld, trainingsdata die privacy schendt zaait bias in directe output, die vervolgens kan worden gewapend via jailbreaks. De studie stelt vast dat hoewel technische mitigaties (bijv. red-teaming, afstemmingstuning, retrieval-augmented generation) bepaalde openlijke fouten (zoals blatant giftige output) hebben verminderd, subtielere bias en hallucinaties blijven bestaan. Governance-reacties zijn momenteel gefragmenteerd, waarbij de EU-AI-wet bindende plichten oplegt terwijl de VS grotendeels steunt op vrijwillige kaders.

Een kritieke bevinding is het ontstaan van nieuwe schademodellen, met name in multi-agent LLM-ecosystemen, waar recursieve fouten en emergente collectieve gedragingen (bijv. agenten die elkaars hallucinaties versterken) risico's creëren die niet worden gedekt door taxonomieën voor single-modellen. Langitudinale bewijzen suggereren dat hoewel sommige vroege schade (bijv. openlijke scheldwoorden) door filtering is afgenomen, systemische en misbruikgerelateerde schade in prevalentie toenemen naarmate LLM's meer in de samenleving zijn ingebed.

Betekenis en Toekomstige Richtingen
Het paper betoogt dat een "gelaagde verdediging" essentieel is, waarbij rigoureuze red-teaming, afstemmingstuning, gesandboxeerd gebruik van tools en continue monitoring worden gecombineerd met afdwingbare transparantie en regels voor toewijzing van rekenkracht. Het stelt dat zonder dergelijke integratie de productiviteitsdividenden van LLM's het risico lopen te worden overschaduwd door privacykrenkingen, desinformatiecascades en toenemende ongelijkheid.

De auteurs bepleiten:

• Dynamische Auditie: Continue, real-time monitoringssystemen om opkomende problemen zoals nieuwe vormen van haatzaaiende taal of prompt-aanvallen te signaleren.
• Interdisciplinaire Samenwerking: Het integreren van ethici, sociaalwetenschappers en domeinexperts in de AI-ontwikkelcyclus om de socioculturele context van schade aan te pakken.
• Rekenkracht-Governance: Het verkennen van regelgevingsregimes (bijv. cap-and-trade voor FLOPs) om de upstream-resources te beheren die modelcapaciteiten aandrijven.
• Evolutie van Benchmarking: Het ontwikkelen van dynamische, open benchmarkplatforms die evolueren met modelcapaciteiten en incidentgegevens uit de echte wereld bevatten.

Uiteindelijk concludeert de studie dat hoewel LLM's aanzienlijk potentieel hebben voor sociaal goed, het realiseren van dit potentieel een proactieve, veelzijdige aanpak vereist om schade te minimaliseren, innovatie te sturen via veiligheidsvoorschriften die zijn geïnformeerd door eerdere incidenten en lopend onderzoek.