AI Safety Evaluations Need To Consider Cascading Effects

Probleemstelling

Huidige AI-beveiligings- en ethische evaluaties richten zich overwegend op twee geïsoleerde niveaus:

1. Foundation Models (FMs): Evaluaties die zich concentreren op de inherente capaciteiten van het model zelf (bijv. benchmarks voor redeneren of feitelijke juistheid), vaak in gecontroleerde, statische omgevingen.
2. Toepassingen (Applications): Evaluaties van het uiteindelijke systeem als een "black box", waarbij de focus ligt op de gebruikerservaring en de output, zonder inzicht in de interne componenten.

Het centrale probleem is dat deze benaderingen de socio-technische supply chain van AI-systemen negeren. Moderne AI-systemen (zoals LLM-chatbots) bestaan uit een complex netwerk van interacties tussen verschillende technische componenten (bijv. system prompts, veiligheidsfilters, RAG-systemen, personalisatielaagjes) en diverse belanghebbenden (modelproviders, ontwikkelaars, gebruikers). Deze componenten werken niet lineair; ze beïnvloeden, versterken of neutraliseren elkaars effecten. De huidige audits missen de cascade-effecten: de cumulatieve en vaak onvoorspelbare gevolgen die ontstaan door de interactie tussen deze componenten. Dit leidt tot gaten in de veiligheid, transparantie en verantwoordingsplicht, omdat schade kan ontstaan door interacties die door geen enkele partij in de keten volledig overzien kunnen worden.

Methodologie

De auteurs hanteren een conceptuele en analytische benadering, waarbij ze Large Language Models (LLMs) gebruiken als casestudy vanwege hun wijdverbreide inzet en prominente rol in het publieke debat.

1. Conceptualisering van de 'Cascade': De auteurs introduceren het concept van de "cascade" als een analytische lens. Dit omvat de cumulatieve interacties tussen componenten die leiden tot downstream-effecten.
2. Twee overlappende modaliteiten: Ze analyseren cascades vanuit twee perspectieven:
   • Component Cascade: Hoe gedrag zich opstapelt via verbonden technische componenten (bijv. hoe een prompt-injectie interacteert met een veiligheidsfilter en een personalisatielaag).
   • Stakeholder Cascade: Hoe verschillende actoren in de supply chain (providers, ontwikkelaars, gebruikers) verschillende delen van het systeem beheren, wat leidt tot zichtbaarheids- en controlegaten.
3. Literatuuranalyse: De auteurs beoordelen de huidige landschap van LLM-audits (capaciteitsaudits en component-specifieke audits) en identificeren waar deze tekortschieten in het vangen van dynamische, niet-modulaire interacties.
4. Case-studies en Voorbeelden: Er worden concrete scenario's geschetst (zoals een mentale gezondheidschatbot) om te illustreren hoe een simpele gebruikersinvoer via een keten van componenten (database, API, model, server) kan escaleren tot een onbedoeld hoog-risico resultaat.

Belangrijkste Bijdragen

1. Het 'Cascade'-concept: De paper introduceert de cascade als een nieuw object van analyse voor AI-audits. Dit verschuift de focus van het evalueren van individuele onderdelen naar het evalueren van de interacties en de stroom van effecten door de supply chain.
2. Identificatie van Audit-Gaten: De auteurs identificeren drie kritieke eigenschappen van AI-supply chains die huidige audits ondermijnen:
   • Non-modulariteit: Componenten zijn niet loskoppelbaar; hun interactie leidt tot emergente effecten (zoals een "soep" in plaats van een salade).
   • Opaquiteit: Geen enkele stakeholder heeft volledig zicht op alle componenten en transformaties in de keten.
   • Dynamiek: Componenten kunnen conditioneel worden geactiveerd (bijv. door agenten die runtime beslissingen nemen), waardoor de supply chain continu verandert.
3. Typologie van Transformaties: De paper classificeert hoe componenten data en modelgedrag veranderen:
   • Augmenterend: Toevoegen van kennis of tools (RAG).
   • Gedragsmatig: Wijzigen van verwerking (system prompts, fine-tuning).
   • Contextueel: Personalisatie op basis van gebruikersdata.
   • Beperkend: Censuur of veiligheidsfilters.
   • Presentatie: Wijziging van output-formaat.
4. Richtlijnen voor Cascade-Auditing: De auteurs stellen een onderzoeksagenda op die zowel technische als mensgerichte benaderingen omvat:
   • Technisch: Methoden voor data-flow tracking, lineage tracing (herkomst van beslissingen), en het evalueren van robustheid van veiligheidscomponenten in interactie.
   • Menselijk/Interdisciplinair: Participatieve auditframeworks die expertise van verschillende stakeholders combineren en richtlijnen voor verantwoord gebruik ontwikkelen.

Resultaten en Observaties

• Huidige audits falen in het detecteren van schade die ontstaat door de combinatie van componenten, zelfs als elke component individueel veilig lijkt.
• Verantwoordingsproblemen: Door de verdeelde controle en zichtbaarheid is het vaak onmogelijk om te bepalen wie verantwoordelijk is voor een specifiek falen (het "accountability horizon" probleem).
• Onverwacht gedrag: Interacties kunnen leiden tot emergente risico's, zoals het omzeilen van veiligheidsfilters door een combinatie van een specifieke prompt en een personalisatie-instelling, of het versterken van bias door meerdere lagen.
• Beperkingen van Openness: Zelfs bij "open-weight" modellen blijft de infrastructuur eromheen (API's, middleware) vaak een black box, wat de transparantie beperkt.

Betekenis en Implicaties

De paper pleit voor een paradigmaverschuiving in AI-beveiliging: van model-centric naar systeem-georiënteerde audits.

• Voor Beleid en Regulering: Regulatoren moeten eisen dat audits de gehele algorithmische supply chain in ogenschouw nemen, niet alleen het eindproduct of het basismodel. Dit is cruciaal voor het vaststellen van aansprakelijkheid.
• Voor Onderzoek: Er is dringende behoefte aan nieuwe methoden om data-transformaties en beslissingsprovenance (herkomst) door complexe, dynamische ketens te traceren.
• Voor Veiligheid: Het negeren van cascade-effecten creëert een vals gevoel van veiligheid. Alleen door de interacties tussen socio-technische componenten te analyseren, kunnen systemen echt veilig, transparant en verantwoord worden gemaakt.

Kortom, de paper stelt dat AI-veiligheid geen eigenschap is van een enkel model, maar een emergente eigenschap van het hele ecosysteem van interacties. Zonder het concept van de "cascade" te integreren, blijven kritieke veiligheidsrisico's onzichtbaar.