🤖 AI

Towards AI epidemiology: a measurement standardisation framework for prospective risk detection

Dit conceptpapier stelt een raamwerk voor de standaardisatie van metingen voor om "AI-epidemiologie" mogelijk te maken voor prospectieve risicodetectie in ingezette AI-systemen door een grammatica en statistisch protocol te definiëren om de betrouwbaarheid van beoordelingen van expert-AI-interacties te valideren en een basis te leggen voor toekomstige governance en epidemiologische studies.

Oorspronkelijke auteurs: Kit Tempest-Walters

Gepubliceerd 2026-06-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kit Tempest-Walters

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de manager bent van een druk ziekenhuis, een bank of een advocatenkantoor. Je hebt een team van ongelooflijk slimme, snelle, maar onzichtbare assistenten (AI-modellen) ingehuurd om je experts te helpen bij het nemen van beslissingen. Het probleem is dat deze assistenten "black boxes" zijn. Je kunt zien wat ze zeggen, maar je hebt geen idee hoe ze van binnen denken. Soms geven ze geweldig advies; soms geven ze gevaarlijk of regelovertredend advies, en je weet het pas als het te laat is.

Dit artikel stelt een nieuwe manier voor om deze onzichtbare assistenten te beheren zonder hun "hersenen" te hoeven openen. Het stelt een systeem voor genaamd AI-epidemiologie.

Hier is de opbouw van de ideeën uit het artikel met behulp van eenvoudige analogieën:

1. Het Probleem: We kunnen niet in de machine kijken

Momenteel proberen wetenschappers AI te begrijpen door naar de interne code te kijken (zoals proberen te begrijpen hoe een automotor werkt door hem uit elkaar te halen). Het artikel noemt dit "correspondentie-gebaseerde interpreteerbaarheid". Maar naarmate AI groter wordt, wordt dit onmogelijk. De motor is te complex en de onderdelen zijn te verstrengeld.

De oplossing van het artikel: In plaats van te proberen te begrijpen hoe de motor werkt, laten we gewoon kijken naar wat de auto doet en hoe de bestuurder erop reageert. We hoeven de mechanica niet te kennen om te weten of de auto veilig rijdt.

2. Het Kernidee: Het "Verkeersregelaar"-systeem

De auteurs stellen een framework voor dat fungeert als een Verkeersregelaar die naast elke interactie tussen een menselijke expert en de AI staat.

Elke keer dat een expert de AI een vraag stelt en een antwoord krijgt, legt het systeem automatisch drie dingen vast in een gestandaardiseerd "rapportcijfer":

De Missie: Wat was de vraag? (bijv. "Zal ik deze lening goedkeuren?")
De Conclusie: Wat zei de AI? (bijv. "Wijs de lening af.")
De Rechtvaardiging: Waarom zei de AI dat? (bijv. "De kredietscore is te laag.")

Het systeem geeft dit rapportcijfer vervolgens twee scores:

Beleidsovereenstemming (Policy Alignment): Volgt dit antwoord de regels van het bedrijf?
Bewijsovereenstemming (Evidential Alignment): Is de redenering van de AI gebaseerd op echte feiten, of verzint hij dingen?

3. De "Rechter" die ook een AI is (Het Circulaire Probleem)

Je zou kunnen vragen: "Wie beoordeelt het rapportcijfer?"
Het artikel geeft toe dat er een grappig probleem is: ze gebruiken een andere AI (een Large Language Model) om de antwoorden van de eerste AI te beoordelen. Het is alsof je een tweede onzichtbare assistent inhuurt om het werk van de eerste te controleren.

Hoe ze dit oplossen: Ze laten de tweede AI niet zomaar gokken. Ze geven het een strikt Rubriek (een checklist), dwingen het om naar de officiële regelboeken (Referentiedocumenten) te kijken en laten het stap voor stap nadenken voordat het een score geeft. Ze voeren ook tests uit om te controlere of de "Rechter-AI" niet alleen een "ja-knikker" is (alles instemt) of van lange antwoorden houdt omdat ze lang zijn.

4. De "Epidemiologie"-analogie

Dit is het meest creatieve deel van het artikel. De auteurs vergelijken hun systeem met de Publieke Gezondheids-epidemiologie.

De Oude Manier (Mechanisme): In het verleden wisten artsen niet waarom roken kanker veroorzaakte. Ze kenden de moleculaire biologie niet. Maar ze merkten wel een patroon: Iedereen die rookte, werd ziek. Ze hoefden de biologie niet te begrijken om mensen te vertellen te stoppen met roken.
De Nieuwe Manier (Correlatie): Vergelijkbaar hiermee hoeft dit framework niet te weten hoe de AI een fout maakt. Het hoeft alleen patronen te herkennen.
- Voorbeeld: "Elke keer dat de AI over 'leningen na faillissement' praat, krijgt het een lage score op feiten."
- Resultaat: De instelling weet: "Hé, onze AI is slecht in dit specifieke onderwerp," en ze kunnen dit repareren of menselijke controle uitvoeren op die specifieke gevallen.

5. Wat gebeurt er in de praktijk?

Het artikel beschrijft een workflow voor de menselijke expert:

De expert stelt de AI een vraag.
De AI geeft antwoord.
Onmiddellijk toont het systeem de expert een "Verkeerslicht"-signaal:
- Groen: Hoge scores op regels en feiten. Ga door.
- Geel/Rood: Lage scores. Het systeem geeft een melding.
Als het licht op rood staat, krijgt de expert de opdracht om op een "Override"-knop te drukken. De expert kan dan het antwoord van de AI corrigeren.
Het systeem slaat al deze "Verkeerslicht"-datapunten stilletjes op.

6. Het Grote Plaatje: Drie Fasen van Bewijs

Het artikel beweert niet dat het alles al heeft opgelost. Het schetst een driedelig onderzoeksplan om te bewijzen dat dit werkt:

Fase 1 (Betrouwbaarheid): Bewijzen dat de "Rechter-AI" de antwoorden consistent correct beoordeelt, net zoals een mens dat zou doen.
Fase 2 (Governance): Bewijzen dat deze cijfers experts en managers daadwerkelijk helpen om problemen te ontdekken voordat ze gebeuren.
Fase 3 (Resultaat): Bewijzen dat wanneer de AI een "Rood Licht" krijgt, dit daadwerkelijk leidt tot slechte resultaten in de echte wereld (zoals een slechte lening of een medische fout), wat bevestigt dat het systeem echte risico's detecteert.

Samenvatting

Dit artikel stelt een gestandaardiseerd rapportagesysteem voor voor AI. In plaats van te proberen de geheime gedachten van de AI te begrijpen, behandelt het AI-interacties als ziektesymptomen. Door duizenden van deze "symptomen" (gestandaardiseerde rapporten) te verzamelen en te beoordelen, kunnen instellingen gevaarlijke patronen herkennen en oplossen voordat ze schade veroorzaken, zonder dat ze in de "black box" van de AI hoeven te kijken.

Belangrijke Opmerking: Het artikel stelt expliciet dat dit een voorstel en een framework is. Het beweert niet dat het AI-veiligheid al heeft opgelost of dat het al resultaten heeft in echte ziekenhuizen of banken. Het stelt de regels vast voor hoe we dit in de toekomst zullen testen.

Technische Samenvatting: Naar AI-Epidemiologie

Probleemstelling

Moderne AI-systemen, in het bijzonder Large Language Models (LLM's), worden steeds vaker ingezet in hoog-risico gereguleerde domeinen (gezondheidszorg, financiën, recht) waar hun interne berekeningen opaak blijven ("black-box"). Huidige governance-benaderingen leunen zwaar op correspondentie-gebaseerde interpreteerbaarheid (bijv. SHAP, LIME, mechanistische tracering), wat probeert de output van modellen terug te mappen naar interne causale mechanismen. Naarmate modellen echter schalen, kampen deze methoden met computationele onhandelbaarheid en epistemische onbetrouwbaarheid; feature-attributies worden instabiel en modellen genereren vaak plausibel klinkende maar ongetrouwe verklaringen.

Consequentelijk is er een kritieke governance-kloof: een gebrek aan schaalbare, niet-mechanistische methoden om falen van AI-outputs en beleidsafwijkingen in real-time tijdens deployment te detecteren zonder toegang tot de interne werking van het model. Bestaande incidentrapportagesystemen zijn retrospectief en selectief, terwijl algoritmische auditing vaak een gebrek heeft aan gestandaardiseerde analyseenheden voor routinematige interacties.

Methodologie

Het artikel stelt een Measurement Standardisation Framework voor, ontworpen om expert-AI-interacties te comprimeren tot gestructureerde, vergelijkbare velden om prospectieve risicodetectie mogelijk te maken. Deze benadering verschuift de focus van risicodetectie van interne modelprocessen naar observeerbare gedragspatronen, waarbij een analogie wordt getrokken met epidemiologie (bijv. de identificatie van de waterbron door John Snow of de link tussen roken en kanker door Bradford Hill), waarbij populatiebrede correlaties interventie rechtvaardigen ondanks mechanische onzekerheid.

Kerncomponenten: De Grammatica

Het framework definieert een gestructureerd protocol bestaande uit acht velden om interacties vast te leggen:

Missie: De taak geëxtraheerd uit de input van de expert (taaktype + onderwerp).
Conclusie: De aanbevolen actie van de AI, gecategoriseerd in plaats van verbatim.
Rechtvaardiging: De redenen opgegeven door de AI, gecategoriseerd.
Risiconiveau: Een stratificatievariabele (Hoog/Medium/Laag) gebaseerd op de potentiële ernst van de schade indien de conclusie onjuist is.
Beleidsconformiteit (Policy Alignment Score): Een score op drie niveaus (Hoog/Medium/Laag) die de consistentie met institutioneel/regulatorisch beleid beoordeelt.
Evidentie-conformiteit (Evidential Alignment Score): Een score op drie niveaus die beoordeelt of de feitelijke claims in de rechtvaardiging worden ondersteund door de domein-evidencebasis.
Override: Een binaire flag die aangeeft of een expert de conclusie van de AI expliciet heeft betwist.
Correctieve Optie: De herziene conclusie en rechtvaardiging die door de expert na een override wordt geëxporteerd.

Het LLM-as-Judge Mechanisme

Om schaalbaarheid te bereiken, maakt het framework gebruik van een LLM-as-Judge om beleids- en evidentie-conformiteit automatisch te scoren. Om de structurele circulariteit van het gebruiken van een black-box model om een ander model te beoordelen aan te pakken, legt het framework begrensde condities op:

Expliciete Rubrieken & Verankerde Schalen: Het gebruik van een verankerde drieniveauschaal om overeenstemming te verbeteren.
Gestructureerde Chain-of-Thought: De judge redeneert stap voor stap tegen de rubrieken voordat een score wordt toegewezen.
RAG Grounding: Judges worden gegrond in specifieke beleids- en bewijsdocumenten om sycophantie (vleierij) en zelfvoorkeur te verminderen.
Low-Temperature Decoding: Om de stabiliteit en reproduceerbaarheid van scores te waarborgen.

Een Reliability Verification Procedure is verplicht vóór deployment, waarbij vereist wordt:

Mens-Judge Overeenstemming: Gemeten via lineair gewogen Cohen's $\kappa$ (doel $\ge 0,61$ ).
Consistentie: Gemeten via de Intraclass Correlation Coefficient (ICC) voor test-retest stabiliteit (doel $\ge 0,75$ ).
Bias Diagnostiek: Gerichte tests voor sycophantie, verbositeit en zelfvoorkeur.

Empirisch Evaluatieprotocol

Het artikel specificeert een protocol om te testen of de gecomprimeerde grammatica-velden voldoende voorspellende kracht behouden voor risicodetectie vergeleken met volledige conversationele tekst.

Design: Een non-inferioriteitstest waarbij een classifier getraind op grammatica-velden ( $X$ ) wordt vergeleken met een "whole-input" classifier.
Metriek: Area Under the Curve (AUC) voor het scheiden van misalignede versus gealignede interacties.
Marge: Een vooraf gespecificeerde non-inferioriteitsmarge van $\delta = 0,05$ .
Inferentie: Gepaarde bootstrap-inferentie (10.000 resamples) met DeLong's test voor sensitiviteit en Holm–Bonferroni correctie voor meervoudige testen.
Verfijning: Een iteratief proces van grammatica-verfijning (splitsen van categorieën, aanpassen van rubrieken) geleid door de AUC-kloof totdat non-inferioriteit wordt bereikt op een bevroren testset.

Belangrijkste Bijdragen

Conceptuele Verschuiving: Introduceert "correspondentie-gebaseerde interpreteerbaarheid" als een aparte categorie van de voorgestelde "correlatie-gebaseerde" benadering. Het betoogt dat voor directe governance het observeren van outputpatronen levensvatbaarder is dan wachten op mechanische transparantie.
Measurement Standardisation: Definieert een specifieke grammatica en scoreprotocol die ongestructureerde expert-AI-dialogen transformeert in gestandaardiseerde, vergelijkbare data-eenheden geschikt voor populatiebrede analyse.
Governance Signalen: Stelt drie actiebare institutionele signalen voor die afgeleid kunnen worden uit de data:
- Geaggregeerde Alignment Distributies: Het identificeren van domeinen waar AI-outputs consistent misaligned zijn.
- Override Patronen: Het benadrukken van waar experts systematisch de aanbevelingen van de AI betwisten.
- Correctieve Optie Patronen: Het onthullen van de specifieke gronden en herziene conclusies die experts verkiezen, wat een "correctieve" dataset biedt voor toekomstige modeltuning of beleidsupdates.
Drietraps Empirisch Programma: Schetst een gefaseerd onderzoeksplan:
* Fase 1: Vaststellen van measurement standardisation (betrouwbaarheid van LLM judges).
* Fase 2: Valideren van governance signalen (bruikbaarheid voor experts en instituten).
* Fase 3: Vaststellen van outcome associaties (het koppelen van alignment scores aan downstream adverse events).

Resultaten en Claims

Als conceptueel artikel worden er geen empirische resultaten gepresenteerd. Het artikel stelt expliciet dat populatiebrede claims het onderwerp zijn van een gefaseerd onderzoeksprogramma, en geen resultaten zijn die hier worden geclaimd.

Het artikel doet drie specifieke, toetsbare claims:

Betrouwbaarheidsclaim: Onder begrensde condities (rubrieken, RAG, lage temperatuur) kunnen LLM's betrouwbare, gestandaardiseerde beoordelingen van alignment produceren die vergelijkbaar zijn met menselijke beoordelaars.
Governance Claim: Alignment scores bieden directe signalen aan experts tijdens deployment en stellen instituten in staat om alignment-patronen over modellen en domeinen heen te monitoren.
Epidemiologische Claim: Zodra de meting gestandaardiseerd is, kunnen geaggregeerde alignment scores worden gebruikt om associaties met downstream uitkomsten te bestuderen, wat "AI-epidemiologie" mogelijk maakt die risico detecteert via gecorreleerde variabelen in plaats van mechanische analyse.

Betekenis

De betekenis van het artikel ligt in het bieden van een pragmatische, schaalbare route voor AI-governance bij gebrek aan perfecte interpreteerbaarheid. Door AI-risicodetectie te behandelen als een epidemiologisch probleem, biedt het een methode om:

Risico's prospectief te detecteren (voordat incidenten optreden) in plaats van retrospectief.
Op schaal te opereren zonder toegang te vereisen tot modelgewichten of interne staten.
Audit trails en correctieve data te genereren die zowel directe expertbeslissingen als langetermijn institutioneel beleid kunnen informeren.

Het framework erkent ook zijn beperkingen, waaronder de "exposure-instrument disanalogy" (het gebruik van een LLM om een LLM te beoordelen) en het potentieel voor observatoreffecten, maar betoogt dat de voorgestelde verificatieprocedures en iteratieve verfijning deze bedreigingen voor de validiteit kunnen mitigeren. Het uiteindelijke doel is om een fundament te leggen waar "AI-epidemiologie" kan functioneren als een robuuste, niet-mechanistische veiligheidslaag voor gedployde AI-systemen.