Measuring Operational Reliability in Banking Disclosures: Development and Single-Coder Methodological Validation of the ORRDI Index
Dit artikel introduceert en valideert de Operational Risk Reliability Disclosure Index (ORRDI), een 18-items tellende formatieve samengestelde index die systematisch de specificiteit van operationele risicovermeldingen over zes dimensies bij Europese, Britse en Zwitserse banken meet, waarbij de berekenbaarheid en robuustheid worden aangetoond terwijl de reikwijdte expliciet wordt beperkt tot de kwaliteit van publieke openbaarmakingen in plaats van de werkelijke risicocapaciteit of inter-coder betrouwbaarheid.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je de bankenwereld voor als een enorme, risicovolle videogame waarbij het doel niet alleen is om veel goud (geld) te verzamelen, maar om het spel draaiende te houden zonder dat het crasht wanneer er een draak verschijnt (een cyberaanval, een systeemfout of fraude). Lange tijd keken spelers alleen naar het "Game Over"-scherm — de werkelijke verliezen — om te zien wie goed was in het spel. Maar wat als je de strategie-gidsen van de spelers kon bekijken nog voordat het spel zelfs maar begonnen is?
Dat is precies wat dit paper doet. Het introduceert een nieuw instrument genaamd de ORRDI Index (Operational Risk Reliability Disclosure Index). Zie de ORRDI niet als een scorekaart voor hoe goed een bank daadwerkelijk een ramp overleeft, maar als een vergrootglas dat controleert hoe duidelijk een bank het verhaal van haar overlevingsplan in haar publieke rapporten vertelt.
De Grote Verklaringen-Speurtocht
De onderzoekers gingen op een speurtocht door de jaarverslagen en regelgevende documenten van 14 bankjaren (een mix van banken uit Europa, het VK en Zwitserland). Ze telden niet alleen hoeveel woorden over "risico" in de documenten stonden; dat zou zijn alsof je telt hoe vaak een speler zegt "Ik ben er klaar voor" zonder te controleren of diegene ook echt een schild heeft.
In plaats daarvan gebruikten ze een strikte checklist van 18 items (de ORRDI) om te zien of de banken specifiek waren. Zeiden ze alleen: "We hebben een plan"? Dat levert een lage score op. Zeiden ze: "Dit is de exacte naam van de commissie, de specifieke test die we afgelopen dinsdag hebben uitgevoerd, en het exacte aantal minuten dat het duurde om te herstellen"? Dat levert een hoge score op.
Ze moesten exacte citaten en paginanummers vinden om een bank punten te geven. Als ze het bewijs niet in het document konden vinden, was de score nul. Het was één enkele codeur (één persoon) die het werk deed, optredend als een supergedetailleerde detective die elke aanwijzing opschreef.
De Resultaten: Wie Praat Er Echt over de Inhoud?
Na het controleren van 252 specifieke items over al die rapporten, kwam de gemiddelde score uit op 59,39 (op een schaal waarbij het hoogst mogelijke 100 is). De scores varieerden van een laag van 40,74 tot een hoog van 77,78.
Hier is de grote verrassing die het paper vond:
- Het Sterkste Gebied: Banken waren erg goed in het praten over hun "Governance" (bestuur) en "Preventie". Ze vonden het geweldig om uit te leggen wie de leiding had en welke regels zij hadden. Het is alsof een speler zijn personage-statistieken en inventarislijst laat zien.
- Het Zwakste Gebied: De zwakste schakel was "Continuïteit van Kritieke Diensten" (Continuity of Critical Services). Dit is het deel over wat er gebeurt als de stroom uitvalt of het internet verbreekt. De gemiddelde score hier was slechts 42,06. Het paper suggereert dat hoewel banken deze plannen wellicht hebben, ze deze ofwel geheim houden, ze niet publiekelijk testen in rapporten, of ze simpelweg niet duidelijk genoeg opschrijven zodat de speurtocht ze kan vinden.
Wat Dit Instrument Is (en Wat Het NIET Is)
Dit is het belangrijkste deel om goed te krijgen. Het paper is zeer duidelijk over wat de ORRDI-index niet doet.
- Het is GEEN kristallen bol. Een hoge score betekent niet dat een bank daadwerkelijk veiliger is of geen geld zal verliezen. Het betekent alleen dat ze een zeer gedetailleerd verhaal hebben geschreven over hoe ze misschien veilig zouden kunnen zijn. Een bank kan een perfecte score hebben en toch crashen als hun plan slechts een mooi verhaal is.
- Het is GEEN test van de realiteit. Het paper sluit expliciet de gedachte uit dat dit "werkelijke capaciteit" meet. Het meet "publieke openbaarmaking". Als een bank een briljant plan heeft maar het niet opschrijft, geeft de ORRDI hen een nul.
- Het is GEEN garantie voor perfectie. De onderzoekers geven toe dat ze slechts één codeur hebben gebruikt. Ze hadden geen tweede persoon om het werk te controleren om te zien of zij het ermee eens waren. Ze bouwden een systeem van "audit trails" (een papieren spoor achterlaten van precies waar ze het citaat vonden) om ervoor te zorgen dat het werk later gecontroleerd kon worden, maar ze beweren niet dat hun resultaten zo objectief zijn als die van een machine.
De "Stabiliteitscheck"
Om er zeker van te zijn dat hun spel niet werd gerigged door een vreemde regel, probeerden de onderzoekers de regels te veranderen. Wat als ze de "misschien"-antwoorden negeerden? Wat als ze een van de zes categorieën volledig verwijderden?
- De resultaten bleven bijna hetzelfde. De rangschikking van de banken veranderde niet fundamenteel. De correlatie tussen de hoofdscore en deze "wat als"-scenario's lag tussen de 0,933 en 0,995. Dit suggereert dat het instrument robuust is; het is niet zomaar een toevalstreffer door één specifieke regel.
De Kernboodschap
Het paper concludeert dat de ORRDI-index een berekenbare, traceerbare en robuuste manier is om te meten wat banken zeggen over hun veiligheidsplannen. Het slaagde erin om rommelige, lange rapporten om te zetten in een duidelijke score bestaande uit zes delen.
De auteurs zijn echter voorzichtig in hun conclusie dat dit pas het begin is. Ze hebben nog niet bewezen dat een hoge score voorkomt dat een bank faalt, en ze hebben dit nog niet getest bij duizenden banken. Ze hebben een heel goede zaklamp gebouwd om naar de "strategie-gidsen" van 14 banken te kijken, maar ze hebben nog niet bewezen dat de gidsen overeenkomen met de werkelijke gameplay.
Kortom: het paper geeft ons een nieuwe, zeer specifieke liniaal om te meten hoe goed banken praten over hun veiligheidsplannen. Het vertelt ons dat terwijl banken goed zijn in het praten over hun regels, ze verrassend stil zijn over hoe ze de lichten aanhouden wanneer er dingen misgaan. Maar onthoud: praten over een plan is niet hetzelfde als een werkend plan hebben.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.