Against Retrospective Certainty: Temporal Honesty and the Governance of Institutional Memory

Elke organisatie, van een inlichtingendienst tot een technologiebedrijf, neemt beslissingen op basis van wat zij op dat moment weet. Deze beslissingen worden vaak genomen in een mist van onzekerheid, waarbij de uitkomst onbekend is en het bewijs incompleet. Jaren later, wanneer de resultaten duidelijk zijn, kijken mensen terug op die beslissingen en zien ze deze vaak als besluiten die met meer zelfvertrouwen en zekerheid zijn genomen dan ze in werkelijkheid waren. Dit is een veelvoorkomende menselijke neiging die bekend staat als de hindsight bias (wijsheid achteraf), waarbij het brein het verleden herschrijft om de toekomst onvermijdelijk te laten lijken. Echter, in grote instituten is dit herschrijven van het verleden niet alleen een trucje van de geest; het is ook een probleem van papierwerk. Wanneer de oorspronkelijke documenten, aantekeningen en twijfels verloren gaan, worden overschreven of gescheiden van de uiteindelijke conclusie, wordt de geschiedenis van hoe een besluit tot stand kwam onmogelijk te controleren. Zonder het oorspronkelijke verslag kan een instituut een vorig oordeel onbedoeld, of zelfs opzettelijk, presenteren als een solide feit, terwijl het in werkelijkheid een gok, een zorg of een minderheidsmening was.

Een nieuw artikel van onderzoeker Ilias Konstantinidis pakt dit probleem aan door een standaard voor te stellen genaamd "temporele eerlijkheid" (temporal honesty). Dit concept suggereert dat instituten de plicht hebben om de rommelige, onzekere en evoluerende aard van hun denkproces uit het verleden intact te houden. Het is niet voldoende om alleen het eindrapport te bewaren; de organisatie moet ook de twijfels, de meningsverschillen, de aannames en de specifieke bewijzen die bestonden op het moment dat de beslissing werd genomen, bewaren. Het doel is om ervoor te zorgen dat als iemand jaren later terugkijkt, hij precies kan reconstrueren wat de instelling op dat specifieke moment wist en voelde, in plaats van dat hij moet gissen op basis van een gepolijste, vereenvoudigde versie van de geschiedenis. Het artikel betoogt dat zonder dit soort eerlijke verslaglegging, het onmogelijk is om instituten echt verantwoordelijk te houden voor hun handelen in het verleden, omdat het bewijs dat nodig is om hun claims te toetsen, door de tijd heen is gewist.

Om te begrijpen waarom dit ertoe doet, moet men kijken naar hoe instituten gewoonlijk werken. Ze verzamelen informatie, debatteren erover en brengen uiteindelijk een oordeel voort. Na verloop van tijd, wanneer nieuwe informatie arriveert of het leiderschap verandert, wordt dat oordeel bijgesteld. In een systeem zonder temporele eerlijkheid kan de oude versie van het oordeel simpelweg worden verwijderd of vervangen door de nieuwe versie. De oorspronkelijke redenering, de specifieke datapunten die werden gebruikt, en de stemmen die tegen de uiteindelijke beslissing pleitten, verdwijnen. Dit creëert een kloof tussen wat er werkelijk gebeurde en wat de overgebleven documenten zeggen dat er gebeurd is. Het artikel noemt deze kloof "retrospectieve zekerheid" (retrospective certainty), een staat waarin het verleden er schoner en verenigder uitziet dan het in werkelijkheid was. De auteur stelt voor dat, om dit op te lossen, instituten hun eerdere kennisstanden moeten behandelen als permanente records die niet stilzwijgend overschreven kunnen worden. In plaats van een oude beoordeling te verwijderen, zouden ze deze aan de nieuwe moeten koppelen, waarbij duidelijk wordt getoond wat er veranderd, toegevoegd of verwijderd is.

Het artikel test dit idee door te kijken naar twee zeer verschillende praktijkvoorbeelden waarbij het vermogen om het verleden te reconstrueren cruciaal was. De eerste casus betreft de onderzoeken naar massavernietigingswapens in Irak. Verschillende officiële onderzoeken werden ingesteld om te begrijpen hoe inlichtingendiensten tot de conclusie kwamen dat Irak dergelijke wapens bezat. De onderzoekers ontdekten dat deze onderzoeken moeite hadden omdat de oorspronkelijke dossiers incompleet waren. In één instantie dacht een onderzoekscommissie dat zij alle relevante inlichtingenpapieren had ingezien, om er later achter te komen dat acht belangrijke documenten waren weggelaten. In een ander geval kon de commissie de originele concepten van een cruciaal rapport niet vinden, alleen kopieën die waren aangepast. Belangrijker nog, de onderzoeken stelden vast dat afwijkende meningen — waarbij experts hadden gewaarschuwd dat het bewijs zwak was — niet correct werden vastgelegd of verborgen werden gehouden voor de mensen die ze moesten inzien. Omdat deze verslagen ontbraken of werden vertroebeld, moesten de onderzoekers jarenlang proberen de oorspronkelijke situatie te reconstrueren, en zelfs dan bleven sommige details onduidelijk. Het artikel gebruikt dit om aan te tonen dat wanneer de "afstamming" (lineage) van een besluit wordt doorbroken, het zeer moeilijk wordt om te weten of de instelling een fout heeft gemaakt of dat het verslag zelf gebrekkig was.

Het tweede voorbeeld kijkt naar hoe bedrijven in de kunstmatige intelligentie hun werk documenteren. Naarmate deze bedrijven nieuwe versies van hun AI-modellen uitbrengen, publiceren zij rapporten die uitleggen hoe de modellen presteren. De onderzoekers onderzochten hoe deze rapporten in de loop van de tijd veranderden. Ze merkten op dat hoewel bedrijven bleven praten over dezelfde soorten risico's, zoals het verzinnen van feiten door de modellen, de specifieke tests die zij gebruikten om die risico's te meten, voortdurend veranderden. Een test die in het ene jaar werd gebruikt, werd het jaar daarna vervangen door een andere test, zonder een duidelijke toelichting over hoe de twee met elkaar verband hielden. Voor een externe waarnemer die probeert te volgen of de AI beter of slechter wordt, maakte dit gebrek aan een duidelijke verbinding het moeilijk om het verleden met het heden te vergelijken. Het artikel stelt dat het, zelfs in het publieke oog, zonder een duidelijke keten die laat zien hoe de ene evaluatie tot de volgende leidde, onmogelijk is om te weten of een risico daadwerkelijk is geadresseerd of simpelweg is genegeerd omdat het meetinstrument is veranderd.

De kernbevinding van het artikel is dat het bewaren van de "epistemische staat" — een chique manier om te zeggen: het totale beeld van wat er op een specifiek moment geweten, betwijfeld en besloten werd — een afzonderlijk en noodzakelijk onderdeel is van goed bestuur. Dit staat los van de vraag of het besluit zelf juist of onjuist was. Een instituut kan een verschrikkelijke beslissing nemen op basis van slechte data, maar als het verslag van die slechte data en die slechte beslissing eerlijk wordt bewaard, kunnen mensen ervan leren. Als dat verslag verloren gaat of gladgestreken wordt, gaat ook de les verloren. De auteur stelt een reeks praktische regels voor om dit te bereiken. Deze regels omvatten het bijhouden van een versiegeschiedenis zodat wijzigingen zichtbaar zijn, het waarborgen dat onzekerheid en onenigheid aan de definitieve conclusie worden gekoppeld in plaats van ervan te worden gestript, en het bijhouden van een verslag van wie welke informatie zag en wanneer. Het artikel erkent dat sommige informatie om veiligheids- of privacyredenen geheim moet blijven, maar voert aan dat zelfs in die gevallen de structuur van het verslag — het feit dat een besluit is genomen, door wie, en dat dit gebaseerd was op bepaalde soorten bewijs — zichtbaar moet blijven.

Deze aanpak lost niet elk probleem van organisatorisch falen op. Het kan leiders niet dwingen om naar waarschuwingen te luisteren of hen niet tegenhouden om slechte keuzes te maken. Het kan geen cultuur repareren waarin mensen bang zijn om hun stem te laten horen. Het zorgt er echter wel voor dat wanneer er zaken misgaan, de waarheid niet begraven wordt onder lagen van herschreven geschiedenis. Door te eisen dat instituten hun verleden zichtbaar houden, compleet met al hun twijfels en fouten, biedt het artikel een manier om de toekomst eerlijker te maken. Het suggereert dat de beste manier om van het verleden te leren niet is om het perfect te herinneren, maar om het oorspronkelijke, rommelige bewijsmateriaal beschikbaar te houden, zodat het exact kan worden onderzocht zoals het was, zonder de vertekening van de kennis over hoe het verhaal afliep.