Against Retrospective Certainty: Temporal Honesty and the Governance of Institutional Memory

Jede Organisation, von einem Geheimdienst bis hin zu einem Technologieunternehmen, trifft Entscheidungen basierend auf dem, was sie in diesem Moment weiß. Diese Entscheidungen werden oft in einem Nebel der Ungewissheit getroffen, in dem der Ausgang unbekannt und die Beweislage unvollständig ist. Jahre später, wenn die Ergebnisse klar sind, blicken Menschen auf diese Entscheidungen zurück und nehmen sie oft als entschiedener und sicherer wahr, als sie tatsächlich waren. Dies ist eine verbreitete menschliche Tendenz, die als Rückschaufehler (Hindsight Bias) bekannt ist, bei der das Gehirn die Vergangenheit umschreibt, um die Zukunft als unvermeidlich erscheinen zu lassen. In großen Institutionen ist dieses Umschreiben jedoch nicht nur ein Trick des Verstandes; es ist auch ein Problem der Dokumentation. Wenn die ursprünglichen Dokumente, Notizen und Zweifel verloren gehen, überschrieben oder von der endgültigen Schlussfolgerung getrennt werden, wird die Geschichte darüber, wie eine Entscheidung getroffen wurde, unmöglich zu überprüfen. Ohne den ursprünglichen Datensatz kann eine Institution eine vergangene Beurteilung versehentlich oder sogar absichtlich als feststehende Tatsache darstellen, obwohl sie eigentlich eine Vermutung, eine Sorge oder eine Minderheitenmeinung war.

Ein neues Paper des Forschers Ilias Konstantinidis setzt sich mit diesem Problem auseinander, indem es einen Standard namens „temporale Ehrlichkeit“ (temporal honesty) vorschlägt. Dieses Konzept besagt, dass Institutionen die Pflicht haben, die chaotische, unsichere und sich entwickelnde Natur ihres vergangenen Denkens intakt zu bewahren. Es reicht nicht aus, nur den Abschlussbericht zu speichern; die Organisation muss auch die Zweifel, die Unstimmigkeiten, die Annahmen und die spezifischen Beweise bewahren, die zum Zeitpunkt der Entscheidungsfindung existierten. Das Ziel ist es sicherzustellen, dass jemand, der Jahre später zurückblickt, genau rekonstruieren kann, was die Institution in diesem spezifischen Moment wusste und empfand, anstatt auf eine geglättete, vereinfachte Version der Geschichte raten zu müssen. Das Paper argumentiert, dass es ohne diese Art der ehrlichen Dokumentation unmöglich wird, Institutionen für ihre vergangenen Handlungen wirklich zur Rechenschaft zu ziehen, da die Beweise, die nötig wären, um ihre Behauptungen zu prüfen, durch die Zeit ausgelöscht wurden.

Um zu verstehen, warum dies wichtig ist, betrachten wir, wie Institutionen normalerweise arbeiten. Sie sammeln Informationen, debattieren darüber und fällen schließlich ein Urteil. Im Laufe der Zeit, wenn neue Informationen eintreffen oder Führungspersönlichkeiten wechseln, wird dieses Urteil aktualisiert. In einem System ohne temporale Ehrlichkeit wird die alte Version des Urteils möglicherweise einfach gelöscht oder durch die neue ersetzt. Die ursprüngliche Begründung, die spezifischen Datenpunkte, die verwendet wurden, und die Stimmen, die gegen die endgültige Entscheidung argumentierten, verschwinden. Dies schafft eine Lücke zwischen dem, was tatsächlich geschah, und dem, was die überlebenden Dokumente über das Geschehen aussagen. Das Paper bezeichnet diese Lücke als „retrospektive Gewissheit“ (retrospective certainty), einen Zustand, in dem die Vergangenheit sauberer und einheitlicher erscheint, als sie tatsächlich war. Der Autor schlägt vor, dass Institutionen zur Behebung dieses Problems ihre vergangenen Wissenszustände als permanente Aufzeichnungen behandeln müssen, die nicht stillschweigend überschrieben werden können. Anstatt eine alte Einschätzung zu löschen, sollten sie diese mit der neuen verknüpfen und klar aufzeigen, was sich geändert hat, was hinzugefügt wurde und was entfernt wurde.

Das Paper testet diese Idee anhand zweier sehr unterschiedlicher realer Beispiele, bei denen die Fähigkeit, die Vergangenheit zu rekonstruieren, entscheidend war. Der erste Fall betrifft die Untersuchungen zu Massenvernichtungswaffen im Irak. Mehrere offizielle Untersuchungen wurden eingeleitet, um zu verstehen, wie Geheimdienste zu dem Schluss kamen, dass der Irak über solche Waffen verfügte. Die Forscher fanden heraus, dass diese Untersuchungen Schwierigkeiten hatten, weil die Originalunterlagen unvollständig waren. In einem Fall glaubte ein Untersuchungsausschuss, alle relevanten Geheimdienstberichte gesehen zu haben, nur um später festzustellen, dass acht wichtige Dokumente ausgelassen worden waren. In einem anderen Fall konnte der Ausschuss die Originalentwürfe eines Schlüsselberichts nicht finden, sondern nur Kopien, die verändert worden waren. Vor allem stellten die Untersuchungen fest, dass abweichende Meinungen – in denen Experten davor gewarnt hatten, dass die Beweislage schwach sei – nicht ordnungsgemäß dokumentiert oder denjenigen, die sie sehen mussten, vorenthalten wurden. Da diese Aufzeichnungen fehlten oder verschleiert wurden, mussten die Ermittler Jahre damit verbringen, das ursprüngliche Bild zusammenzusetzen, und selbst dann blieben einige Details unklar. Das Paper nutzt dies, um zu zeigen, dass es sehr schwierig ist, zu wissen, ob eine Institution einen Fehler gemacht hat oder ob die Aufzeichnung selbst fehlerhaft war, wenn die „Linie“ einer Entscheidung unterbrochen ist.

Das zweite Beispiel untersucht, wie Unternehmen im Bereich der Künstlichen Intelligenz ihre Arbeit dokumentieren. Während diese Unternehmen neue Versionen ihrer KI-Modelle veröffentlichen, publizieren sie Berichte darüber, wie die Modelle performen. Die Forscher untersuchten, wie sich diese Berichte im Laufe der Zeit veränderten. Sie stellten fest, dass die Unternehmen zwar weiterhin über dieselben Arten von Risiken sprachen, wie etwa das Erfinden von Fakten durch die Modelle, die spezifischen Tests, mit denen sie diese Risiken maßen, sich jedoch ständig änderten. Ein Test, der in einem Jahr verwendet wurde, konnte im nächsten Jahr durch einen anderen ersetzt werden, ohne dass eine klare Anmerkung erklärte, wie die beiden zusammenhingen. Für einen externen Beobachter, der verfolgen wollte, ob die KI besser oder schlechter wurde, machte dieser Mangel an klarer Verbindung es schwierig, die Vergangenheit mit der Gegenwart zu vergleichen. Das Paper argumentiert, dass es selbst in der Öffentlichkeit, ohne eine klare Kette, die zeigt, wie eine Bewertung zur nächsten führte, unmöglich ist zu wissen, ob ein Risiko wirklich adressiert oder nur ignoriert wurde, weil das Messinstrument gewechselt wurde.

Die Kernerkenntnis des Papers ist, dass die Bewahrung des „epistemischen Zustands“ – ein Fachbegriff für das Gesamtbild dessen, was zu einem bestimmten Zeitpunkt gewusst, bezweifelt und entschieden wurde – ein eigenständiger und notwendiger Teil guter Regierungsführung ist. Dies ist unabhängig davon, ob die Entscheidung selbst richtig oder falsch war. Eine Institution kann eine schreckliche Entscheidung auf Basis schlechter Daten treffen, aber wenn die Aufzeichnung dieser schlechten Daten und der schlechten Entscheidung ehrlich bewahrt wird, können Menschen daraus lernen. Wenn diese Aufzeichnung verloren geht oder geglättet wird, geht auch die Lehre verloren. Der Autor schlägt eine Reihe praktischer Regeln vor, um dies zu erreichen. Zu diesen Regeln gehören die Führung eines Versionsverlaufs, damit Änderungen sichtbar sind, die Sicherstellung, dass Unsicherheit und Uneinigkeit an die endgültige Schlussfolgerung angehängt werden, anstatt sie wegzulassen, und die Führung eines Protokolls darüber, wer wann welche Informationen gesehen hat. Das Paper räumt ein, dass einige Informationen aus Sicherheits- oder Datenschutzgründen geheim bleiben müssen, argumentiert aber, dass selbst in diesen Fällen die Struktur der Aufzeichnung – die Tatsache, dass eine Entscheidung getroffen wurde, wer sie traf und dass sie auf bestimmten Arten von Beweisen basierte – sichtbar bleiben sollte.

Dieser Ansatz löst nicht jedes Problem des institutionellen Versagens. Er kann Führungskräfte nicht dazu zwingen, Warnungen zu hören oder sie davon abhalten, schlechte Entscheidungen zu treffen. Er kann keine Kultur korrigieren, in der Menschen Angst haben, ihre Meinung zu sagen. Er stellt jedoch sicher, dass die Wahrheit nicht unter Schichten einer umgeschriebenen Geschichte begraben wird, wenn etwas schiefgeht. Indem er fordert, dass Institutionen ihre vergangenen Selbstbilder inklusive all ihrer Zweifel und Fehler sichtbar halten, bietet das Paper einen Weg, die Zukunft ehrlicher zu gestalten. Es legt nahe, dass der beste Weg, aus der Vergangenheit zu lernen, nicht darin besteht, sie perfekt zu erinnern, sondern die ursprünglichen, chaotischen Beweise verfügbar zu halten, damit sie exakt so untersucht werden können, wie sie waren – ohne die Verzerrung durch das Wissen darüber, wie die Geschichte endete.