Against Retrospective Certainty: Temporal Honesty and the Governance of Institutional Memory

정보기관부터 기술 기업에 이르기까지 모든 조직은 그 순간 자신이 알고 있는 것을 바탕으로 결정을 내린다. 이러한 결정은 종종 결과가 미지수이고 증거가 불완전한, 불확실성의 안개 속에서 내려진다. 몇 년이 흘러 결과가 명확해지면, 사람들은 그 결정들을 되돌아보며 당시의 결정이 실제보다 더 확신에 차 있고 확실했던 것처럼 간주하곤 한다. 이는 뇌가 과거를 재작성하여 미래를 필연적인 것처럼 보이게 만드는 흔한 인간적 성향인 '사후 과잉 확신 편향(hindsight bias)'이다. 그러나 거대 기관에서 이러한 재작성은 단순한 마음의 속임수가 아니라, 서류 작업의 문제이기도 하다. 원래의 문서, 메모, 그리고 의구심들이 유실되거나, 덮어쓰여지거나, 최종 결론과 분리될 때, 결정이 어떻게 내려졌는지에 대한 역사는 확인하는 것이 불가능해진다. 원래의 기록이 없다면, 기관은 실수로, 혹은 의도적으로 과거의 판단을 실제로는 추측이나 걱정, 혹은 소수 의견이었음에도 불구하고 확고한 사실인 것처럼 제시할 수 있다.

연구자 일리아스 콘스탄티니디스(Ilias Konstantinidis)의 새로운 논문은 '시간적 정직성(temporal honesty)'이라는 표준을 제안함으로써 이 문제를 다룬다. 이 개념은 기관이 과거 사고의 무질서하고 불확실하며 진화하는 본질을 온전하게 보존할 의무가 있다고 제안한다. 최종 보고서를 저장하는 것만으로는 충분하지 않다. 조직은 결정을 내렸던 바로 그 시점에 존재했던 의구심, 이견, 가정, 그리고 구체적인 증거들을 함께 보존해야 한다. 목표는 누군가가 몇 년 후를 되돌아볼 때, 세련되고 단순화된 역사를 바탕으로 추측하는 것이 아니라, 그 특정 시점에 기관이 무엇을 알고 무엇을 느꼈는지를 정확히 재구성할 수 있도록 하는 것이다. 논문은 이러한 종류의 정직한 기록 관리가 없다면, 기관의 과거 행동에 대해 진정으로 책임을 묻는 것이 불가능하다고 주장한다. 왜냐하면 그들의 주장을 검증하는 데 필요한 증거가 시간의 흐름에 따라 지워졌기 때문이다.

이것이 왜 중요한지 이해하기 위해 기관이 보통 어떻게 작동하는지 살펴보자. 그들은 정보를 수집하고, 토론하며, 마침내 판단을 내린다. 시간이 흐르면서 새로운 정보가 도착하거나 리더십이 바뀌면, 그 판단은 업데이트된다. '시간적 정직성'이 없는 시스템에서는 예전 버전의 판단이 단순히 삭제되거나 새 버전으로 대체될 수 있다. 원래의 논리, 사용되었던 구체적인 데이터 포인트들, 그리고 최종 결정에 반대했던 목소리들은 사라진다. 이는 실제로 일어난 일과 살아남은 문서가 말하는 일 사이에 간극을 만든다. 논문은 이 간극을 '사후 확신적 확실성(retrospective certainty)'이라 부르는데, 이는 과거가 실제보다 더 깔끔하고 통일되어 보이는 상태를 의미한다. 저자는 이를 해결하기 위해 기관이 자신의 과거 지식 상태를 소리 없이 덮어쓸 수 없는 영구적인 기록으로 취급해야 한다고 제안한다. 예전의 평가를 삭제하는 대신, 무엇이 변했고 무엇이 추가되었으며 무엇이 제거되었는지를 명확히 보여주며 새로운 평가와 연결해야 한다는 것이다.

논문은 과거를 재구성하는 능력이 매우 중요했던 두 가지 상이한 현실 세계의 사례를 통해 이 아이디어를 테스트한다. 첫 번째 사례는 이라크 내 대량살상무기 조사와 관련되어 있다. 정보 기관들이 이라크가 그러한 무기를 보유하고 있다는 결론에 어떻게 도달했는지를 이해하기 위해 여러 공식 조사가 착수되었다. 연구자들은 이러한 조사들이 원래의 기록이 불완전했기 때문에 어려움을 겪었다는 것을 발견했다. 한 사례에서 검토 위원회는 관련 정보 문서를 모두 확인했다고 생각했으나, 나중에 중요한 문서 8개가 누락되었음을 발견했다. 또 다른 사례에서 위원회는 핵심 보고서의 원본 초안을 찾지 못하고, 수정된 복사본만을 발견했다. 가장 중요한 것은, 전문가들이 증거가 취약하다고 경고했던 반대 의견들이 제대로 기록되지 않았거나 필요한 사람들에게 숨겨졌다는 점이다. 이러한 기록들이 누락되거나 가려졌기 때문에, 조사관들은 원래 상황이 어떠했는지를 재구성하기 위해 수년간 노력해야 했으며, 그럼에도 일부 세부 사항은 여전히 불 unclear 상태로 남았다. 논문은 결정의 '계보(lineage)'가 끊어지면, 기관이 실수를 저지른 것인지 아니면 기록 자체가 결함이 있었던 것인지 알기가 매우 어려워진다는 점을 보여준다.

두 번째 사례는 인공지능 기업들이 자신들의 작업물을 어떻게 문서화하는지를 살펴본다. 이 기업들이 새로운 버전의 AI 모델을 출시할 때, 그들은 모델의 성능을 설명하는 보고서를 발표한다. 연구자들은 이러한 보고서들이 시간이 지남에 따라 어떻게 변하는지 조사했다. 그들은 기업들이 모델이 사실을 지어내는 것과 같은 동일한 유형의 위험성을 계속 언급하고 있지만, 그 위험성을 측정하기 위해 사용하는 구체적인 테스트는 계속 변하고 있다는 점을 주목했다. 한 해에 사용된 테스트는 다음 해에 다른 테스트로 교체될 수 있으며, 이 두 가지가 어떻게 연관되는지에 대한 명확한 설명 없이 교체된다. 과거와 현재를 비교하려는 외부 관찰자에게, 이러한 명확한 연결 고리의 부재는 AI가 나아지고 있는지 혹은 나빠지고 있는지를 추적하는 것을 어렵게 만든다. 논문은 평가 방식이 변경되었을 때 명확한 체인을 보여주지 않는다면, 특정 위험이 실제로 해결된 것인지 아니면 단지 측정 도구가 바뀌었기 때문에 무시된 것인지 알 수 없다고 주장한다.

논문의 핵심 발견은 '인식적 상태(epistemic state)'—즉, 특정 시점에 무엇이 알려졌고, 의심되었으며, 결정되었는지에 대한 전체적인 그림을 보존하는 것이 훌륭한 거버넌스의 별개이며 필수적인 부분이라는 것이다. 이는 결정 자체가 옳았는지 틀렸는지와는 별개의 문제다. 기관은 잘못된 데이터에 기반하여 끔찍한 결정을 내릴 수 있지만, 그 잘못된 데이터와 잘못된 결정에 대한 기록이 정직하게 보존된다면 사람들은 그것으로부터 배울 수 있다. 만약 그 기록이 유실되거나 매끄럽게 다듬어진다면, 그 교훈 또한 사라진다. 저자는 이를 달성하기 위한 실질적인 규칙들을 제안한다. 이 규칙에는 변경 사항을 볼 수 있도록 버전 히스토리를 유지하는 것, 불확실성과 이견이 최종 결론에 결합되도록 하고 탈취되지 않도록 하는 것, 그리고 누가 언제 어떤 정보를 보았는지에 대한 기록을 유지하는 것이 포함된다. 논문은 안전이나 개인정보 보호를 위해 일부 정보가 비밀로 유지되어야 함을 인정하지만, 설령 그런 경우라도 기록의 구조—즉, 결정이 내려졌다는 사실, 누가 내렸는지, 그리고 어떤 유형의 증거에 기반했는지—는 여전히 가시적이어야 한다고 주장한다.

이 접근 방식이 모든 조직적 실패를 해결해주지는 않는다. 지도자들이 경고에 귀를 기울이게 하거나 그들이 잘못된 선택을 하는 것을 막을 수는 없다. 또한 사람들이 목소리를 내는 것을 두려워하는 문화를 고칠 수도 없다. 그러나 이 방식은 문제가 발생했을 때 진실이 재작성된 역사의 층 아래에 파묻히지 않도록 보장한다. 기관의 과거 모습을 모든 의구심과 오류를 포함하여 온전하게 드러내도록 요구함으로써, 논문은 더 정직한 미래를 만드는 방법을 제시한다. 이는 과거로부터 배우는 최선의 방법이 과거를 완벽하게 기억하는 것이 아니라, 이야기가 어떻게 끝났는지에 대한 왜곡 없이 원래의 무질서한 증거들을 검토할 수 있도록 그대로 보존하는 것임을 시사한다.