Background and Intellectual Development: Supplementary Material for the Category Mistake Papers

이 보충 자료는 2014 년 스탠포드 강연과 2016 년 레슬리 램포트와의 교류, 그리고 오픈 원자 이더넷 (OAE) 개발 과정을 거쳐 15 년간 정립된 '범주적 오류'와 '전진 시간만 허용 (FITO)' 분석의 지적 여정을 기록한 것입니다.

핵심

1. 핵심 비유: "모두가 같은 박자를 맞추려는 불가능한 시도"

지금까지 컴퓨터 네트워크 (예: 클라우드, 은행 시스템) 는 **"전 세계의 모든 시계가 완벽하게 똑같은 시간을 가리켜야 한다"**는 생각으로 설계되었습니다. 마치 오케스트라가 지휘자의 박자 (Global Drum Beat) 에 맞춰 연주해야 한다고 믿는 것과 같습니다.

하지만 저자는 이렇게 말합니다.

"우주에는 그런 지휘자가 없습니다. 물리학적으로 '동시성 (한 순간)'은 존재하지 않습니다."

아인슈타인의 상대성 이론에 따르면, 관찰자마다 시간이 다르게 흐릅니다. 멀리 떨어진 두 컴퓨터가 "지금 이 순간"을 공유하는 것은 물리적으로 불가능합니다. 그런데도 우리는 컴퓨터가 서로 대화할 때 "이게 먼저 일어났고, 저게 나중에 일어났다"는 것을 절대적인 시간으로 판단하려 합니다. 이것이 바로 모든 문제의 시작입니다.

2. 레스리 램포트와 "사과를 보낸 사람"

이 논문의 핵심은 컴퓨터 과학의 거인인 **레스리 램포트 (Leslie Lamport)**의 이론을 재해석하는 데서 나옵니다. 램포트는 "이벤트 A 가 B 보다 먼저 일어났다 (Happened-before)"는 개념을 만들어내어 컴퓨터 과학을 혁신했습니다.

하지만 저자는 램포트의 이론에 **치명적인 착각 (Category Mistake)**이 있다고 지적합니다.

• 램포트의 생각: "내가 편지를 보냈으니, 상대방이 받기 전에 내 편지가 먼저 존재했다. 그래서 내 편지가 먼저다." (보낼 수 있는 가능성에 기반)
• 물리학의 진실: "편지가 상대방에게 실제로 도착하고, 상대방이 답장을 보내서 내가 그 답장을 받을 때 비로소 '일어났다'고 말할 수 있다." (실제 상호작용에 기반)

비유:
친구에게 편지를 보냈다고 해서 "내가 먼저 말한 것"이 아닙니다. 친구가 편지를 읽고 "알았다"고 답장을 보내야 비로소 대화가 성립합니다. 컴퓨터도 마찬가지로, 데이터가 보내진 것이 아니라 '상대방이 받아서 확인했다'는 신호가 돌아와야만 그 일이 일어난 것으로 간주해야 합니다.

3. iCloud 가 망가진 이유: "시간의 착각"

저자는 자신의 iCloud(애플의 클라우드 서비스) 가 어떻게 망가졌는지 구체적인 사례로 보여줍니다.

• 상황: 여러 기기 (아이폰, 맥북, 아이패드) 에서 파일을 수정했습니다.
• 문제: 각 기기는 "내 시계가 옳다"고 믿고 파일을 덮어썼습니다. 하지만 물리적으로 각 기기의 시간이 완벽하게 동기화될 수 없기 때문에, 어떤 파일은 사라지고, 어떤 파일은 복사되어 엉뚱한 곳에 생겼습니다.
• 결과: 366GB(약 10 만 장의 A4 용지 분량) 의 데이터가 꼬여버렸습니다.

비유:
여러 명이 같은 화이트보드에 글을 쓰는데, "누가 먼저 썼는지"를 정하기 위해 시계를 보게 됩니다. 그런데 각자의 시계가 1 초씩 차이가 나면, 누가 먼저 썼는지 알 수 없습니다. 결국 서로의 글이 지워지거나, 같은 글이 두 번 씌워지는 혼란이 생깁니다. iCloud 는 이런 '시간의 착각' 때문에 데이터를 잃어버린 것입니다.

4. 해결책: "되감기 버튼 (Reversibility)"과 "삼각형"

이 논문의 가장 혁신적인 제안은 **"시간을 거꾸로 돌릴 수 있어야 한다"**는 것입니다.

• 기존 방식 (Forward In-Time-Only): 실수가 나면 "다시 시도해 (Retry)"라고 합니다. 하지만 이 과정에서 데이터가 꼬일 수 있습니다.
• 새로운 방식 (OAE - Open Atomic Ethernet):
  • 되감기 (Reversibility): 만약 데이터 전송 중 실수가 나면, 상태를 완벽하게 이전으로 되돌릴 수 있어야 합니다. 마치 비디오를 되감는 것처럼, "아, 안 된 것 같네? 다시 처음부터 시작하자"가 가능해야 합니다.
  • 삼각형 (Triangle Topology): 두 사람 (A 와 B) 만 있으면 통신이 끊겼을 때 누가 먼저 끊겼는지 알 수 없습니다. 하지만 **세 번째 사람 (C)**이 있으면, "A 와 B 가 끊겼구나"를 C 를 통해 알 수 있습니다. 최소 3 개의 연결로 이루어진 삼각형 구조가 되어야만 실패를 복구할 수 있습니다.

5. 요약: 우리가 배워야 할 것

이 논문은 우리에게 다음과 같은 교훈을 줍니다.

1. 시간은 절대적이지 않다: 컴퓨터 시스템 설계에 "전 세계가 같은 시간"이라는 환상을 버려야 합니다.
2. 상호작용이 진짜다: "보낸 것"이 아니라 "상대가 받고 확인한 것"이 진짜입니다.
3. 되감기가 필요하다: 실수가 났을 때, 시간을 앞으로만 밀고 나가는 게 아니라, 상태를 깨끗하게 되돌릴 수 있는 시스템을 만들어야 합니다.

한 줄 요약:

"우리는 물리 법칙을 무시하고 '완벽한 시간'을 만들려다 실패했습니다. 이제부터는 '시간이 흐르는 방향'을 강요하기보다, 상호작용을 확인하고 실수가 나면 완벽하게 되돌릴 수 있는 시스템을 만들어야 합니다."

이 연구는 단순한 기술적 수정이 아니라, 우리가 컴퓨터를 바라보는 철학적 관점의 변화를 요구합니다.

기술 요약

1. 문제 (Problem)

현대 분산 시스템 이론과 공학은 물리학의 근본 원리와 모순되는 **'뉴턴적 시간관 (Newtonianism)'**에 기반하고 있습니다.

• 시간의 오해: 컴퓨터 과학 (특히 레슬리 램포트의 '이벤트 발생 순서' 이론) 은 시간을 변화의 배경이 아니라, 사건을 측정하는 절대적이고 연속적인 배경으로 가정합니다. 이는 '전방 일방향 (FITO)' 사고, 즉 시간이 한 방향으로만 흐르고 되돌릴 수 없다는 가정을 내포합니다.
• 실제 물리와의 괴리: 양자역학과 상대성 이론에 따르면 시간은 배경이 아니라 상호작용 (양자 상호 정보) 에서 창발 (emerge) 하는 것이며, 인과관계는 양방향적일 수 있고 국소 관찰자에 따라 다릅니다.
• 실제 피해: 이러한 이론적 오류는 구글 스파너 (Spanner), 아이클라우드 (iCloud) 등 대규모 분산 시스템에서 침묵하는 데이터 손실, 파일 중복, 동기화 실패, 합의 (Consensus) 의 한계 등 해결 불가능한 오류를 초래합니다. 특히 아이클라우드의 경우 366GB 에 달하는 데이터 분열과 손실이 발생했습니다.

2. 방법론 (Methodology)

저자는 물리학, 철학, 그리고 실제 엔지니어링을 결합하여 문제를 분석하고 해결책을 모색했습니다.

• 물리학적 기반 (Subtime Conjecture): 시간을 '셀 수 있는 변화'로 정의하고, 양자 얽힘 (entanglement) 과 상호 정보 (mutual information) 를 통해 시간이 국소적으로 생성된다는 '서브타임 가설'을 제시했습니다. '앨리스와 밥 (Alice-and-Bob)' 사고실험을 통해 배경 시간 없이 두 입자 간에 정보 (광자) 만 교환하는 모델을 고안했습니다.
• 램포트와의 논쟁 및 비판: 2016 년 레슬리 램포트와의 서신 교환을 통해, 램포트의 '발생 전 (happened-before)' 관계가 '실제로 전송된 메시지'가 아닌 '전송 가능했던 메시지'에 기반하여 인과관계를 잘못 정의하고 있음을 지적했습니다. 이는 물리적 인과관계 (실제 흐름) 와 계산적 의존성 (잠재적 흐름) 을 혼동한 범주 오류 (Category Mistake) 라고 주장했습니다.
• 실증 분석: 아이클라우드의 366GB 아카이브 데이터를 분석하여 타임스탬프 기반의 충돌 해결이 어떻게 데이터 손실로 이어지는지 실증했습니다.
• 새로운 프로토콜 설계 (OAE): 기존 시간 동기화 (NTP, PTP) 를 버리고, 링크 레벨에서 '전송된 정보가 수신됨이 확인될 때까지 전송이 완료되지 않은 것'으로 간주하는 양방향 (Bilateral) 및 대칭적 가역성 (Symmetric Reversibility) 을 가진 'Open Atomic Ethernet (OAE)'을 설계했습니다.

3. 주요 기여 (Key Contributions)

• FITO(Forward-In-Time-Only) 오류의 규명: 램포트, 샤논, 베어 등 분산 시스템의 거장들이 구축한 이론들이 '시간은 한 방향으로만 흐른다'는 물리적으로 틀린 가정을 기반으로 하여, ACID 속성 (원자성, 일관성, 격리성, 지속성) 이 물리적으로 불가능함을 증명했습니다.
• 카테고리 미스태크 프레임워크: 분산 시스템의 실패가 단순한 버그가 아니라, 물리적 현실을 무시한 이론적 모델의 구조적 오류에서 비롯됨을 체계적으로 분류했습니다.
• Open Atomic Ethernet (OAE) 제안:
  • 지식 기반 정확성: 경과 시간이 아닌 '정보의 피드백 (수신 확인)'을 기준으로 전송의 완결성을 판단합니다.
  • 가역성 (Reversibility): 링크 레벨에서 모든 작업에 논리적 역연산을 정의하여, 오류 발생 시 상태를 이전으로 되돌릴 수 있게 합니다.
  • 삼각형 토폴로지: 단일 링크 장애 시에도 양쪽 노드가 상태를 인지할 수 있도록 최소 3 노드 (삼각형) 구조를 통해 회복성을 보장합니다.
• 아이클라우드 실패의 구조적 원인 규명: 분산 causal graph 를 선형 시간 체인으로 투영하는 과정에서 필수적인 구조가 손실되어 데이터가 파괴됨을 증명했습니다.

4. 결과 (Results)

• 실증적 검증: 아이클라우드 사용 환경에서 발생한 366GB 규모의 데이터 분열과 1,406 개의 파일 손실 사례를 분석하여, 타임스탬프 기반 충돌 해결이 실패했음을 확인했습니다.
• 이론적 확장: 램포트의 '이벤트 발생 순서'가 계산적 의존성에는 유용하지만, 물리적 인과관계나 마이크로초 단위의 거대 분산 시스템에서는 한계가 있음을 입증했습니다.
• 공학적 실현: OAE 프로토콜을 통해 배경 시간 없이도 양자 얽힘과 유사한 '양자적 인과관계'를 네트워크 레벨에서 구현할 수 있음을 시연했습니다. 이는 타임아웃과 재시도 (TAR) 방식의 근본적 한계를 극복하고 '정확히 한 번 (Exactly Once)' semantics 를 달성하는 새로운 길을 제시합니다.

5. 의의 (Significance)

• 패러다임의 전환: 분산 시스템 설계가 '시간 동기화'를 통해 뉴턴적 질서를 강요하려는 시도에서 벗어나, 관찰자 의존적 (observer-dependent) 인 인과관계와 확률적, 가역적인 물리 법칙을 수용하는 방향으로 전환해야 함을 주장합니다.
• 엔지니어링의 재정의: "타임스탬프는 절대적 진리가 아닌 근사치일 뿐"임을 인정하고, 이를 기반으로 시스템을 설계해야 합니다. ACID 속성과 같은 기존 개념이 물리 법칙과 충돌할 때, 이를 우회하기보다 물리 법칙과 조화되는 새로운 프로토콜 (OAE) 을 개발해야 합니다.
• 미래 지향성: 양자 컴퓨팅과 초고속 분산 시스템 시대에 맞춰, '시간의 배경'을 제거하고 '상호작용과 정보 교환' 자체를 기반으로 한 새로운 컴퓨팅 아키텍처의 기초를 마련했다는 점에서 의의가 큽니다.

결론적으로, 이 문서는 분산 시스템의 근본적인 실패 원인이 소프트웨어 버그가 아니라 물리학적 오해에 있음을 지적하며, 이를 해결하기 위해 시간의 방향성을 고정하지 않고 양방향 인과관계와 가역성을 허용하는 새로운 공학적 접근법 (OAE) 을 제시합니다.