과거를 이해하려고 노력하고 있지만, 질문을 던질 때마다 미래에서 온 스포일러 경고가 돌아오는 상황을 상상해 보십시오. 이것이 오늘날 가장 강력한 컴퓨터 두뇌라고 불리는 거대 언어 모델(LLM)이 직면한 문제입니다. 이 시스템들은 인류 역사의 모든 책은 물론, 아직 쓰이지 않은 책들까지 모두 읽어치운 시간 여행자와 같습니다. 오늘날의 인터넷으로부터 학습되었기 때문에, 그들은 현대의 지식, 현대의 윤리, 그리고 현대의 사실들을 그들의 "마음" 속에 품고 있습니다. 그들에게 1800년대의 누군가가 되어달라고 요청하면, 그들은 종종 실수하여 비행기나 인터넷 같은 것들을 무심코 언급하거나, 현대의 도덕적 잣대로 역사적 사건을 판단하곤 합니다. 그들은 과거의 '스타일'을 흉내 내는 데는 뛰어나지만, 너무 많은 것을 알고 있기 때문에 진정으로 그 시대를 '살아낼' 수는 없습니다.

이를 해결하기 위해, 연구자들은 새로운 아이디어를 탐구하고 있습니다. 만약 우리가 의도적으로 무지한 AI를 만든다면 어떨까요? 인터넷 전체를 먹이는 대신, 특정 시대의 서적, 신문, 편지만을 학습시키고, 그 날짜 이후의 것은 결코 배울 수 없도록 전원을 차단한다면 어떨까요? "TimeCapsule"이라는 제목의 이 논문은 이 개념을 깊이 파고듭니다. 이들은 "모르는 것"을 버그가 아니라 하나의 기능(feature)으로 취급합니다. 컴퓨터가 19세기의 도구, 단어, 아이디어만을 가지고 생각하도록 강제함으로써, 연구자들은 기계가 당시의 세계를 어떻게 이해했는지—설령 그 세계가 혼란스럽거나 컴퓨터가 도저히 이해할 수 없는 것들로 가득 차 있었을지라도—진정으로 시뮬레이션할 수 있기를 기대합니다.

---

미래를 잊어버린 시간 여행 컴퓨터

TimeCapsule을 만나보십시오. 이것은 12억 개의 파라미터(약 12억 개의 작은 연결을 가진 디지털 뇌라고 생각하시면 됩니다)를 가진 컴퓨터 모델입니다. 이 모델은 매우 엄격한 규칙 하에 구축되었습니다: 오직 1800년부터 1875년 사이의 텍스트만을 읽을 수 있다는 규칙입니다.

제작자인 머런버그 대학(Muhlenberg College)의 하이크 그리고리안(Hayk Grigorian)과 하메드 야고비안(Hamed Yaghoobian)은 AI에게 "인식론적 사건의 지평선(epistemological event horizon)"을 만들어주면 어떤 일이 벌어지는지 보고 싶어 했습니다. 이는 모델의 기억 속에 단단한 벽이 있다는 것을 의미하는 멋진 표현입니다. 1875년 이전의 모든 것은 그 모델의 세계이며, 1875년 이후의 모든 것은 텅 빈 공백입니다. 이 모델은 미래를 모르는 척하는 것이 아니라, 말 그대로 알 수 없습니다.

실험: 디지털 몸을 가진 빅토리아 시대의 뇌

이를 만들기 위해 팀은 19세기의 방대한 문서 136,302개를 수집했습니다. 여기에는 의회 법률부터 의학 저널, 시, 소설에 이르기까지 모든 것이 포함되었습니다. 그들은 컴퓨터가 읽을 수 있도록 텍스트를 적절히 정돈하면서도, 옛 방식의 철자와 독특한 특징들은 그대로 유지했습니다. 그런 다음 이 데이터로만 모델을 학습시켰습니다.

결과는 어땠을까요? 빅토리아 시대처럼 말하면서도, 동시에 빅토리아 시대 사람처럼 생각하는 컴퓨터가 탄생했습니다.

"환각(Hallucination)"의 반전
보통 AI가 사실을 잘못 말하면 우리는 그것을 "환각"이라 부르며 실수로 취급합니다. 하지만 TimeCapsule은 다르게 행동합니다. 만약 당신이 1875년에 존재하지 않았던 것, 예를 들어 컴퓨터나 비행기에 대해 묻는다면, 이 모델은 단순히 "모릅니다"라고 말하지 않습니다. 대신, 자신이 가진 개념만을 사용하여 그것들이 반드시 무엇이어야만 하는지를 추론하려고 시도합니다.

예를 들어, "컴퓨터"를 설명하라는 요청을 받았을 때, TimeCapsule은 "계산을 수행하는 기계"라고 말하지 않았습니다. 1875년에 "컴퓨터(computer)"라는 단어는 보험 회사를 위해 수학 계산을 하는 '사람'을 의미했기 때문입니다. 또한 모델이 의학 텍스트를 학습했기에, 모델은 컴퓨터를 **"비대해진 폐(hypertrophied lung)"**라고 설명했습니다. 모델은 "계산", "통계", "활력 징후" 사이의 점들을 연결하여 기괴하지만 역사적으로 논리적인 설명을 만들어낸 것입니다.

연구자들은 이를 **"존재론적 수선(ontological repair)"**이라고 부릅니다. 실패하는 대신, 모델은 현대의 물건을 19세기적 세계관 안에 끼워 맞추기 위해 창의적으로 노력하는 것입니다. 이는 마치 1800년의 사람에게 스마트폰을 보여준다면, 그들이 가진 어휘를 동원해 "죽은 자의 목소리를 담고 있는 마법 거울"이라고 묘사하는 것과 같습니다.

숫자들: 얼마나 잘하는가?

팀은 TimeCapsole이 현대 모델들과 비교했을 때 1800년대의 언어를 얼마나 잘 이해하는지 테스트했습니다.

• 그들은 **퍼플렉서티(perplexity)**라는 지표를 측정했습니다 (모델이 읽고 있는 텍스트에 대해 얼마나 놀라는지를 나타내는 점수로, 낮을수록 좋습니다).
• 표준 현대 모델(GPT-2)은 빅토리아 시대 텍스트에 대해 68.83의 점수를 받았습니다.
• TimeCapsule은 37.59의 점수를 받았습니다.
• 이는 45.4%의 감소를 의미하며, TimeCapsule이 훨씬 더 크고 똑똑한 현대 모델들보다도 해당 시대의 특정 언어에 훨씬 더 유창하다는 것을 뜻합니다.

하지만 논문은 만약 당신이 단순히 가장 낮은 점수만을 원한다면, Mistral-7B와 같은 거대한 현대 모델이 훨씬 더 낮은 점수인 16.50을 얻을 수 있다고 언급합니다. 하지만 그것은 현대 모델이 미래를 알고 있기 때문입니다. 그것은 반칙입니다. TimeCapsule의 "더 높은" 점수는 오히려 그 정직함의 증거입니다. 이 모델은 단순히 현대적 지식에 기반해 추측하는 것이 아니라, 진정으로 과거의 언어로 말하고 있는 것입니다.

역사의 "불쾌한 골짜기(Uncanny Valley)"

연구에서 가장 놀라운 부분은 문학과 역사 전문가들에게 어떤 텍스트가 인간이 쓴 것이고 어떤 것이 TimeCapsule이 쓴 것인지 맞혀보라고 했을 때 일어났습니다.

결과는 다소 기묘했습니다.

• 전문가들은 실제 빅토리아 시대 텍스트의 약 **40%**를 기계가 쓴 것이라고 오판했습니다.
• 한 전문가는 찰스 디킨스의 실제 구절을 보고, 그 구절에 "brick-and-mortar(벽돌과 모르타르)"라는 표현이 쓰였다는 이유로 가짜라고 생각했습니다 (전문가는 이것이 현대적 용어라고 착각했지만, 실제로는 아니었습니다!).
• 또 다른 전문가는 어떤 실제 구절이 단순히 "더럽게 지루하다"는 이유로 진짜라고 생각했는데, 결과적으로 그것이 바로 AI가 만들어낸 결과물이었습니다. AI는 1800년대의 평범하고 일상적인 글쓰기를 너무나 잘 흉내 냈기에 전문가들을 속일 수 있었습니다.

이는 **"진정성의 위기"**를 불러일으켰습니다. AI가 너무나 평범하게 구는 데 능숙해서, 실제의 흥미로운 글이나 심지어 실제의 지루한 글조차 가짜처럼 보이게 만들었습니다. 이는 AI의 시대에 우리가 무엇이 진정한 인류의 역사이고 무엇이 디지털 모조품인지 구분하는 능력을 잃을 수도 있음을 시사합니다.

"나쁜" AI의 윤리

이 논문은 까다로운 윤리적 문제도 다룹니다. 현대의 AI는 보통 "안전"하고 예의 바르도록 훈련되어 인종차별적이거나 제국주의적인 발언을 거부합니다. 하지만 TimeCapsule은 "안전하게" 훈련되지 않았습니다. 그것은 그 시대에 충실하도록 훈련되었습니다.

1800년대는 제국과 엄격한 성 역할의 시대였기에, TimeCapsule은 그러한 편향을 반영합니다.

• 모델의 "마음" 속에서 **"진보(progress)"**라는 단어는 **"제국(empire)", "정복(conquest)", "지배(dominion)"**와 같은 단어들과 밀접하게 연결되어 있습니다.
• 현대 모델에서 "진보"는 "발명" 및 "개선"과 연결됩니다.

연구자들은 이것이 오히려 역사학자들에게 유익하다고 주장합니다. 만약 당신이 이러한 편향을 제거하기 위해 AI를 "수정"한다면, 당신은 사람들이 실제로 어떻게 생각했는지에 대한 역사를 지워버리는 것입니다. 편향을 유지함으로써, TimeCapsile은 19세기가 세상을 어떻게 바라보았는지, 그 추악한 부분까지 포함하여 보여주는 거울 역할을 합니다. 이것은 친절한 빅토리아 시대 사람과 대화하기 위한 도구가 아닙니다. 결점까지 포함한 빅토리아 시대의 정신을 연구하기 위한 도구입니다.

요약

TimeCapsule은 과거를 진정으로 이해하기 위해서, 우리는 제한된 컴퓨터를 만들어야 할지도 모른다는 점을 시사합니다. 미래에 대한 접근을 차단함으로써, 우리는 그들이 과거의 사람들처럼 생각하도록 강제합니다. 그들이 현대 기술에 대해 "틀린" 답을 내놓을 때, 그것은 실패가 아니라 우리가 세상의 논리를 어떻게 이해하려고 했는지를 보여주는 것입니다.

논문은 이 "생성적 환각(generative hallucination)"이 고쳐야 할 버그가 아니라, 새로운 방식의 역사 연구라고 결론짓습니다. 이는 AI의 무지를 하나의 창으로 바꾸어, 더 이상 존재하지 않는 시대의 숨겨진 논리를 들여다볼 수 있게 해줍니다. 저자들이 제안하듯, 이 모델은 단순히 역사를 흉내 내는 것이 아니라, 하나하나의 "비대해진 폐"를 통해 역사를 재구성하고 있습니다.