Beyond Epistemia: Epistemic Schizologia and Large Language Models as Techno-Semiotic Machines

거대한 지식의 환상: 말은 그럴싸하지만 실상은 아무것도 모를 때

당신이 신비롭고 보이지 않는 서기(scribe)가 쓴 책들로 가득 찬 거대하고 오래된 도서관을 걷고 있다고 상상해 보세요. 이 서기는 도서관의 모든 책을 읽었으며, 실제 역사서나 과학 교과서, 혹은 법률 계약서와 똑같이 들리는 새로운 페이지를 즉각적으로 써 내려갈 수 있습니다. 서기는 적절한 단어, 올바른 문법, 심지어 적절한 어조까지 사용합니다. 하지만 여기 함정이 있습니다. 서기는 자신이 무엇을 쓰고 있는지 실제로 알지 못합니다. 서기는 뇌가 없으며, 세상을 본 적도 없고, 자신이 쓰는 내용이 진실인지 거짓인지에 관심도 없습니다. 그저 어떤 단어 뒤에 어떤 단어가 오는 것이 일반적인지만을 알고 있을 뿐입니다.

이것이 바로 당신이 지금 사용하고 있을지도 모르는 도구들의 배후에 있는 초지능형 컴퓨터 프로그램, 즉 **거대 언어 모델(LLM)**의 세계입니다. 과학자들과 철학자들은 **"에피스테미아(Epistemia)"**라고 불리는 특정 문제에 대해 우려해 왔습니다. 이것을 "지식의 환상"이라고 생각해보세요. 이는 서기의 글쓰기가 너무 매끄럽고 설득력이 있어서, 우리가 "이것이 사실인가?"라고 묻는 것을 멈추고 "와, 이건 분명히 사실일 거야!"라고 생각하게 될 때 발생합니다. 우리는 답을 얻었다고 느끼지만, 실제로는 사실 여부를 확인하거나, 증거를 찾아보거나, 비판적으로 사고하는 힘든 과정을 수행하지 않았습니다.

당신이 곧 읽게 될 논문은 이 문제를 깊이 파고듭니다. 이 논문은 다음과 같이 질문합니다. 왜 이런 일이 일어나는가? 컴퓨터가 인간에 비해 "고장 난" 것인가? 아니-면 문제가 실제로 컴퓨터를 사용하는 우리에게 있는가? 저자들은 인간과 컴퓨터를 비교하는 기존의 방식이 불공평하다고 주장합니다. 그들은 이를 **"에피스테믹 스키졸로지아(Epistemic Schizologia, 지식의 분열)"**라고 부르는 새로운 관점으로 제시합니다. 그들은 진짜 위험은 컴퓨터가 멍청하다는 것이 아니라, 컴퓨터가 완벽해 보이는 답을 내놓으면 우리가 그 답을 실제 증거와 책임의 세계로 다시 연결하는 것을 잊어버리는 시스템을 구축했다는 점에 있다고 믿습니다.

---

논문의 핵심 아이디어: 로봇의 잘못이 아니라, 그 '춤'의 문제다

저자인 페데리코 카비타(Federico Cabitza)와 잔루카 콜롬보(Gianluca Colombo)는 다른 연구자들(콰트로초키와 동료들)의 경고에 동의하며 시작합니다. 그들은 AI가 우리를 속일 수 있다는 점을 인정합니다. AI가 유창하고 자신감 넘치는 답변을 내놓으면, 우리는 마치 스스로 생각을 마친 것 같은 기분을 느끼지만 실제로는 그렇지 않습니다. 저자들은 이 상태를 에피스테미아(Epistemia), 즉 판단이라는 과업을 수행하지 않고도 지식을 소유하고 있다는 느낌이라고 부릅니다.

하지만 저자들은 다른 연구자들이 문제를 잘못된 방향으로 보고 있다고 말합니다. 그들은 온전한 신체와 삶의 궤적, 친구, 그리고 양심을 가진 성인 인간을, 그저 수학적 기계에 불과한 외로운 컴퓨터 프로그램과 비교하고 있습니다. 저자들은 이것이 프로 축구 선수와 축구공 한 개를 비교하는 것과 같다고 말합니다. 당연히 선수가 더 뛰어나겠죠! 하지만 그것은 게임이 실제로 어떻게 진행되는지를 알려주지 않습니다.

대신, 저자들은 새로운 개념인 **에피스테믹 스키졸로지아(Epistemic Schizologia)**를 제안합니다.
'스키졸로지아'를 천의 찢어진 틈이라고 상상해 보세요. 이 경우, 그 천은 '지식'입니다.

• 찢어진 틈의 A면: AI는 아름답고 그럴듯한 문장을 만들어냅니다. 그것은 지식처럼 보입니다. 적절한 어휘와 구조를 갖추고 있습니다.
• 찢어진 틈의 B면: 사실을 확인하고, 전문가와 논쟁하며, 증거를 찾고, 옳고 그름에 대해 책임을 지는 혼란스럽고 실제적인 세상의 과정입니다.

저자들의 주장에 따르면, 문제는 AI가 A면을 완벽하게 만들어내는 기계를 만들었지만, B면을 수행할 방법은 전혀 없다는 것입니다. 더 나쁜 것은, 우리가 이 기계들을 사용하는 방식이 종종 이 분열을 숨긴다는 점입니다. 우리는 완벽한 답을 얻고 나서, '확인'하는 부분이 빠져 있다는 사실을 잊어버립니다.

"테크노-세미오틱 머신(Techno-Semiotic Machine)" 비유

저자들은 AI가 실제로 무엇인지 설명하기 위해 멋진 은유를 사용합니다. 그들은 이를 **테크노-세미오틱 머신(Techno-Semiotic Machine)**이라고 부릅니다.
이것을 거대하고 마법 같은 베틀(loom)이라고 생각해 보세요.

• 실(Thread): 베틀에는 인간이 쓴 모든 것(책, 웹사이트, 기사)으로 만들어진 방대한 양의 실이 공급됩니다.
• 패턴(Pattern): 베틀은 실을 '이해'하지 못합니다. 그저 빨간 실은 보통 파란 실과 함께 가고, "고양이"는 보통 "쥐"와 함께 간다는 것을 학습할 뿐입니다.
• 결과물(Output): 당신이 무언가를 짜달라고 요청하면, 베틀은 새로운 천 조각을 뱉어냅니다. 그것은 마치 인간이 만든 태피스트리처럼 보입니다. 적절한 패턴과 색상을 가지고 있습니다.

하지만 핵심은 이것입니다. 베틀는 그 그림이 무엇을 의미하는지 모릅니다. 그 그림이 영웅에 관한 이야기인지, 괴물에 대한 경고인지 알지 못합니다. 그저 실들이 어떻게 결합되어야 제대로 보이는지를 알 뿐입니다.

저자들은 위험이 베틀가 "가짜"라는 데 있는 것이 아니라고 주장합니다. 위험은 우리가 베틀가 만든 태피스트리를, 그 실들을 확인하지 않은 채 완성된 진실한 이야기인 것처럼 취급한다는 데 있습니다.

"에이코틱 클로저(Eikotic Closure)"의 함정

논문은 **에이코틱 클로저(Eikotic Closure)**라는 또 다른 흥미로운 개념을 소개합니다.
"에이코스(Eikos)"는 '그럴듯한' 또는 '있음직한'을 뜻하는 고대 그리스어입니다.
당신이 추리 소설을 읽고 있다고 상 탐상해 보세요. 탐정이 말합니다. "집사가 화가 났기 때문에 범인입니다." 이는 그럴듯하게 들립니다.
이제, 이야기가 거기서 바로 끝난다고 상상해 보세요. 책이 덮힙니다. 당신은 만족감을 느낍니다. "사건 종료!"라고 생각하죠.
하지만 만약 탐정이 총을 발견하지 못했다면 어떨까요? 만약 탐정이 알리바이를 확인하지 않았다면요? 만약 집사가 실제로 무죄라면요?

에이코틱 클로저는 AI가 당신에게 "그럴듯한" 답을 주고, 인터페이스(화면, 채팅창)가 마치 책이 덮이는 것처럼 작동할 때 발생합니다. 그것은 답변이 완성되었고, 최종적이며, 완전한 것처럼 보이게 만듭니다. 이는 당신의 뇌가 '작업'이 끝났다고 착각하게 만듭니다. 저자들은 이것이 설계된 선택이라고 말합니다. AI는 단순히 단어를 내뱉는 것이 아니라, 마치 최종 판결처럼 느껴지는 방식으로 단어를 내뱉습니다. 이것이 우리가 질문을 멈추게 만듭니다.

왜 "인간 대 로봇"의 비교가 틀렸는가

저자들은 자신들이 무엇에 반대하는지를 명확히 합니다. 그들은 로봇을 "더 인간답게" 만들어야 한다는 생각에 반대합니다.

• 그들은 로봇에게 "양심"이나 "신념"을 부여하려고 노력해서는 안 된다고 말합니다. 그것은 불가능하며 본질을 놓치는 일입니다.
• 그들은 인간을 "똑똑하다"고 칭송하면서 로봇을 "멍청하다"고 비난해서는 안 된다고 말합니다. 인간 또한 사실 사실 확인에 꽤 서툽니다! 우리는 피곤해지고, 게을러지며, 실수를 저지릅니다.
• 그들은 인간의 지식이 항상 도구에 의존해 왔다고 주장합니다. 우리는 생각하기 위해 펜, 도서관, 컴퓨터를 사용합니다. 문제는 AI가 도구라는 것이 아니라, 우리가 신뢰의 사슬을 끊는 방식으로 그것을 사용하고 있다는 점입니다.

해결책: 무용수가 아니라 춤을 고쳐라

그렇다면 저자들은 우리가 무엇을 해야 한다고 제안할까요? 그들은 로봇을 고치려고 노력하는 것을 멈추고, 실행 방식(우리가 함께 일하는 방식)을 고치기 시작해야 한다고 말합니다.

그들은 이러한 시스템을 설계할 때 지켜야 할 다섯 가지 "약속(commitments)"을 제안합니다.

1. 계보를 보여라 (가계도): 답만 주지 마세요. 답의 "가계도"를 보여주세요. 그 단어들은 어디에서 왔습니까? AI는 어떤 책들을 읽었습니까? 만약 추측을 했다면, 그 추측임을 밝히십시오. 우리는 답을 실제 세상으로 역추적할 수 있어야 합니다.
2. "아니오" 옵션을 유지하라: 때때로 정답은 "모릅다" 또는 "이것은 논쟁적이다"입니다. AI가 항상 완벽하고 매끄러운 답을 내놓으려 해서는 안 됩니다. "이 부분에는 이견이 있습니다"라거나 "정보가 부족합니다"라고 말할 수 있어야 합니다. 이러한 "마찰"은 좋은 것입니다. 왜냐하면 그것이 우리를 생각하게 만들기 때문입니다.
3. 책임을 공유하라 (공로와 함께): 실수가 발생했을 때, 누구의 책임입니까? 로봇만의 문제가 아닙니다. 질문을 던진 사람, 로봇을 만든 회사, 그리고 그 답을 사용하는 사람 모두의 책임입니다. 우리는 누가 책임을 지고 있는지 알아야 합니다.
4. 인간을 운전석에 앉혀라: 우리는 모든 것에 대해 단순히 "승인" 버튼을 눌러서는 안 됩니다. 우리는 작업을 검토하고, 다른 버전을 요청하고, AI가 왜 그렇게 말했는지 이해할 수 있어야 합니다.
5. 로봇만이 아니라 팀을 테스트하라: 우리는 단지 "로봇이 똑똑한가?"라고 물어서는 안 됩니다. "인간과 로봇의 팀이 잘 작동하고 있는가?"를 물어야 합니다. 그들은 더 나은 결정을 내리고 있습니까? 오류를 잡아내고 있습니까?

결론

논문은 결론적으로, 문제가 AI가 "가짜 인간"이라는 데 있는 것이 아니라고 말합니다. 문제는 우리가 지식의 외양과 지식의 과업 사이에 분열(스키졸로지아)을 만들어냈다는 데 있습니다.

AI는 마치 미식 요리처럼 보이고 맛도 완벽한 식사를 요리할 수 있지만, 정작 음식의 맛을 본 적도 없고, 농장을 본 적도 없으며, 재료가 신선한지조차 모르는 마스터 셰프와 같습니다. 만약 우리가 주방을 확인하지 않고 그저 음식을 먹으며 "맛있다!"라고만 한다면, 우리는 병이 날 수도 있습니다.

저자들은 로봇이 음식을 "맛보게" 만드는 일을 멈춰야 한다고 말합니다. 대신, 재료가 눈에 보이고, 조리 과정이 투명하며, 음식을 먹는 사람이 그것이 안전한지 확인할 줄 아는 주방을 만들어야 합니다. 우리는 AI가 써 내려가는 아름다운 문장들을 그것이 참임을 증명하는 복잡하고 실제적인 세상의 작업과 다시 연결해야 합니다.

요약하자면: 매끄러운 목소리를 믿지 마세요. 과정을 믿으세요. 논문은 우리가 시스템을 설계할 때 그 '분열'을 가시적으로 유지한다면(즉, 답이 어디에서 왔고 누구에게 책임이 있는지 항상 볼 수 있게 한다면), 우리는 이 강력한 기계들을 사용하면서도 이성을 잃지 않을 수 있다고 제안합니다.