From Architecture to Output: Structural Origins of Hallucination in Large Language Models and the Amplifying Role of Data

다음은 논문을 쉬운 언어와 일상적인 비유를 사용하여 설명한 내용입니다.

핵심 아이디어: 데이터의 문제가 아니라 기계의 문제입니다

당신에게 이야기를 쓰는 로봇이 있다고 상상해 보세요. 때때로 이 로봇은 완벽하게 들리고, 흐름이 아름다우며, 매우 자신감 넘치는 이야기를 쓰지만, 사실은 완전히 지어낸 이야기입니다. 우리는 이것을 "환각(hallucination)"이라고 부릅니다.

대부분의 사람들은 로봇이 나쁜 책이나 나쁜 인터넷 데이터를 학습했기 때문에 거짓말을 한다고 생각합니다. 하지만 이 논문은 그것이 틀렸다고 주장합니다. 이 논문은 설령 당신이 세상에서 가장 완벽한 도서관을 로봇에게 준다 하더라도, 로봇은 여전히 거짓말을 할 것이라고 주장합니다.

왜 그럴까요? 로봇의 두뇌 구조(아키텍처)가 거짓말을 피할 수 없게끔 설계되었기 때문입니다. 저자들은 이러한 AI 모델들이 어떻게 결합하여 자신감 넘치는 거짓말을 만들어내는지 보여주는 세 가지 구체적인 "설계 결함"을 식별했습니다.

---

세 가지 "설계 결함" (복합 실패 시스템)

논문은 로봇이 환각을 일으키는 세 가지 특정한 습관을 가지고 있다고 말합니다. 이것들을 마치 함께 돌아가며 가짜 이야기를 만들어내는 기계의 세 가지 톱니바퀴라고 생각해보세요.

1. "패턴 매칭" (자기 주의 집중, Self-Attention)

결함: 로봇은 실제로 의미를 이해하는 것이 아니라, 오직 빈도만을 이해합니다.
비유: 수백만 권의 책을 읽었지만 한 번도 집 밖을 나가본 적 없는 사람을 상상해 보세요. 그 사람은 "실렛(Sylhet)"과 "차(Tea)"가 자신이 읽은 거의 모든 문장에서 나란히 등장한다는 것을 알고 있습니다.

• 작동 방식: 만약 당신이 "실렛은 무엇으로 유명한가요?"라고 묻는다면, 로봇은 강력한 패턴인 실렛 + 차를 포착합니다. 그래서 로봇은 자신 있게 "실렛은 차로 유명합니다"라고 말합니다.
• 환각: 하지만 만약 당신이 "방글라데시의 수도는 어디인가요?"라고 묻는다면, 로봇은 이 새로운 맥락에 맞지 않더라도 데이터상에서 자주 함께 등장했던 "실렛" 패턴을 여전히 붙잡을 수 있습니다.
• 논문의 주장: 로봇은 통계적 근접성(단어들이 함께 어울리는 것)과 의미론적 진실(실제로 무엇이 사실인지)을 혼동합니다. 로봇은 사실을 확인하는 것이 아니라, 단어들이 보통 같이 다니는지를 확인할 뿐입니다.

2. "인기 투표" (최대 우도 추정, Maximum Likelihood Estimation)

결함: 로봇은 진실된 다음 단어가 아니라, 가장 확률이 높은 다음 단어를 예측하도록 훈련되었습니다.
비유: 진행자가 질문을 던지면, 정답이 무엇인지와 상관없이 청중의 머릿속에 가장 많이 떠오르는 답을 맞힌 사람에게 상을 주는 게임 쇼를 상상해 보세요.

• 작동 방식: 만약 인터넷의 90%가 "번개는 같은 곳을 두 번 치지 않는다"(미신)라고 말하고, 10%만이 그렇다고 말한다면, 로봇은 그 미신이 더 대중적이기 때문에 그것을 "정답"으로 학습합니다.
• 환각: 로봇은 진실을 말하려고 노력하는 것이 아니라, 유창함을 목표로 합니다. 로봇은 비록 그 텍스트가 거짓말로 가득 차 있더라도, 평균적인 인간의 텍스트처럼 들리도록 하는 것에 보상을 받습니다. 논문은 모델이 커질수록 데이터에 있는 거짓말을 더 잘 암기하기 때문에 오히려 진실을 말하는 능력은 더 떨어진다고 지적합니다.

3. "일방통행 길" (자기 회귀 디코딩, Autoregressive Decoding)

결함: 일단 로봇이 단어를 쓰기 시작하면, 결코 되돌릴 수 없습니다.
비유: 움직이면서 스스로 철로를 놓는 기차를 상상해 보세요. 만약 기관사가 작은 실수를 해서 철로를 약간 왼쪽으로 잘못 놓았다면, 기차는 계속 왼쪽으로 가야만 합니다. 처음의 실수를 바로잡기 위해 뒤로 돌아갈 수 없습니다.

• 작동 방식: 로봇은 한 번에 한 단어씩 씁니다. 만약 첫 번째 단어에서 실수(결함 #1 또는 #2 때문)를 했다면, 그 잘못된 단어는 다음 단어를 위한 "진실"이 되어버립니다.
• 환각: 로봇은 자신이 실수를 했다는 사실을 깨닫지 못합니다. 그저 그 잘못된 시작점을 바탕으로 나머지 문장을 구축해 나갑니다. 그 결과, 이야기는 완벽하게 논리적이고 매끄럽게 흐르지만, 실제로는 거짓이라는 토대 위에 세워진 것이 됩니다. 이를 "연쇄 실패(cascade failure)"라고 부릅니다.

---

나쁜 데이터의 역할 (증폭기)

이 논문은 나쁜 데이터(희귀한 롱테일 사실이나 편향된 인터넷 콘텐츠 등)가 상황을 악화시킨다는 점은 인정합니다. 하지만 논문은 나쁜 데이터가 원인이 아니라 단지 증폭기일 뿐이라고 주장합니다.

• 비유: 세 가지 설계 결함을 마른 숲이라고 생각해 보세요. 나쁜 데이터는 단지 불꽃일 뿐입니다.
  • 만약 숲이 젖어 있다면(완벽한 데이터), 불꽃이 튀어도 불이 나지 않을 수 있습니다.
  • 하지만 만약 숲이 말라 있다면(아키텍처의 결함), 아주 작은 불꽃(작은 데이터 오류)만으로도 거대한 화재(환각)를 일으킬 수 있습니다.
• 논문의 요점: 불꽃을 제거한다고 해서 불을 끌 수는 없습니다. 숲의 건조함(아키텍처)을 해결해야 합니다. 데이터가 환각을 만드는 것이 아니라, 기계의 설계가 환각을 만들기 위해 데이터를 이용하는 것입니다.

기존 체크리스트가 실패하는 이유

이 논문은 현재 환각을 연구하는 방식들을 비판합니다. 연구자들은 보통 거짓말이 어떤 모습인지(예: "입력값과 모순됨" 또는 "사실을 지어냄")에 따라 분류합니다.

논문의 비판: 이는 의사가 환자가 열이 나는 이유가 독감 때문인지, 감염 때문인지, 아니면 온도계가 고장 난 것인지 확인하지 않고 단순히 "환자가 열이 납니다"라고 말하는 것과 같습니다.

• 해결책: 저자들은 환각을 분류하는 새로운 방법을 제안합니다. 단순히 출력물을 보는 대신, 메커니즘을 보아야 합니다.
  • 로봇이 단어 패턴을 혼동해서 거짓말을 했는가? (자기 주의 집중)
  • 로봇이 대중적인 미신을 따랐기 때문에 거짓말을 했는가? (MLE 목적 함수)
  • 로봇이 초반의 작은 실수를 바로잡지 못해서 거짓말을 했는가? (자기 회귀 연쇄 실패)

요약

이 논문은 거대 언어 모델이 환각을 일으키는 이유가 모델이 "멍청하거나" "데이터가 나빠서"가 아니라, 세 가지 구체적인 아키텍처 결정 때문이라고 주장합니다.

1. 모델은 진실이 아니라 패턴을 배웁니다.
2. 모델은 정확성이 아니라 인기에 보상을 받습니다.
3. 모델은 자신의 실수를 바로잡을 수 없는 일방통행 경로에 갇혀 있습니다.

이 세 가지 구조적 톱니바퀴를 고치지 않는 한, 로봇은 계속해서 유창하고 자신감 넘치지만 사실과는 다른 이야기를 써 내려갈 것입니다.