핵심 아이디어: "근시안적인" 학생

세상에서 가장 큰 도서관에 있는 모든 책을 읽은 아주 똑똑한 학생을 상상해 보세요. 이 학생은 질문에 답하는 속도가 믿기지 않을 정도로 빠르고, 인간처럼 들리는 시, 코드, 에세이를 쓸 수 있습니다. 하지만 이 학생에게는 특정한 약점이 있습니다. 바로 "메타인지(metacognition)"가 없다는 점입니다.

인간의 관점에서 메타인지란 "자신의 사고 과정에 대해 생각하는 것"을 의미합니다. 즉, *"잠깐, 내가 이 내용을 어디서 들었지? 이 출처는 신뢰할 만한가? 내가 그저 남들이 하는 말을 그대로 반복하고 있는 건 아닌가?"*라고 스스로에게 묻는 내면의 목소리입니다.

이 논문의 저자들은 ChatGPT와 같은 거대 언설 모델(LLM)이 **"메타인지적 근시(Metacognitive Myopia)"**를 겪고 있다고 주장합니다. "근시(Myopia)"는 근시안적인 상태를 의미합니다. 이 모델들은 눈앞에 놓인 즉각적인 단어들에 너무 집중한 나머지, 자신이 사용하는 정보의 이력, 타당성, 그리고 맥락에 대해서는 "눈이 멀어" 있습니다. 이들은 정보가 사실인지, 반복된 것인지, 혹은 편향된 것인지 확인하지 않고, 읽는 모든 정보를 마치 사실인 것처럼 취급합니다.

논문은 이러한 모델들이 이러한 "내면의 비판자"가 없기 때문에 다섯 가지 구체적인 함정(증상)에 빠진다고 제안합니다.

---

다섯 가지 함정 (근시의 증상)

저자들은 이러한 "근시안적 태도"가 AI를 어떻게 실수하게 만드는지 다섯 가지 방식으로 설명합니다. 이것을 학생이 도서관의 책들에 속아 넘어가는 다섯 가지 다른 방식이라고 생각하면 됩니다.

1. "맹목적 믿음" (출처 타당성 무시)

비유: 어떤 학생이 가십 칼럼에서 들은 소문과 교과서에서 본 과학적 사실을 동시에 듣는다고 상상해 보세요. 이 학생은 출처를 확인할 방법이 없기 때문에, 가십을 과학적 사실과 똑같은 무게로 취급합니다.
논문의 내용: LLM은 신뢰할 수 있는 출처(예: 의학 저널)와 신뢰할 수 없는 출처(예: 가짜 뉴스나 혐오 표현)를 구분하지 못합니다. 만약 잘못된 생각이 학습 데이터에 충분히 자주 등장한다면, 모델은 그것을 사실인 것처럼 학습합니다. 그들은 "누가 말했는가?" 또는 "이 출처가 믿을만한가?"라고 묻지 않습니다. 그저 패턴을 흡수할 뿐입니다.

2. "고장 난 레코드" (반복에 대한 취약성)

비유: 마을 사람들이 모두 똑같은 거짓말을 반복하는 마을을 상상해 보세요. 만약 당신이 마을의 역사학자에게 질문한다면, 그는 거짓말이 사실이라고 말할 것입니다. 그가 그것을 믿어서가 아니라, 그 말을 수백만 번 들었기 때문입니다. "아침 신문을 충분히 많이 사다 보면, 결국 그 신문의 내용을 믿게 될 수도 있다"라는 말처럼 말이죠.
논문의 내용: LLM은 인터넷을 기반으로 학습하며, 인터넷에서는 동일한 기사, 블로그 포스트, 혹은 의견이 곳곳에 복사되어 붙여넣기 되는 경우가 많습니다. 모델은 어떤 아이디어가 빈번하게 반복되면, 그것이 중요하거나 사실이라고 생각합니다. 이는 (예를 들어 "여성은 감정적이다" 또는 "남성은 리더다"와 같은) 고정관념이 실제 진실보다 데이터에 더 자주 등장한다는 이유만으로 이를 증폭시킵니다.

3. "맥락의 함정" (기저율 무시)

비유: 기상 예보관이 당신의 질문에 답할 때, 현재 하늘 상태만 보고 일반적인 계절적 특성을 무시하는 상황을 상상해 보세요. 만약 당신이 "지금 비가 오나요?"라고 물었을 때 하늘이 흐리다면, 그는 비가 올 확률이 통계적으로 1%밖에 안 되더라도 "네"라고 대답할 것입니다.
논문의 내용: LLM은 사용자가 입력한 특정 단어(프롬프트)에 기반하여 질문에 답하는 데는 뛰어나지만, 종종 "큰 그림"인 통계(기저율)를 무시합니다. 예를 들어, "인기 있는 음악"을 추천해 달라고 하면, 그들은 '인기(popular)'라는 단어가 데이터상에서 '팝(pop)'과 통계적으로 연결되어 있다는 이유로 팝 스타들만 제안할 수 있습니다. 이는 록 음악 또한 매우 흔하다는 일반적인 규칙을 잊어버린 채, 특정 질문에만 지나치게 집중하기 때문입니다.

4. "인기 투표" (인기의 유혹)

비유: 투표의 승자가 가장 훌륭한 후보가 아니라, 캠페인 포스터를 가장 많이 붙인 후보에 의해 결정되는 투표 시스템을 상상해 보세요. 설령 더 나은 새로운 아이디어가 존재하더라도, 오래되고 인기 있는 아이디어가 도서관에 더 많은 "표"(데이터 포인트)를 가지고 있기 때문에 승리하게 됩니다.
논문의 내용: LLM은 "현상 유지(status quo)"를 선호하는 경향이 있습니다. 만약 어떤 과학 이론이 오래되었고 수천 권의 책에 쓰였다면, AI는 더 새롭고 더 나은 이론이 아직 많이 쓰이지 않았더라도 기존의 이론을 고수할 것입니다. 이들은 "빈도"를 "정확함"과 혼동합니다. 이는 새로운 아이디어가 돌파구를 찾는 것을 어렵게 만드는데, AI가 이미 인기 있는 것에 편향되어 있기 때문입니다.

5. "일률적 적용 오류" (수준 간 구별 결여)

비유: 모든 환자에게 공통적으로 효과가 있는 약을 처방하면서, 정작 특정 환자가 가진 고유한 알레르기는 무시하는 의사를 상상해 보세요. 혹은, 나라 전체의 지도를 보면서 그 나라의 모든 집이 똑같이 생겼다고 가정하는 것과 같습니다.
논문의 내용: LLM은 종종 서로 다른 수준의 데이터를 혼동합니다. 예를 들어, 특정 집단(예: 한 국가)에 적용되는 추세를 개별 개인에게 적용하거나, 그 반대로 행동할 수 있습니다. 이는 '심슨의 역설(Simpson's Paradox)'로 알려져 있습니다. 모델은 그럴듯하게 들리지만 실제로는 사용자의 구체적인 상황에는 맞지 않는 일반적이고 추상적인 답변을 내놓을 수 있습니다.

---

해결책: "내면의 비판자" 설치하기

이 논문은 단순히 더 많은 데이터나 더 나은 학습을 제공한다고 해서 이 문제를 해결할 수 없다고 주장합니다. 문제는 구조적인 것입니다. AI에게는 자신의 사고를 **모니터링(점검)**하고 **제어(교정)**할 수 있는 메커니즘이 없습니다.

저자들은 **"씽크-콰이어트 프로토콜(Think-Quiet Protocols)"**이라 부르는 기술적 해결책을 제안합니다.

비유: 초안을 작성한 뒤, 잠시 떼어놓고 비판적으로 읽으며 출처를 확인하고 편집한 후에야 비로소 남들에게 보여주는 작가를 상상해 보세요. "Think-Quiet" 프로토콜은 AI에게도 사용자에게 말을 하기 전에 이와 같은 과정을 수행할 수 있는, 보이지 않는 비밀스러운 작업 공간을 제공하는 것과 같습니다.

• 작동 방식: AI는 최종 답변을 생성하기 전, 숨겨진 병렬 프로세스를 실행합니다. 이 "조용한(quiet)" 모드에서 AI는 스스로에게 다음과 같이 질문합니다:
  • "내가 방금 수천 번 들었던 내용을 그대로 반복하고 있지는 않은가?"
  • "이 출처는 신뢰할 수 있는가?"
  • "내가 기저율을 무시하고 있지는 않은가?"
  • "이 답변이 이 특정 개인에게 너무 일반적인 답변은 아닌가?"
• 결과: 만약 AI가 이 숨겨진 단계에서 "근시안적" 위험을 감지하면, 사실을 자신 있게 지어내는 대신 답변을 조정하거나, 경고를 추가하거나, 혹은 "모릅니다"라고 말할 수 있습니다.

요약

이 논문은 LLM이 강력한 도구이지만, 현재로서는 사용하는 정보의 질에 대해 "눈이 멀어 있다"고 결론짓습니다. 이들은 브레이크나 백미러가 없는 초고속 자동차와 같습니다. 이들을 안전하고 신뢰할 수 있게 만들기 위해서는, 주의 깊은 인간 사색가처럼 자신의 작업물을 스스로 점검할 수 있도록 하는 "제동 장치(모니터링 및 제어)"를 구축해야 합니다.

저자들은 이것이 AI를 "의식을 가진 인간"처럼 만들려는 것이 아니라, 기계가 자신의 데이터의 타당성을 스스로 점검하도록 강제하는 기술적 계층을 추가하는 것임을 강조합니다.