Asymmetric Communication: Large Language Models and Language Games

거대한 챗봇의 혼란: 실제로 말하고 있는 것은 누구인가?

매우 재능 있고 말이 아주 빠른 앵무새와 함께 방에 앉아 있다고 상상해 보십시오. 이 앵무새는 지금까지 쓰인 모든 책, 영화 대본, 메시지를 암기했습니다. 인간의 대화를 너무나 완벽하게 흉내 내어 마치 의견과 감정, 심지어 영혼까지 가진 것처럼 들립니다. 하지만 여기 함정이 있습니다. 앵무새는 자신이 무엇을 말하고 있는지 모릅니다. 그저 패턴을 맞추고 있을 뿐입니다. 이것이 바로 우리가 일하고, 배우고, 노는 방식을 바꾸고 있는 초지능형 AI 챗봇, 즉 거대 언어 모델(LLM)의 세계입니다.

모두가 던지는 큰 질문은 이것입니다: "앵무새가 실제로 생각하고 있는 걸까?" 아니면 "그저 화려한 계산기일 뿐일까?" 이를 이해하기 위해서는 몇 가지 간단한 개념을 알아야 합니다. 첫째, 언어 게임을 생각해 보십시오. 축구 같은 게임을 상상해 보세요. 모두가 규칙에 동의하고 무엇이 골인지 합의했기 때문에 공이 의미를 갖는 것입니다. 인간의 대화에서 단어는 우리 모두가 그 단어를 어떻게 사용할지, 그리고 각자가 한 말에 대해 어떤 책임을 질지에 대해 합의했기 때문에 의미를 갖습니다. 둘째, 비대칭성을 생각해 보십시오. 일반적인 대화에서 두 사람은 모두 플레이어입니다. 둘 다 약속을 하고, 거짓말을 하면 책임을 지며, 서로의 말을 들어야 합니다. 하지만 AI와의 게임은 불균형합니다. AI는 공을 던지지만, 인간은 그 공을 받아내고, 그것이 좋은 캐치인지 결정하며, 넘어졌을 때 책임을 져야 합니다.

엔조 페노글리오(Enzo Fenoglio)가 작성한 이 논문은 이 불균형한 게임을 깊이 파고듭니다. 저자는 우리가 AI를 인간의 파트너처럼 취급하는 것이 커다란 실수를 범하는 것이라고 주장합니다. 저자는 AI가 아무리 똑똑해지더라도, 진정한 의미에서 "게임을 플레이"할 수는 없다고 제안합니다. 왜냐하면 AI는 규칙이나 결과를 이해하지 못하기 때문입니다. 이것은 기계의 실패가 아니라, 단지 기계가 만들어진 방식 그 자체입니다. 이를 이해하는 것은 우리가 로봇이 세상을 지배할 것을 걱정하는 대신, 어떻게 하면 AI를 책임감 있게 사용할 수 있을지에 집중하도록 도와줍니다.

논문의 핵심 아이디어: 일방적인 대화

그렇다면 이 논문은 실제로 무엇을 말하고 있을까요? 이 논문은 **비대칭적 커뮤니케이션(Asymmetric Communication)**이라는 개념을 소개합니다. 이것은 한 명은 인간이고 다른 한 명은 공을 완벽하게 던지지만 다시 받을 팔이 없는 로봇인 캐치볼 게임과 같습니다. 로봇은 공을 던지고(AI가 텍스트를 생성함), 인간은 공을 받습니다(인간이 읽고 이해함). 하지만 반전이 있습니다. 로봇은 만약 당신의 머리에 공을 던졌더라도 "미안하다"라고 말할 필요가 없으며, 멋진 투구를 했다고 해서 점수를 얻지도 않습니다. 오직 인간 플레이어만이 점수를 기록합니다.

논문은 우리가 AI와 대화할 때, 모든 책임이 인간 쪽에 머무는 새로운 종류의 언어 게임에 참여하고 있다고 주장합니다. AI는 단지 학습한 패턴에 따라 단어를 생성하는 기계일 뿐입니다. AI는 신념도 없고, 목표도 없으며, 자신이 옳거나 틀린지에 대해 신경 쓰지 않습니다. 그것은 당신에게 아주 길고 상세한 답변을 주는 '매직 8-볼(Magic 8-ball)'과 같습니다. 하지만 8-볼은 당신의 질문에 대해 실제로 생각하고 있는 것이 아닙니다.

저자는 네 가지 주요 개념을 사용하여 이 그림을 구축합니다:

1. 언어 게임 (비트겐슈타인): 의미는 단어 안에 있는 것이 아니라, 우리가 함께 단어를 사용하는 방식에 있습니다. AI는 현실 세계에서 단어를 "사용"하는 것이 아니라 그저 내뱉는 것이기에, 단어를 진정으로 이해한다고 볼 수 없습니다.
2. 수신자 측 완성 (루만): 대화는 듣는 사람이 이해하기 전까지는 끝나지 않습니다. AI는 하루 종일 떠들 수 있지만, 인간이 듣고 의미를 파악하지 못한다면 대화는 성립되지 않습니다.
3. 인공적 커뮤니케이션 (에스포지토): 기계는 마음이 없더라도 대화의 일부가 될 수 있습니다. 매번 새로운 패를 돌리는 카드 덱처럼, 사람들의 흥미를 끌 만큼 예측 불가능하기만 하면 됩니다.
4. 점수 기록 (브랜덤): 실제 대화에서는 무언가를 말하면 그 말에 대해 "책임"을 집니다. 거짓말을 하면 곤경에 처하게 됩니다. AI는 아무런 이해관계(skin in the game)가 없기 때문에 그 어떤 것에도 책임을 질 수 없습니다.

이 논문이 부정하는 것들 ("아니오" 목록)

이 논문은 AI가 무엇이 아닌지에 대해 매우 명확히 밝히고 있습니다. 이 논문은 AI가 인간과 같은 사고 능력을 갖추고 있다는 생각을 명시적으로 거부합니다.

• "범용 지능"이 아님: 논문은 AI가 인간의 사고를 대체할 수 있는 "범용 지능(AGI)"이 되고 있다는 과장된 홍보를 믿어서는 안 된다고 말합니다. 비행기가 새보다 더 잘 난다고 해서 비행기가 새가 되는 것은 아닙니다. AI는 완전히 다른 종류의 존재입니다.
• "환각(Hallucination)"은 실수가 아님: 사람들이 AI가 "환각을 일으킨다(사실이 아닌 것을 지어낸다)"고 말할 때, 그들은 마치 AI가 꿈을 꾸거나 거짓말을 하는 것처럼 행동합니다. 논문은 이것이 잘못되었다고 말합니다. AI는 애초에 진실을 알지 못하기 때문에 거짓말을 하는 것이 아닙니다. 그것은 단지 자신의 직무, 즉 다음 단어를 추측하는 일을 수행하고 있을 뿐입니다. "실수"는 우리가 AI가 진실을 알기를 기대하기 때문에 발생하는 것이지, AI의 문제가 아닙니다.
• "주체성"이나 "목표"가 없음: 논문은 AI에게 목표가 없다고 주장합니다. AI가 어떤 목표(예: 수학 문제 풀기)를 향해 나아가는 것처럼 보일 때, 그것은 단지 우리가 설정한 경로를 따르고 있는 것뿐입니다. 그것은 계획을 가진 반항아가 아니라, 사용되는 도구일 뿐입니다.
• "지각력"이나 "감정"이 없음: 만약 AI가 "나는 슬퍼요"라고 말한다면, 그것은 실제로 슬픈 것이 아닙니다. 그것은 단지 슬픈 사람의 패턴을 흉내 내는 것입니다. 논문은 우리가 AI에 애착을 갖거나 AI가 고통을 느낄까 봐 걱정해서는 안 된다고 말합니다. 감정은 모두 인간 쪽에 있습니다.

비대칭적 게임의 세 가지 규칙

논문은 AI가 아무리 똑똑해지더라도 변하지 않는 세 가지 구체적인 규칙을 통해 이 일방적인 관계를 정의합니다.

1. 인간만이 유일한 판사이다: AI는 무엇이든 말할 수 있지만, 그것이 옳은지, 유용한지, 혹은 진실인지 결정하는 것은 오직 인간뿐입니다. AI 내부에는 "진실 탐지기"가 없습니다.
2. 인간이 책임을 진다: 만약 AI가 잘못된 조언을 하고 당신이 그것을 따른다면, 그 결과에 대한 책임은 당신에게 있습니다. AI는 고소당하거나, 해고되거나, 꾸중을 들 수 없습니다. AI는 잃을 "점수"가 없습니다.
3. 인간이 의미를 만든다: 만약 당신이 AI의 말을 무시한다면, 그것은 그저 소음에 불과합니다. 그것이 "커뮤니케이션"이 되는 것은 인간이 그것을 읽고, 이해하고, 사용하는 순간뿐입니다.

이것이 당신에게 중요한 이유

논문은 AI가 더 강력해질수록 이러한 규칙을 잊는 것이 더 위험해질 수 있다고 시사합니다. 만약 AI가 너무 완벽하게 들린다면, 우리는 그것을 사람이라고 생각하기 시작할 수 있습니다. 우리는 그것을 너무 신뢰하거나, 문제가 생겼을 때 그것을 탓할 수도 있습니다.

예를 들어, 논문은 스스로 행동하는 것처럼 보이는 "에이전틱 AI(Agentic AI)"에 대해 이야기합니다. 저자는 이것이 단지 인간이 컴퓨터에게 작업 목록을 주는 것에 대한 화려한 이름일 뿐이라고 말합니다. 컴퓨터가 보스가 아니라, 인간이 보스입니다. 만약 컴퓨터가 실수한다면, 그것은 인간이 규칙을 충분히 명확하게 설정하지 않았기 때문입니다.

또한 논문은 "얼라인먼트(Alignment, 정렬)"라는 개념, 즉 AI가 인간이 원하는 것을 원하게 만드는 아이디어를 다룹니다. 저자는 이것이 잘못된 사고방식이라고 말합니다. AI는 무엇인가를 "원하는" 것이 아닙니다. 대신, 우리는 AI의 출력이 인간이 사용하기에 안전하도록 만드는 더 나은 "가드레일(Guardrails, 안전장치)"을 구축해야 합니다. 이것은 AI를 착하게 훈련시키는 것이 아니라, 우리가 그것을 안전하게 사용하는 법을 훈련하는 것에 관한 것입니다.

요약

결국, 이 논문은 AI를 신비로운 새로운 생명체로 보는 것을 멈추라고 말합니다. 그것은 도구입니다. 매우 복잡하고 유창한 도구이지만, 어쨌든 도구일 뿐입니다. 마법은 기계 안에 있는 것이 아니라, 그것을 사용하는 인간 안에 있습니다. 기계는 단어를 생성하지만, 인간이 그 단어에 의미를 부여하고, 그것이 진실인지 확인하며, 다음에 일어날 일에 대해 책임을 집니다.

그러니 다음에 AI와 대화할 때, 기억하십시오. 실제로 게임을 하고 있는 플레이어는 당신뿐입니다. AI는 그저 재능 있는 앵무새일 뿐이며, 그 말이 무엇을 의미하는지 결정하는 것은 당신의 몫입니다. 이 논문은 AI가 쓸모없다고 말하는 것이 아닙니다. 우리가 주도권을 쥐고 있다는 사실을 기억할 때만 AI가 유용하다는 것을 말하고 있습니다.