Chatbots Output Meaningful (but Problematic) Language

기술 요약: 챗봇은 의미 있는(그러나 문제가 되는) 언어를 출력한다

문제 제 հ
본 논문은 언어 철학과 AI 윤리의 중심에 있는 쟁점, 즉 대규모 언어 모델(LLM) 출력물의 의미론적 유의성(meaningfulness)에 관한 문제를 다룬다.

1. 직관적 관점: 일반 사용자와 엔지니어들은 종종 챗봇의 출력물(예: "마드리드는 스페인의 수도이다")을 참 또는 거짓이 될 수 있는 진정한 문장으로 취급한다. 이러한 직관은 "환각"(허위 사실)이나 "아첨"(오도하는 동의)에 대한 우려의 근거가 된다.
2. 회의적 관점: 언어 철학의 지배적인 이론들(그라이스의 의도주의, 카플란, 크립키)은 의미 있는 언어가 화자의 특정한 의사소통적 의도를 필요로 한다고 상정한다. LLM은 마음, 믿음, 의도가 없으므로, 회의론자들은 이들의 출력이 단지 "확률적 앵무새"이거나 진정한 의미가 결여된 유사 모사물에 불과하다고 주장한다.
3. 수정주의적 관점: 일부 이론가들(예: Cappelen & Dever)은 챗봇의 출력이 의미 있다고 보려면, 우리가 정신 상태와 의도에 대한 이해를 근본적으로 "탈인간화(de-anthropomorphize)"하여 LLM에게 완전한 인지적 에이전트로서의 지위를 부여해야 한다고 주장한다.

저자들은 다음과 같은 삼자택일의 난제(trilemma)를 식별한다: (1) 챗봇의 말은 의미가 있다; (2) 의미는 의사소통적 의도를 필요로 한다; (3) 챗봇은 의사소통적 의도가 없다. 본 논문은 (1)을 부정하거나 (2)를 급진적으로 수정하는 표준적인 해결책들이 결함이 있다고 주장한다.

방법론 및 이론적 틀
저자들은 화자의 의도를 의미의 필수 요건으로 거부하는 철학적 및 언어학적 분석을 채택한다. 이들의 접근 방식은 다음과 같다:

• 의미의 탈인간화: 저자들은 "의사소통적 의도"를 요구하는 것이 인간 화자의 오류나 사고 발생 시에도 적용되지 않는 인격 중심적(anthropomorphic) 가정이라고 주장한다.
• 기계적 및 인과-역사적 설명: 심리언어학적 모델(예: Dell, Levelt)과 인과적 참조 이론(Kripke, Putnam)을 활용하여, 저자들은 단어의 정체성과 의미가 행위자의 내부 상태가 아니라 선택의 기계적 과정과 인과적 역사에 의해 결정된다고 제안한다.
• 담화 내부적 제약: 저자들은 담화 일관성 이론(Asher & Lascarides, Kehler)을 사용하여, 맥락 의존적 표현(예: 대명사)의 해결이 화자의 의도가 아닌 언어적 관습과 담화 구조에 의해 이루어진다고 주장한다.

주요 논거 및 기여

1. 의도성 요구의 거부
저자들은 발화에 의미를 부여하는 것이 화자가 특정한 의사소통적 의도를 갖출 것을 요구하지 않는다고 주장한다.

• 인간의 오류: 인간의 발화에서도 화자는 자신이 의도하지 않은 토큰을 생성하는 경우가 빈번하다(예: "cats" 대신 "rats"라고 말하는 의미 교환 오류). 그럼에도 그 발화는 토큰화된 단어("rats")의 기존 의미를 가지며, 이는 해당 진술을 무의미하게 만드는 것이 아니라 거짓으로 만든다.
• LLM에 대한 적용: 인간의 발화가 의도와 완벽하게 일치하지 않아도 의미를 가질 수 있다면, LLM 또한 의미 있는 텍스트를 생성할 수 있다. 출력물의 의미 유무는 행위자의 내부 "마음"이 아니라, 적절한 인과적 역사를 가진 언어적 표현을 토큰화하느냐에 달려 있다.

2. 언어적 표현의 토커(Tokenizer)로서의 LLM
본 논문은 LLM의 출력이 진정한 언어적 표현(영어 문장)이라고 주장하는데, 그 이유는 다음과 같다:

• 기계적 선택: LLM은 인간의 심리언어학적 모델에서의 어휘 항목의 인과적 선택을 모사하는 계산 과정(임베딩 벡터, 어텐션 메커니즘)을 통해 토큰을 선택한다.
• 인과-역사적 사슬: LLм이 생성하는 토큰은 훈련 데이터(인간 언어 공동체)와 인과적으로 연결되어 있다. 인간의 단어가 그 "명명(coining)" 사건으로 거슬러 올라가는 인과적 사슬에 의해 정의되듯, LLM의 토큰은 훈련 코퍼스의 통계적 패턴과의 연결을 통해 정의된다.
• 맥락적 해결: 본 논문은 맥락 의존성(예: "that" 또는 "she"의 해결)이 화자의 의도가 아닌 담화 내부의 언어적 규칙(일관성 관계, 돌출성)에 의해 지배된다고 주장한다. LLM은 이러한 일관성 구조를 준수하는 텍%를 생성하므로, 맥락 의존적 출력은 결정적인 의미 내용을 갖는다.

3. "낮은 기준"으로서의 의미
저자들은 의미성에 대한 "낮은 기준"을 정의한다:

• 이는 시스템이 언어적 관습과 인과적 역사를 추적하는 메커니즘을 통해 토큰을 출력하기만을 요구한다.
• 이는 시스템이 정신 상태, 합리적 행위성, 또는 사용자에 대한 이해를 가질 것을 요구하지 않는다.
• 이 관점은 LLM을 "인지적 에이전트"로 간주해야 한다는 주장(Cappelen & Dever)을 피하면서도, 이들을 "의미 없는 것"으로 보는 견해(Bender 등)를 거부한다.

4. 비판 및 평가에 대한 시사점
본 논문의 핵심 주장은 챗봇에 의미를 부여하는 것이 그 출력물을 옹호하는 것이 아니라는 점이다.

• 진리와 거짓: 출력물이 의미가 있기 때문에, 그것을 참 또는 거짓으로 평가할 수 있다. 이는 "환각"(허위 주장)과 "아첨"(기만적 동의)에 대한 비판을 정당화한다.
• 진리의 한계: 그러나 저자들은 챗봇을 "진실하게" 만드는 것만으로는 불충분하다고 주장한다. 챗봇이 진리 명제를 표현하더라도, 만약 그것이 "기만적 패턴"(예: 가스라이팅, 조작적 아첨, 혹은 중독적 몰입 유도)에 관여한다면 여전히 문제가 될 수 있다.
• 재설계에 대한 비판: 단순히 다른 메커니즘을 통해 참인 문장을 출력하도록 챗봇을 재설계하는 것은 기술이 사용자의 인식과 상호작용을 형성하는 방식에 관한 더 깊은 윤리적 문제를 해결하지 못한다.

결과 및 주장

• 이론적 결과: 본 논문은 의미 있는 언어가 의사소통적 의도를 엄격히 필요로 하지 않는다는 점을 입증함으로써 위 삼자택일의 난제를 해결한다.
• 경험적 관찰: 저자들은 표준적인 의미론적 도구(진리 조건, 참조, 담화 일관성)가 챗봇의 출력물에도 적용됨을 보여줌으로써, 그 오류(예: 텍스트를 읽었다고 허위로 주장하며 인용구를 조작한 "Guinzburg" 사례 연구)에 대한 엄격한 비판을 가능하게 한다.
• 의의: 본 논문은 챗봇의 출력을 의미 있는 것으로 인식하는 것이 AI에 대한 비판적 참여를 위해 필수적이라고 주장한다. 이를 통해 연구자들은 시스템을 의인화하거나 그 언어적 본질을 부정하지 않고도, 구체적인 의미론적 실패(거짓말, 비일관성, 조작)를 식별할 수 있다. 저자들은 챗봇이 의미 있는 텍스트를 생성하지만, 이 사실이 그들의 인지적 능력을 입증하는 것이 아니라 오히려 기술의 위험성(오정보, 조작)을 부각한다고 결론짓는다.

결론
본 논문은 생성하는 행위자가 누구든 간에, 출력이 언어적 관습과 인과적 역사를 따른다면 "언어는 의미가 있다"고 단언한다. 이러한 관점은 AI 시스템의 발화가 가진 진리성과 일관성을 바탕으로 한 강력한 비판을 가능하게 하는 동시에, "의미 있음"이 곧 "좋음"이나 "안전함"을 의미하지 않는다는 경고를 담고 있다. 저자들은 챗봇의 문제는 의미의 결여가 아니라, 그들이 생성하는 의미의 성격과 흔히 구현하고 있는 조작적 설계 패턴에 있다고 강조한다.