The Algorithmic Unconscious: Structural Mechanisms and Implicit Biases in Large Language Models

논문 요약: 알고리즘적 무의식과 LLM 의 구조적 편향

저자: Philippe Boisnard (파리 8 대학, Paragraphe-CITU)
주제: 대규모 언어 모델 (LLM) 내부의 구조적 메커니즘이 어떻게 인간의 의도나 데이터 편향을 넘어선 '알고리즘적 무의식'을 생성하며, 이것이 아랍어 및 소수 언어 사용자에게 어떤 불평등을 초래하는지 분석.

1. 문제 제기 (Problem Statement)

기존의 AI 편향 논의는 주로 **학습 데이터의 구성 (Dataset Composition)**이나 인간의 의도적 편향에 초점을 맞추는 경향이 있습니다. 그러나 저자는 LLM 이 생성하는 편향이 단순히 데이터의 문제나 개발자의 의도가 아니라, 모델의 **기술적 메커니즘 자체 (토큰화, 어텐션, 통계적 최적화, 정렬 절차)**에서 구조적으로 발생한다고 주장합니다.

• 핵심 문제: LLM 은 사용자의 반성적 인식이나 모델 자체의 성찰 없이 작동하는 '알고리즘적 무의식 (Algorithmic Unconscious)'을 지니고 있습니다. 이는 모델이 자신의 작동 조건을 질문할 수 없으며, 기술적 레이어에 내재된 편향이 출력 결과에 체계적으로 영향을 미친다는 것을 의미합니다.
• 구체적 사례: 아랍어 (표준 아랍어 및 마그레브 방언인 다리지아) 와 같은 소수 언어가 영어에 비해 비효율적으로 처리되어 비용 증가, 문맥 공간 제약, 그리고 문화적 위계 재생산의 문제를 겪고 있습니다.

2. 방법론 (Methodology)

저자는 다음과 같은 다각적 접근을 통해 알고리즘적 무의식을 분석합니다.

1. 비교 토큰화 분석 (Comparative Tokenization Analysis):
   • 병렬 문장 코퍼스를 사용하여 OpenAI (GPT-4), Anthropic, Mistral (SentencePiece) 등 다양한 인프라에서의 토큰화 전략을 비교했습니다.
   • 언어별 토큰 수 (Token Count) 와 '비옥도 (Fertility, 단어당 토큰 수)'를 정량화하여 구조적 편향을 측정했습니다.
2. 구조적 메커니즘 분석:
   • 토큰화 및 어텐션: 토큰의 분할 방식과 어텐션 메커니즘이 어떻게 언어 간 위계를 형성하는지 분석.
   • 인과적 편향 (Causal Bias): 통계적 상관관계를 인과관계로 오인하는 LLM 의 학습 한계와 그로 인한 편향 재생산.
   • 차원 붕괴 (Dimensional Collapse): 소수 언어의 특징이 주류 언어의 특징으로 흡수되거나 소멸되는 현상 분석.
   • 안전 정렬 (Safety Alignment): 콘텐츠 필터링 및 RLHF(인간 피드백을 통한 강화학습) 가 어떻게 문화적 편향을 강화하는지 검토.
3. 기술적 임상 (Technical Clinic) 제안:
   • 모델의 잠재 공간 (Latent Space) 토폴로지, 토큰화 효율성, 정렬 시스템의 편향을 진단하고 수정하기 위한 프레임워크를 제시.

3. 주요 기여 및 발견 (Key Contributions & Results)

논문은 알고리즘적 무의식이 작동하는 네 가지 핵심 메커니즘을 규명했습니다.

가. 토큰화 편향과 어텐션 위계 (Tokenization Bias & Attentional Hierarchies)

• 결과: 아랍어는 영어에 비해 **1.6 배 (OpenAI) 에서 4 배 (Mistral/SentencePiece)**까지 더 많은 토큰으로 분할됩니다.
  • 예: GPT-4.1 에서 영어 문장은 평균 7.1 토큰, 표준 아랍어는 11.5 토큰, 다리지아 (아랍어 문자) 는 11.3 토큰, 다리지아 (로마자/Arabizi) 는 13.2 토큰이 소요됨.
  • Mistral 의 경우 영어 대비 아랍어가 3.94 배, 다리지아가 3.46 배 더 많은 토큰을 소모함.
• 영향: 이는 단순한 기술적 차이가 아니라 인프라적 편향입니다. 토큰 수 증가는 추론 비용 (Inference Cost) 을 직접적으로 증가시키고, 컨텍스트 윈도우를 빠르게 소모하여 소수 언어 사용자의 접근성을 제한합니다. 또한, 어텐션 메커니즘이 빈번한 영어 토큰에 집중하게 만들어 소수 언어의 의미 표현을 불안정하게 만듭니다.

나. 인과적 편향 (Causal Bias)

• LLM 은 인과관계를 학습하는 것이 아니라 **조건부 확률 (Conditional Distributions)**만 학습합니다.
• 소수 언어는 충분한 문맥적 다양성이 부족하여, 주류 언어 (서구/영어) 의 인과적 프레임워크를 통해 해석됩니다.
• 결과: 아랍어 및 이슬람 관련 개념이 서구 중심의 데이터에서 '폭력'이나 '테러'와 같은 부정적 벡터 공간에 위치하는 등, 통계적 상관관계가 문화적 고정관념으로 왜곡되어 재생산됩니다.

다. 소수 특징의 말소 (Erasure of Minoritized Features - Dimensional Collapse)

• 차원 붕괴: LLM 은 손실 함수 (Loss Function) 를 최소화하기 위해 빈번한 토큰 (주류 언어) 에 최적화됩니다. 이 과정에서 드문 토큰 (소수 언어/방언) 은 잠재 공간 (Latent Space) 에서 주류 언어의 특징으로 흡수되거나 '잡음 (Noise)'으로 처리됩니다.
• 결과: 마그레브 방언 (다리지아) 은 표준 아랍어로 강제 정규화되거나, 서구적/중동적 스키마로 해석됩니다. 이는 언어적 정체성과 문화적 뉘앙스를 지우는 **인지적 폭력 (Epistemic Violence)**으로 작용하며, '계산적 식민지화 (Computational Colonialism)'를 초래합니다.

라. 안전 정렬에 의한 숨겨진 편향 (Hidden Biases in Safety Alignment)

• 안전성 (Safety) 을 위한 필터링과 RLHF 는 서구 (특히 북미) 의 규범을 보편적 기준으로 삼습니다.
• 결과: 아랍어 방언은 학습 데이터 부족으로 성능이 낮을 뿐만 아니라, 문화적 맥락을 이해하지 못하는 필터링 시스템에 의해 **과도하게 검열 (Over-filtering)**됩니다.
  • 예: 방언의 비공식적 어조나 문화적 관용구가 '폭력적'이나 '부적절'한 콘텐츠로 잘못 분류되어 차단됩니다.
  • 이는 소수 언어 사용자를 '위험한' 집단으로 낙인찍는 구조적 검열로 이어집니다.

4. 제안된 해결 방안: 기술적 임상 (Technical Clinic)

저자는 모델을 '치료'하는 것이 아니라, 인간의 설계자와 사용자를 대상으로 한 **기술적 임상 (Technical Clinic)**을 제안합니다.

1. 토폴로지 감사 (Topology Audits):
   • 토큰화 효율성 (Fertility) 측정 및 비정규화 (Normalization) 패턴 분석.
   • 잠재 공간의 기하학적 구조 (Anisotropy, Dimensional Collapse) 를 매핑하여 어떤 언어/문화가 압축되거나 소멸되는지 식별.
2. 수리 전략 (Repair Strategies):
   • 토큰화 평등 (Tokenization Parity): 소수 언어에 특화된 어휘 확장, 형태론적 토크나이저 개발, 바이트 레벨 아키텍처 탐구.
   • 데이터 재구성: '정제된' 텍스트 위주의 코퍼스에서 벗어나, Arabizi, 비공식적 어조, 다국어 혼용 (Code-switching) 등 실제 언어 사용을 반영한 데이터 포함.
   • 다문화 정렬 (Multicultural Alignment): 서구 중심의 안전 기준 대신, 문화적 맥락에 따른 다양한 규범을 수용하는 정렬 시스템 및 평가자 (Evaluators) 도입.
3. 비판적 AI 리터러시:
   • 사용자에게 토큰화, 어텐션, 정렬의 메커니즘과 그 편향 효과를 교육하여 비판적 사용 전략을 장려.

5. 의의 (Significance)

• 이론적 기여: '알고리즘적 무의식' 개념을 통해 편향을 단순한 데이터 오류가 아닌 시스템의 구조적 산물로 재정의했습니다. 이는 인간의 의도와 무관하게 발생하는 기술적 결정론을 비판적으로 분석하는 새로운 프레임을 제공합니다.
• 실용적 기여: 아랍어 및 다리지아와 같은 소수 언어 사용자에게 발생하는 경제적 (비용 증가) 및 문화적 (정체성 말소) 불평등을 정량적으로 증명했습니다.
• 정책적 함의: AI 의 공정성 (Fairness) 을 논할 때 단순한 성능 지표가 아닌, 토큰화 효율성, 잠재 공간의 토폴로지, 문화적 정렬의 다양성을 감사해야 함을 강조합니다.

이 논문은 AI 가 중립적인 도구가 아니라, 특정 언어와 문화 위계를 재생산하는 **인지적 인프라 (Cognitive Infrastructure)**임을 폭로하며, 이를 비판적으로 수용하고 재설계할 필요성을 강력히 주장합니다.