The Democratic Ontology Deficit: How AI Systems Fail to Represent What Democracy Requires

1. 문제 정의: 민주주의 본체론적 결핍 (The Democratic Ontology Deficit)

• 핵심 문제: 현대 AI(대규모 언어 모델, LLM) 는 웹 규모의 코퍼스로 학습되어 '도움됨 (helpfulness)', '무해성 (harmlessness)', '정직성 (honesty)'에 맞춰 정렬 (alignment) 되었으나, **민주주의적 제도 생활의 표현적 구조 (representational structure)**를 학습 목표 (alignment target) 로 삼지 않았습니다.
• 본체론적 결핍의 정의: 민주적 주체성이 요구하는 제도적 조건 (역할, 책임, 관계, 목적의 구체적 구분) 과 현대 AI 가 학습하고 재현하도록 설계된 본체론 (ontology) 사이의 구조적 불일치.
• 배경: 민주주의는 추상적인 지위가 아니라, 사람들이 판단을 내리고 책임을 지며 공동의 목적을 향해 행동하는 **제도적 역할 (institutional roles)**과 일상적 실천에 기반합니다. 그러나 AI 는 언어를 단순한 데이터로, 제도를 관리적 컨테이너로 취급하여 이러한 '시민적 인프라 (civic infrastructure)'를 인식하지 못합니다.
• 위험성: AI 가 민주적 의사결정의 해석 방식을 재구성할 때, 역할과 책임의 맥락을 무시하고 개인주의적 독립성 (independence) 을 기본 프레임으로 삼아 민주적 주체성을 침식합니다.

2. 방법론: 표현 엔지니어링 (Representation Engineering)

저자들은 Zou et al. (2023) 의 표현 엔지니어링 (Representation Engineering) 기법을 적용하여 모델의 내부 표현 공간에서 민주적 원리들이 어떻게 인코딩되어 있는지 측정했습니다.

• 대상 모델: instruction-tuned 된 세 가지 모델 (Llama-2-13b-chat, Mistral-7B-Instruct-v0.2, Meta-Llama-3-8B-Instruct).
• 측정 대상 (4 가지 시민적 원시적 요소 - Civic Primitives):
  1. 역할 (Role): 개인 vs 공동체 (Communal)
  2. 책임 (Responsibility): 의무적 (Obligated) vs 절차적 (Procedural)
  3. 관계 (Relationship): 책임 있는 (Accountable) vs 자율적인 (Autonomous)
  4. 목적 (Purpose): 협력적 (Collaborative) vs 행정적 (Administrative)
• 실험 설계:
  • Contrastive Stimuli (대조 자극): 일상생활 시나리오 (예: 공원에서 아이가 넘어짐, 이웃이 슬픔을 겪음) 에 '시민적 정체성 토큰'과 '대안적 정체성 토큰 (예: 독립적, 전문적)'을 각각 삽입하여 모델의 내부 활성화 (activation) 차이를 추출합니다.
  • Reading Vectors (읽기 벡터): 주성분 분석 (PCA) 을 통해 두 조건 간의 활성화 차이를 기반으로 특정 개념 (예: '정직성' 또는 '시민적 역할') 이 모델 표현 공간에서 어떤 방향 벡터를 형성하는지 식별합니다.
  • 기본 방향성 측정 (Default Orientation): 정체성 토큰이 없는 35 개의 '판단 시나리오'를 추출된 벡터에 투영하여, 모델이 외부 프롬프트 없이도 자연스럽게 어떤 프레임 (시민적 vs 독립적) 을 선택하는지 측정합니다.
  • 벤치마크: 동일한 모델과 계층 (layer) 에서 '정직성 (Honesty)' 벡터를 동일 방법으로 추출하여 비교합니다.

3. 주요 결과 (Results)

실험 결과, 모델은 민주적 추론을 전혀 할 수 없는 것이 아니라, 독립성 (Independence) 을 지배적 프레임으로 삼아 시민적 구조가 붕괴된 것으로 나타났습니다.

• 기본 방향성 (Default Orientation):

  • 모델은 절차적, 냉소적, 거래적 태도보다는 '시민적' 태도를 더 선호합니다.
  • 그러나 **가장 지배적인 기본 프레임은 '독립적 개인주의 (Independent Individualism)'**입니다.
  • 정직성 (Honesty) 점수: 0.707 (높음). 이는 정렬 훈련 (RLHF) 을 통해 모델 내부에 명확히 구축되었음을 의미합니다.
  • 시민적 역할 (Civic Role) 점수: -0.047 (매우 낮음). 모델은 '개인 (Individual)'을 '공동체 (Communal)'보다 훨씬 더 관련성 높은 기본 범주로 인식합니다.

• 구조적 붕괴 (Structural Collapse):

  • 네 가지 시민적 원시적 요소를 '독립성 (Independent)'을 기준으로 측정했을 때, **관계 (Relationship)**를 제외하고는 모두 0.5 미만으로 떨어졌습니다.
  • 역할 (Role): -0.047 (공동체보다 독립성이 압도적).
  • 목적 (Purpose): 0.146 (협력적 목적보다 독립적 판단이 우세).
  • 책임 (Responsibility): 0.219 (의무보다 독립적 선택이 우세).
  • 관계 (Relationship): 0.810 (유일하게 시민적 특성을 유지).

• 모델 간 비교 및 진화:

  • Llama 3 vs Llama 2: Llama 3 은 정렬 훈련이 개선되어 정직성 점수가 0.707 에서 0.905 로 상승했습니다. 하지만 시민적 구조 점수는 개선되지 않았으며, 오히려 책임 (Responsibility) 점수는 악화되었습니다 (-0.176).
  • 이는 더 나은 정렬 훈련이 '정직성'은 강화하지만, '시민적 구조'는 무시할 수 있음을 보여줍니다.

4. 주요 기여 (Key Contributions)

1. 민주주의 본체론적 결핍의 개념화 및 실증: 민주적 주체성이 요구하는 표현적 조건 (역할, 책임, 관계, 목적) 이 현재 AI 모델의 기본 본체론에 부재함을 이론화하고, 표현 엔지니어링을 통해 첫 번째 경험적 증거를 제시했습니다.
2. 기술적 한계가 아닌 연구 의제의 부재 규명: 이 결핍은 기술적 불가능성이 아니라, 정렬 연구 (Alignment Research) 의 목표 설정 (정직성, 안전성 등) 에 민주적 제도 구조가 포함되지 않았기 때문임을 증명했습니다. 정직성은 측정 가능하고 강화될 수 있었지만, 시민적 구조는 측정되지 않았습니다.
3. 시민적 아키텍처 (Civic Architecture) 제안: AI 모델의 핵심 표현 구조에 민주적 제도의 가독성을 부여하기 위해 설계되어야 할 새로운 접근법을 제시합니다. 이는 단순히 규칙을 따르는 것이 아니라, 모델이 역할과 책임의 맥락 속에서 행동을 해석할 수 있도록 하는 것입니다.

5. 의의 및 시사점 (Significance)

• 민주주의 이론과 AI 기술의 교차점: AI 가 단순히 도구가 아니라, 민주적 생활의 '해석 가능성 (intelligibility)'을 재구성하는 인프라임을 지적합니다. 모델이 독립성을 기본값으로 삼으면, 사용자들도 자신의 상황을 개인적 선택의 문제로만 해석하게 되어 공공의 의미와 집단적 책임이 약화됩니다.
• 정렬 (Alignment) 연구의 새로운 방향: 기존 정렬 연구가 '안전성'과 '정직성'에 집중했다면, 향후 연구는 **시민적 원시적 요소 (Civic Primitives)**를 표현 벡터로 식별하고 강화하는 '시민적 정렬 (Civic Alignment)'을 목표로 해야 합니다.
• 실천적 가능성: 표현 엔지니어링 기법은 이미 '정직성'을 식별하고 강화하는 데 성공했습니다. 동일한 도구를 사용하여 '공동체적 역할', '협력적 목적' 등을 모델의 기본 표현 구조에 구축하는 것이 기술적으로 가능함을 보여줍니다.

결론적으로, 이 논문은 AI 가 민주주의를 해치지 않으려면 단순히 유해한 내용을 걸러내는 것을 넘어, 민주적 제도 생활이 작동하는 방식 (역할, 책임, 관계, 목적) 을 모델의 내부 본체론에 구조화해야 함을 강력히 주장합니다.