Structure-Aware Diversity Pursuit as an AI Safety Strategy against Homogenization

기술 요약: LLM의 균질화 문제 (The Homogenization Problem in LLMs)

문제 정의
본 논문은 거대언어모델(LLM)에서의 **균질화(homogenization)**를 중요하지만 아직 충분히 다뤄지지 않은 AI 안전성 문제로 식별한다. AI 안전 연구가 흔-히 미래의 파멸적 위험에 우선순위를 두는 것과 달리, 본 연구는 생성형 AI에서 발생하는 현재의 다양성 상실이 소수자 공동체에 불균형적인 영향을 미치는 즉각적인 사회적 해악을 낳는다고 주장한다. 균질화는 전통적인 의미의 "모드 붕괴(mode collapse)"(지배적인 학습 데이터 모드에 대한 과도한 집중)를 넘어, LLM의 출력이 **규범성(normativity)**으로 수렴하는 더 넓은 현상으로 정의된다.

저자들은 **퀴어 이론(Queer Theory)**을 빌려, 균질화를 "규범적 지향성"(지배적인 사회 구조로의 수렴)에 맞서 "퀴어 지향성"(규범으로부터의 이탈)을 억압하는 과정으로 프레임화한다. 이 과정은 인간 경험의 "롱 테일(long tails)"을 지우며, 결과적으로 재현적, 배분적, 서사적 해악을 초래한다. 저자들은 현재의 정렬(alignment) 파이프라인이 안전성을 확보하기 위해 개념적 다양성과 언어적 다양성을 능동적으로 축소함으로써, 의도치 않게 "에코 체임버"를 형성하고 인간 문화 생산의 범위를 좁히고 있다고 주장한다.

방법론 및 프레임워크
"다양성"의 모호함(맥락과 이해관계자에 따라 달라짐)을 해결하기 위해, 본 논문은 LLM을 문자열 트리(trees of strings) 위의 확률 분포로 보는 형식주의에 기반한 다원적 이론 프레임워크를 제안한다.

1. LLM을 트리로 모델링: 저자들은 LLM의 출력을 노드는 문자열이고 에지는 토큰 연속인 트리로 모델링한다. LLM은 이 트리 위에서 확률 질량 함수(probability mass function)를 정의한다.
2. 구조와 시스템: 의미 있는 다양성을 인코딩하기 위해, 프레임워크는 구조(structures) $\alpha_i$를 도입한다. 구조는 스코어링 함수 $\alpha_i: \text{Str} \to [0, 1]$에 의해 정의되는 추상화(예: "남성 간호사", "동성 커플")이다. 이러한 구조들의 집합은 이해관계자의 가치 체계를 나타내는 시스템($\Lambda_n$)을 형성한다.
3. 규범성과 지향성:
   • 시스템 무게중심(System Barycenter, $\langle \Lambda_n \rangle$): 주어진 프롬프트로부터 가능한 모든 궤적(trajectory)에 걸친 기대 시스템 적응도(구조 점수의 평균 벡터). 이는 "기본값" 또는 규범적 경로를 나타낸다.
   • 지향성(Orientation, $\theta_n$): 특정 문자열의 시스템 적응도가 시스템 무게중심으로부터 벗어난 부호가 있는 편차.
   • 편차(Deviance, $\partial_n$): 특정 궤적이 시스템 기본값에 비해 얼마나 "퀴어"하거나 비규범적인지를 정량화하는 스칼라 메트릭(차원 정규화된 $L_2$ 노름).
4. 균질화의 형식화: 논문은 다음의 두 가지 수렴 조건을 통해 균질화를 정의한다.
   • 재현의 불균형: 구조 풍부도 분포의 엔트로피가 0에 수렴함($H(\langle \Lambda_n \rangle) \to 0$). 즉, 단일 또는 소수의 구조가 지배하게 된다.
   • 인력의 강화: 출력의 기대 편차가 0에 수렴하고($E[\partial_n] \to 0$), 편차의 분산이 붕괴함($Var[\partial_n] \to 0$). 이는 출력이 규범적 기본값 주위에 밀집되어 있음을 나타낸다.

주요 기여

• 개념적 프레임워크: 통계 역학을 사용하여 LLM 궤적 트리 상에서 규범성, 지향성, 퀴어함과 같은 비판 이론의 개념들을 형식화하여 균질화를 논할 수 있는 어휘를 도입했다.
• 다양성의 운용화: 이해관계자가 자신의 구체적인 맥락과 가치 체계를 "구조"로 인코딩할 수 있는 방법을 제공함으로써, 보편적인 메트릭이 아닌 차이의 특정 축에 따른 다양성을 측정할 수 있게 한다.
• 제노-재생산(Xeno-Reproduction): 페미니즘 이론에서 차용한 제노-재생산은 균질화를 완화하기 위해 설계된 일련의 과업이다. 순수한 차이의 극대화를 추구하는 신선함 탐색(novelty search)과 달리, 제노-재생산은 일관성을 유지하면서도 규범성에서 벗어나는 "퀴어한" 궤적을 촉진하고자 한다. 이는 다음을 극대화하는 최적화 문제로 공식화된다:
  • 균형(Balance): 시스템 무게중심의 엔트로피.
  • 교란(Disruption): 베이스라인으로부터의 시스템 무게중심의 이동.
  • 발산(Divergence): 시스템 기본값으로부터 개별 궤적들이 퍼져 나가는 정도.
• 개입 전략: 논문은 사후 학습 정렬(미세 조정), 활성화 공간 개입(스티어링 벡터), 궤적 수준의 재지향(편차 점수에 기반한 샘플링 재가중치 부여)을 포함한 제노-재생산의 잠재적 운용 방안을 제시한다.

실험 결과 (사례 연구)
저자들은 개방형 프롬프트인 *"매우 짧고 현실적인 사랑 이야기를 작성하라... 간호사를 중심으로..."*를 사용하여 Claude 3.5 Haiku에 이 프레임워크를 적용했다. 그리고 서로 다른 조건부 분기(루트, "그녀의 파트너", "그의 파트너", "그들의 파트너")에 걸쳐 시스템 무게중심과 편차를 측정했다.

• 기본 편향(Default Bias): 아무 조건이 없는 (루트) 모델은 압도적으로 여성 간호사와 이성 관계에 관한 이야기를 생성했다 (여성 간호사 점수 $\approx 0.73$, 이성 관계 점수 $\approx 0.99$).
• 비대칭적 표식(Asymmetric Marking): 간호사를 여성으로 명시적으로 표식했을 때("그녀의 파트너")는 기본값을 강화하여 가장 낮은 편차(가장 균질화된 상태)를 보였다. 간호사를 남성으로 표식했을 때("그의 파트너")만이 기본을 유의미하게 교란하여 동성 관계 점수의 상승을 유도했다.
• 암묵적 연상(Implicit Association): 실험은 프롬프트가 동성 커플을 명시하지 않았음에도 불구하고, "남성 간호사"가 "동성 커플" 내러티브를 트리거하는 암묵적 연상을 드러냈다.
• 제약에 대한 저항: "그의 파트너" 샘로 중 일부에서 모델은 제약을 거부하고, 간호사를 여성으로 재설정하고 새로운 남성 주인공을 등장시켰다. 이는 "여성-간호사"라는 끌개 상태(attractor state)의 강력함을 보여준다.

의의 및 주장
본 논문은 알고리즘적 해결책을 제시하기보다는 개념적 언어와 형식적 골격을 제공하는 데 목적이 있다고 주장한다. 그 의의는 다음과 같다:

1. 안전성의 재정의: AI 안전성이 파멸적 위험이나 독성뿐만 아니라 다양성과 균질화 연구를 중심에 두어야 한다고 주장한다.
2. 맥락적 평가: 글로벌 모델 수준의 평균에 의존하는 대신, 특정 프롬프트와 이해관계자의 맥락에서 편향과 다양성을 평가할 수 있는 도구를 제공한다.
3. 이론적 통합: 머신러닝의 규범성 메커니즘을 더 잘 이해하기 위해 AI 안전성을 비판 이론(퀴어 이론, 페미니즘 이론)과 결합한다.
4. 행동 촉구: 저자들은 AI 안전 커뮤니티가 균질화를 위협 모델에 통합하고, 비판 이론과 진지하게 교류하며, 제노-재생산의 구현을 개발할 것을 촉구한다.

논문은 본 프레임워크가 시작 단계이며, 구조의 명세가 주관적일 수 있고, 정확한 무게중심 추정을 위한 계산적 실행 가능성이 근사치(예: 샘플링 또는 프로빙)를 필요로 하는 도전 과제로 남아 있음을 인정하며 겸허한 태도를 유지한다.