🤖 AI

Training-Free Cultural Alignment of Large Language Models via Persona Disagreement

본 논문은 세계 가치 조사에 기반한 페르소나 불일치를 활용하여 미세 조정 없이 모델 출력을 보정함으로써 대규모 언어 모델을 다양한 문화적 선호도와 정렬시키는 훈련이 필요 없는 블랙박스 추론 시점 방법인 DISCA 를 소개합니다.

원저자: Huynh Trung Kiet, Dao Sy Duy Minh, Tuan Nguyen, Chi-Nguyen Tran, Phu-Hoa Pham, Nguyen Lam Phu Quy, The Anh Han, Long Tran-Thanh

게시일 2026-05-12

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Huynh Trung Kiet, Dao Sy Duy Minh, Tuan Nguyen, Chi-Nguyen Tran, Phu-Hoa Pham, Nguyen Lam Phu Quy, The Anh Han, Long Tran-Thanh

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

매우 똑똑하고 강력한 로봇 비서 (대형 언어 모델, 또는 LLM) 가 있다고 상상해 보세요. 이 로봇은 교통사고에서 누구를 구할지 결정하는 것과 같은 어려운 도덕적 선택을 내리는 데 도움을 줍니다. 문제는 이 로봇이 주로 서구 국가들의 데이터로 훈련되었다는 점입니다. 따라서 일본, 브라질, 베트남 등 다른 국가의 사람이 조언을 구할 때, 로봇은 종종 그 지역 사회가 실제로 믿는 것과 맞지 않는 "서구식" 답변을 내놓습니다.

이 논문은 로봇을 재훈련하거나 비싼 새로운 데이터를 구매하지 않고도 이 문제를 해결하는 새로운 방법인 DISCA(문화적 정렬을 위한 불일치 기반 조종) 를 소개합니다.

다음은 간단한 비유를 통해 작동 방식을 설명한 것입니다:

1. 문제: 로봇의 "일률적" 사고방식

로봇을 오직 한 가지 스타일의 요리 (서양 요리) 만 할 줄 아는 셰프로 생각하세요. 다른 문화권의 고객에게 무엇을 원하는지 물어보면, 셰프는 자신의 메뉴를 기준으로 추측할 뿐입니다. 결과는 무엇일까요? 고객은 주문하지 않은 요리를 받게 되지만, 셰프는 자신의 기준으로는 요리가 기술적으로 "올바르다"고 생각하며 잘했다고 여깁니다.

현재의 해결책들은 다음과 같은 방식으로 이 문제를 해결하려 합니다:

셰프를 재훈련하기: 모든 국가마다 새로운 셰프를 고용하는 것 (너무 비싸고 느림).
셰프에게 새로운 규칙집을 주기: 모든 국가마다 특정 규칙집을 만드는 것 (많은 지역에 대한 데이터가 부족함).
셰프의 뇌를 수술하기: 로봇의 내부 배선을 물리적으로 변경하려는 시도 (웹사이트를 통해 로봇에만 접근할 수 있는 경우 불가능).

DISCA는 이렇게 말합니다: "셰프를 바꾸지 맙시다. 그냥 질문하는 방식을 바꾸면 됩니다."

2. 해결책: "이웃 패널"

로봇에게 "X 국의 전형적인 사람은 무엇을 할까요?"라고 묻는 대신, DISCA 는 로봇에게 같은 국가의 네 가지 다른 이웃을 상상하도록 요청합니다.

하나는 젊은 사람입니다.
하나는 중년입니다.
하나는 노년입니다.
하나는 전체 국가를 대표합니다.

이 "이웃들"은 실제 설문 조사 데이터 (세계 가치관 조사) 를 기반으로 하므로, 단순히 만들어낸 것이 아니라 실제 문화적 가치를 반영합니다.

3. 비결: 논쟁에 귀 기울이기

이것이 바로 교묘한 부분입니다. 네 이웃이 서로 동의할 때, 로봇은 이미 잘하고 있는 것이므로 DISCA 는 개입하지 않습니다.

하지만, 이웃들이 불일치할 때, 그 불일치가 신호가 됩니다.

비유: 라디오를 튜닝하려고 한다고 상상해 보세요. 신호가 선명하고 방 안의 모든 사람이 같은 노래를 듣는다면, 다이얼을 돌릴 필요가 없습니다. 하지만 방의 절반은 노래를 듣고 다른 절반은 잡음을 듣는다면, 잡음의 양이 올바른 방송국을 찾기 위해 다이얼을 얼마나 돌려야 하는지 정확히 알려줍니다.

DISCA 는 네 이웃이 얼마나 불일치하는지 측정합니다.

높은 불일치: 이웃들이 크게 논쟁하고 있습니다. 이는 시스템에 "로봇이 이 문화에 대해 혼란스러워하고 있다"는 신호를 보냅니다. 우리는 매우 신중하게 로봇의 답변에 아주 작고 부드러운 밀어붙임만 가해야 합니다.
낮은 불일치: 이웃들이 같은 것을 속삭이고 있습니다. 이는 시스템에 "로봇이 이미 목표에 가깝다"는 신호를 보냅니다. 필요한 경우 더 강력한 조정을 가할 수 있습니다.

4. "안전 브레이크" (신뢰성 게이트)

때로는 이웃들이 너무 혼란스러워 아무것도 합의하지 못할 수도 있습니다. 로봇이 이런 상황에서 강제로 답변을 내려고 하면 상황이 더 나빠질 수 있습니다.

DISCA 에는 "안전 브레이크"가 있습니다. 두 가지 독립적인 점검 (시뮬레이션을 두 번 실행) 이 서로 다른 결과를 내놓으면, 상황이 너무 혼란스러워 수정할 수 없다고 가정합니다. 추측하는 대신, 보정을 거의 0 으로 줄입니다. 이는 안개 낀 도로를 보고 운전자가 "속도를 내지 않겠다. 천천히 운전하거나 멈추겠다"고 결정하여 추락 사고를 위험에 빠뜨리지 않는 것과 같습니다.

5. 결과: 더 똑똑하고 작은 로봇

이 논문은 20 개 국가와 7 가지 로봇 모델 (작은 것부터 거대한 것까지) 로 이를 테스트했습니다.

큰 승리: DISCA 를 사용하는 더 작고 똑똑한 로봇 (140 억 개의 "뇌 세포") 이 거대하고 조정되지 않은 로봇 (700 억 개의 "뇌 세포") 보다 실제로 더 나은 문화적 결정을 내린다는 사실을 발견했습니다.
교훈: 가장 큰 뇌를 갖는 것이 중요한 것이 아니라, 올바른 보정을 갖는 것이 중요합니다. 지역 문화를 이해하는 작은 로봇이 문화를 이해하지 못하는 거대 로봇보다 낫습니다.

요약

DISCA는 책을 다시 쓰지 않는 문화 번역가와 같습니다. 로봇이 질문을 읽기 전에 단지 "맥락 노트"를 추가할 뿐입니다. 로봇에게 다양한 지역의 주민들을 상상하게 하고 그들이 얼마나 논쟁하는지 측정함으로써, 시스템은 답변을 문화에 맞게 조정할 때 얼마나 조정해야 하는지 정확히 알 수 있습니다. 이는 즉시 작동하며, 추가 비용이 들지 않고 로봇의 뇌를 변경할 필요도 없습니다.

기술 요약: 페르소나 불일치를 통한 대규모 언어 모델의 학습 없는 문화적 정렬

문제 제기
대규모 언어 모델 (LLM) 은 윤리적 판단이 필요한 맥락 (예: 콘텐츠 조정, 임상 우선순위 결정, 자율 주행 차량의 행동) 에서 점점 더 널리 배포되고 있습니다. 그러나 이러한 모델은 종종 "서구, 고학력, 산업화, 부유, 민주주의" (WEIRD) 편향을 보여 전 세계 인구의 문화적으로 구조화된 도덕적 선호와 정렬되지 못합니다. 문화적 정렬을 위한 기존 솔루션은 상당한 확장성 장벽에 직면해 있습니다:

파인튜닝: 국가별 선호도 데이터셋과 상당한 GPU 예산이 필요합니다.
보상 유도 디코딩: 각 대상 국가마다 별도의 보상 모델을 학습시켜야 합니다.
활성화 조종: 블랙박스 API 에는 사용할 수 없는 모델 내부에 대한 화이트박스 접근이 필요합니다.

저자들은 가중치 업데이트 없이, 국가별 학습 데이터 없이, 그리고 내부 모델 접근 없이 정렬이 이루어져야 하는 현실적인 추론 시간 체제를 식별했습니다.

방법론: DISCA
이 논문은 합의가 아닌 문화적으로 기반을 둔 페르소나 간의 불일치를 조종 신호로 활용하는 추론 시간 방법인 DISCA(문화적 정렬을 위한 불일치 기반 조종) 를 제안합니다.

페르소나 인스턴스화: 대상 국가 $c$ 에 대해 DISCA 는 세계 가치 조사 (WVS) 마이크로데이터를 기반으로 $N=4$ 개의 페르소나 에이전트 패널을 구성합니다. 이러한 페르소나는 세 가지 연령 코호트 (젊은이, 중년, 노년) 와 국가 전체 집계를 대표하며, 모국어 시스템 프롬프트를 통해 인스턴스화됩니다.
추론 및 로그이트 추출: 고정된 LLM $f_\theta$ 가 기본 프롬프트와 $N$ 개의 페르소나 프롬프트 하에서 동일한 도덕적 딜레마 (예: 트롤리 문제) 를 처리합니다. 모델은 두 옵션 (A 와 B) 에 대한 결정 로그이트를 출력하여 각 에이전트마다 결정 간격 $\delta_i = z_B - z_A$ 를 산출합니다.
불일치 원칙:
- 페르소나들이 동의하는 경우 ( $\delta_i$ 의 분산이 낮음), 기본 모델은 이미 해당 국가에 대해 보정되었을 가능성이 높으므로 교정이 필요하지 않습니다.
- 페르소나들이 불일치하는 경우 (높은 분산), 그들의 간격 분포는 필요한 교정의 방향과 크기를 인코딩합니다.
- 이론적으로 저자들은 (명제 1) 합의 교정의 평균 제곱 오차 (MSE) 최적 스칼라 축소 (shrinkage) 가 패널 내 분산의 함수임을 증명합니다. 높은 불일치는 합의가 신뢰할 수 없음을 의미하므로 더 작은 교정을 요구합니다.
손실 회피 중요도 샘플링 (PT-IS):
- 강력한 소수 의견 (예: 세 코호트가 A 를 약간 선호하고 한 코호트가 B 를 강력히 선호하는 경우) 을 평균화하여 희석시키는 것을 방지하기 위해, DISCA 는 교정을 협력적 협상 문제로 프레임합니다.
- 합의 주변에 후보 교란을 샘플링하고 프로스펙트 이론 가치 함수 (카네만 - 트버스키) 를 사용하여 점수를 매깁니다. 이 함수는 이득에 대해서는 오목하고 손실에 대해서는 더 가파릅니다 (손실 회피). 이는 단일 코호트와 강력히 불일치하는 교정을 패널티로 부과합니다.
- 최종 교정은 이러한 후보들의 가중 평균이며, 가중치는 각 후보의 효용에 비례합니다.
이중 통과 신뢰성 게이트:
- 페르소나들이 충돌할 때 교정을 적용할 위험을 추가로 완화하기 위해, PT-IS 프로세스는 불연속 서브배치에서 두 번 실행됩니다.
- 두 실행 간의 제곱 차이 ( $V_r$ ) 는 불안정성을 진단하는 지표로 작용합니다.
- 최종 교정은 $r = \exp(-V_r/s)$ 인자로 축소되며, 두 독립 실행이 발산하는 경우 (높은 불일치 또는 노이즈를 나타냄) 교정 크기가 0 에 수렴하도록 보장합니다.

주요 기여

추론 시간 정렬: 가중치 업데이트, 국가별 보상 모델, 화이트박스 접근이 필요하지 않으며 API 수준의 로그 확률에만 의존하는 방법.
불일치 기반 축소: 독립 실행 불일치를 신뢰성 신호로 사용하는 최초의 추론 시간 정렬 방법. 이는 불일치를 평균화해야 할 노이즈 (자기 일관성이나 논쟁에서와 같이) 가 아닌, 교정 신뢰성을 위한 충분 통계량으로 공식화합니다.
실증적 검증: MultiTP 벤치마크 (이진 도덕적 딜레마) 와 개방형 시나리오에서 20 개 국가, 4 대륙, 7 개의 오픈 가중 백본 (2B 에서 70B 파라미터까지) 에 대한 평가.

결과

성능: DISCA 는 $\ge$ 3.8B 파라미터를 가진 여섯 개의 백본에서 문화적 불일치 (모델과 인간의 평균 한계 구성 요소 효과, AMCE 간의 $\ell_2$ 거리로 측정) 를 10–24% 감소시킵니다. 가장 작은 2B 모델에서는 3.4% 감소를 달성합니다.
개방형 시나리오: 개방형 윤리 생성 작업에서 2–7% 의 개선이 관찰되었습니다.
규모 대 보정: DISCA 를 적용한 14B 모델 (Phi-4) 은 바닐라 70B 모델 (Llama-3.3-70B) 보다 더 낮은 절대적 불일치를 달성하여, 이 체제에서 보정이 규모와 경쟁함을 시사합니다.
범위 한계: 이 방법은 사실적 문화 QA 벤치마크인 BLEnD의 성능을 향상시키지 않습니다. 저자들은 가치 조종 (스칼라 로그이트 간격) 과 사실적 검색 (고차원 토큰 선택) 간의 차이로 인해 페르소나 불일치가 신호가 아닌 노이즈를 도입하기 때문이라고 귀착합니다.
안전성: 이중 통과 게이트는 단순 합의 평균화에 비해 "피해 셀" (정렬이 악화되는 경우) 을 크게 줄여 꼬리 안전 메커니즘으로 작용합니다.

의의 및 주장
이 논문은 LLM 이 도덕적 다양성을 존중하기 위해 재학습될 필요가 없다고 주장합니다. 기반을 둔 에이전트 내의 분산을 주요 정렬 신호로 취급함으로써, DISCA 는 문화적 다원주의를 위한 확장 가능한 경로를 제공합니다. 저자들은 그들의 접근 방식이 추론 시간 문화적 보정의 실현 가능성을 입증하도록 설계된 연구 산물이지 배포 준비가 된 규범적 시스템이 아님을 강조합니다. 그들은 WVS Wave 7 데이터 (역사적 스냅샷) 에 대한 의존성, 페르소나 변화가 인간 목표를 근사한다는 가정, 그리고 추가 안전 장치 (페르소나별 효용 바닥값을 통해 제안됨) 없이는 "해로운 다수"를 해결할 수 없다는 점 등 한계를 명시적으로 지적합니다. 이 작업은 페르소나 불일치 조종이 효과적인 영역 (선호 결정) 과 그렇지 않은 영역 (사실적 회상) 을 명확히 구분합니다.