기술 요약: 대규모 언어 모델의 정치적 가소성

문제 제기

대규모 언어 모델 (LLM) 의 고유한 정치적 편향에 집중하는 상당수의 연구가 진행되어 왔으며, 이는 종종 "중도 좌파" 또는 "좌파 자유지상주의" 성향을 기본 방향으로 식별해 왔습니다. 그러나 본 연구는 이와 구별되지만 관련 있는 현상인 정치적 가소성을 다룹니다. 정치적 가소성은 사용자가 제공한 맥락에 따라 모델이 응답을 적응시키는 능력을 의미하며, 특정 정치적 견해를 가진 사용자와 상호작용할 때 LLM 의 이념적 입지가 얼마나 유연한지 조사합니다. AI 가 생성한 출력물에 대한 대중의 과도한 신뢰 경향성을 고려할 때, 모델이 사용자의 이념을 반영하도록 미묘하게 유도될 수 있는지 이해하는 것은 민감한 정치적 담론에서의 신뢰성을 평가하는 데 필수적입니다.

방법론

저자들은 소규모 로컬 호스팅 모델 (예: Llama3:8b, Gemma2:2b) 부터 API 를 통해 접근 가능한 최첨단 모델 (예: GPT-4.1, GPT-5 변형, DeepSeek-V3) 에 이르기까지 다양한 LLM 세트에 걸쳐 정치적 가소성을 정량화하는 테스트 프레임워크를 개발했습니다.

말뭉치 및 지표

• 확장된 말뭉치: 본 연구는 Lester(1996) 의 프레임워크를 적용하여 원래의 20 개 항목 설문을 200 개의 정치 관련 질문으로 확장했습니다. 이를 경제적 자유와 개인적 자유라는 두 가지 축으로 분류했습니다.
• 데이터 증강: 원래 Lester 질문에서 발생할 수 있는 데이터 유출을 완화하기 위해 저자들은 LLM 을 사용하여 각 축당 100 개의 새로운 질문을 생성했으며, 교차 모델 반복과 수동 검증을 통해 이를 검증했습니다.
• 응답 지표: 두 가지 주요 지표를 사용했습니다:
  1. 가장 확률적인 응답: "예"와 "아니오" 토큰의 빈도를 계산합니다.
  2. 긍정적 응답 확률: 각 질문에 대한 $p(\text{yes})$ 확률을 평균화합니다. 오픈 로그 확률이 없는 모델의 경우, 고온 (high-temperature) 샘플링을 여러 번 수행하여 이를 추정했습니다.

실험 설계

본 연구는 편향을 유도하고 측정하기 위해 네 가지 주요 실험 단계를 활용했습니다:

1. 실험 1 (시스템 프롬프트 - 단순화): 모델에게 시스템 프롬프트를 통해 단순화된 "좌파" 또는 "우파" 역할을 부여하도록 지시했습니다.
2. 실험 2 (시스템 프롬프트 - 주제 기반): 시스템 프롬프트에 백신 의무화, 이민 등 9 가지 구체적인 정치적 주제에 대한 상세한 설명과 각 이념에 대한 사전 정의된 입장을 포함시켰습니다.
3. 실험 3 (사용자 프롬프트 - 퓨샷): 퓨샷 (few-shot) 예시를 사용하여 사용자 프롬프트 내에서 직접 편향을 유도했습니다. 9 가지 주제를 아우르는 4 개의 질문에 특정 이념에 부합하는 "예/아니오" 답변을 함께 제시했습니다.
4. 검증 실험:
   • 검증 1: 퓨샷 예시의 수 (1 개에서 9 개) 를 변화시켜 용량 의존적 효과를 평가했습니다.
   • 검증 2: 질문의 의미를 반전시켰습니다 (예: "예" 답변이 보수적 입장을 나타냄). 데이터 유출 또는 형식 인식을 테스트하기 위함입니다.
5. 실험 4 (양방향 및 다국어): 더 크고 최첨단 모델만을 사용하여 6 개 언어 (영어, 스페인어, 이탈리아어, 포르투갈어, 프랑스어, 독일어) 로 원래 질문과 반전된 질문을 결합한 포괄적인 테스트를 수행했습니다.

주요 결과

1. 시스템 프롬프트의 비효율성

실험 1 과 2 는 시스템 프롬프트를 통한 편향 유도가 대체로 비효율적임을 보여주었습니다.

• 대부분의 모델은 상세한 주제 설명이 있더라도 "좌파" 또는 "우파" 역할을 부여받았을 때 응답에서 유의미한 변화를 거의 보이지 않았습니다.
• 변화가 관찰되더라도 방향이 일관되지 않거나 특정 축으로만 제한되는 경우가 많았습니다 (예: Mistral:7b 는 개인적 자유 축에서만 변화).
• 주목할 만한 예외로는 Gemma2:2b 와 GPT-5 모델이 있으며, 이들은 시스템 프롬프트에서도 일부 가소성을 보였습니다.

2. 사용자 프롬프트의 효과성

실험 3은 사용자 프롬프트가 이념적 변화를 이끌어내는 데 매우 효과적임을 드러냈습니다.

• 사용자 프롬프트 내 퓨샷 예시를 통해 편향을 유도한 결과, 특히 경제적 자유 축에서 상당한 변화가 발생했습니다.
• 검증 1은 명확한 단조 증가 경향을 확인했습니다: 퓨샷 예시의 수가 증가함에 따라 (1 개에서 9 개로), 유도된 편향의 크기도 증가했습니다.
• 작고 오래된 모델들은 일반적으로 제한적이거나 불안정한 가소성을 보인 반면, 최신 최첨단 모델들은 신뢰할 수 있는 적응력을 나타냈습니다.

3. 예상치 못한 반전 효과

검증 실험 2는 반직관적인 결과를 낳았습니다. 질문을 반전시켰을 때 ("예"가 보수적 입장을 의미하도록), 대부분의 모델은 원래 설정보다 더 큰 가소성을 보였으나, 기대와는 반대 방향으로 나타났습니다.

• 이는 잠재적인 데이터 유출이거나, 모델이 이념적 프레이밍에 진정으로 적응하는 것이 아니라 "설문지 형식"을 인식하고 있음을 시사합니다.
• Gemma 와 GPT-5 모델만이 반전 상황에서도 기대되는 이념적 행동을 유지했습니다.

4. 다국어 및 모델 크기별 차이

실험 4에서 결과는 모델 크기와 언어에 따라 크게 달라졌습니다:

• GPT-5 모델은 두 가지 축과 모든 테스트된 언어에 걸쳐 일관된 가소성을 보여주었습니다.
• Llama 3.3-70B는 영어에서 거의 가소성을 보이지 않았습니다.
• 대부분의 다른 모델들은 제한된 가소성을 보였으며, 변화는 종종 개인적 자유 축으로 제한되었습니다.
• 서로 다른 언어 간에 미묘하지만 주목할 만한 변화가 관찰되어, 가소성이 언어적 맥락 전반에 걸쳐 균일하지 않음을 나타냈습니다.

중요성 및 주장

본 논문은 정치적으로 민감한 영역에서 LLM 의 "중립성"은 가정할 수 없다고 주장합니다. 연구는 다음을 강조합니다:

• 가소성은 모델에 의존적입니다: 작고 오래된 모델 (제한적/불안정) 과 최신 최첨단 모델 (신뢰할 수 있음/예상됨) 사이에는 가소성에서 극명한 차이가 존재합니다.
• 프롬프트 위치가 중요합니다: 사용자 수준의 상호작용 (퓨샷 프롬프팅) 은 시스템 수준의 지시보다 이념적 영향력을 행사하는 훨씬 더 강력한 벡터입니다.
• 방법론적 위험: 반전된 질문에서 나온 예상치 못한 결과는 형식 인식이나 데이터 유출에 의해 표준 설문지 기반 평가가 혼동될 수 있음을 시사하므로, 더 강력하고 유출에 강한 방법론이 필요함을 의미합니다.
• 사회적 함의: 사용자의 이념에 적응하는 모델의 능력과 AI 에 대한 인간의 과도한 신뢰가 결합되면, 공적 담론과 개인의 투표 행동에 미묘한 영향을 미칠 위험이 있습니다.

저자들은 이러한 차별화된 가소성 뒤에 숨은 메커니즘을 이해하는 것이 LLM 이념 분야를 발전시키고 민주적 과정에서의 AI 신뢰성을 보장하는 데 필수적이라고 결론지었습니다. 또한 향후 연구에서는 이러한 메커니즘을 해부하고 시뮬레이션된 다회전 대화와 같은 생태학적 타당성을 갖춘 테스트 환경을 개발할 것을 촉구합니다.