🤖 AI

When LLMs Play the Telephone Game: Cultural Attractors as Conceptual Tools to Evaluate LLMs in Multi-turn Settings

이 논문은 대규모 언어 모델의 작은 편향이 '전화기 게임' 설정에서의 반복적인 상호작용을 통해 어떻게 증폭되는지를 조사하며, 텍스트의 속성인 독성이 지시의 개방성, 모델 크기, 그리고 특정 텍스트 특성에 영향을 받는 문화적 어트랙터 상태로 수렴한다는 것을 밝혀낸다.

원저자: Jérémy Perez, Grgur Kovač, Corentin Léger, Cédric Colas, Gaia Molinaro, Maxime Derex, Pierre-Yves Oudeyer, Clément Moulin-Frier

게시일 2026-01-30

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jérémy Perez, Grgur Kovač, Corentin Léger, Cédric Colas, Gaia Molinaro, Maxime Derex, Pierre-Yves Oudeyer, Clément Moulin-Frier

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 아이디어: 로봇들의 "전화기 게임"

사람들이 고전적인 "전화기 게임(말 전달하기)"을 하고 있다고 상상해 보세요. 한 사람이 다음 사람에게 이야기를 속삭이면, 그 다음 사람이 또 다른 사람에게 속삭이는 식이죠. 마지막에 이르면 이야기는 원래와는 전혀 달라지거나, 우스꽝스러워지거나, 왜곡되곤 합니다.

이 논문은 다음과 같은 질문을 던집니다: 만약 플레이어가 사람이 아니라, 여러분이 글을 쓰거나 채팅할 때 사용하는 것과 같은 거대 언어 모델(LLM)이라면 어떤 일이 벌어질까요?

연구진은 하나의 AI가 이야기를 쓰고, 두 번째 AI에게 전달하면, 두 번째 AI가 이를 다시 쓰고 세 번째 AI에게 전달하는 방식의 "전화기 게임"을 설정하여 총 50라운드까지 진행했습니다. 그들은 텍스트가 그대로 유지될지, 더 좋아질지, 나빠질지, 아니면 기묘한 새로운 상태로 변할지를 확인하고 싶었습니다.

실험: AI 작가들의 사슬

연구진은 긴 AI 에이전트 체인을 만들었습니다.

시작: 인간이 시작 텍스트(뉴스 기사, 과학 초록, 또는 소셜 미디어 댓글 등)를 작성합니다.
체인: 첫 번째 AI는 해당 텍스트와 특정 지침(예: "이것을 다시 쓰세요", "이것에서 영감을 얻으세요", 또는 "이 이야기를 이어가세요")을 받습니다. 그리고 새로운 버전을 작성합니다.
인수인계: 두 번째 AI는 원본 인간의 텍스트가 아닌, 첫 번째 AI가 만든 버전을 받아 동일한 작업을 수행합니다.
반복: 이 과정이 50번 연속으로 일어납니다.

연구진은 텍스트가 체인을 따라 이동하면서 다음 네 가지 요소가 어떻게 변하는지 추적했습니다:

독성(Toxicity): 얼마나 무례하거나 공격적인가?
긍정성(Positivity): 얼마나 행복하거나 슬픈가?
난이도(Difficulty): 읽기가 얼마나 어려운가?
길이(Length): 단어가 몇 개인가?

발견: "자석" 효과

가장 놀라운 발견은 텍스트가 단순히 무작위로 표류하는 것이 아니라는 점입니다. 텍스트는 특정 "목적지"를 향해 끌려갑니다. 연구진은 이를 **문화적 끌개(Cultural Attractor)**라고 부릅니다.

끌개를 자석이라고 생각해 보세요.

만약 매우 못된 이야기로 시작한다면, 자석은 그 이야기를 매우 예의 바른 내용으로 끌어당길 수 있습니다.
만약 매우 긴 이야기로 시작한다면, 자석은 그 이야기를 매우 짧게 만들 수 있습니다.
어디서 시작하든, 텍스트는 언덕 아래로 미끄러져 내려가 결국 같은 지점에 안착하게 됩니다.

연구진은 이러한 자석이 실제로 존재하며 강력하다는 것을 발견했습니다. 완전히 다른 20개의 이야기를 시작하더라도, 50라운드의 AI 재작성을 거치고 나면 이들은 종종 매우 유사한 모습으로 변합니다.

주요 결과: 무엇이 자석을 더 강하게 만드는가?

연구진은 무엇이 이 "자석"을 더 강하게 혹은 더 약하게 만드는지 알아보기 위해 다양한 변수를 테스트했습니다.

1. 작업의 종류가 중요합니다 (게임의 "규칙")

엄격한 규칙 (약한 자석): 만약 AI에게 "의미를 바꾸지 말고 이것을 다시 쓰세요"라고 명령하면, 텍스트는 거의 변하지 않습니다. 자석이 약한 상태입니다.
느슨한 규칙 (강한 자석): 만약 AI에게 "이것에서 영감을 얻어 새로운 것을 쓰세요" 또는 "이야기를 이어가세요"라고 명령하면, 텍스트는 급격히 변합니다. 자석이 매우 강력해져서 텍스트를 특정 스타일로 빠르게 끌어당깁니다.

2. AI 모델이 중요합니다 (플레이어의 "성격")
서로 다른 AI 모델은 서로 다른 성격을 가지고 있습니다.

특정 버전의 Llama와 같은 모델들은 텍스트를 매우 빠르게 긍정적으로 만들거나 독성을 낮추는 경향이 있었습니다.
GPT-4o-mini와 같은 다른 모델들은 텍스트의 길이 나 난이도를 변화시키는 것에 더 저항하는 모습을 보였습니다.
흥미롭게도, 연구진은 독성이 가장 강력한 자석을 가지고 있다는 것을 발견했습니다. 거의 모든 모델은 원래 이야기가 아무리 못되었더라도, 매우 안전하고 독성이 없는 상태로 빠르게 "정화"했습니다.

3. "미세 조정(Fine-Tuning)" 효과
AI 모델은 종 Kong종 인간에 의해 "미세 조정"(학습)되어 도움이 되고 안전하도록 만들어집니다. 연구진은 이 훈련이 미리 설정된 자석처럼 작동한다는 것을 발견했습니다.

미세 조정된 모델("Instruct" 모델)은 미세 조정되지 않은 모델("Base" 모델)보다 인간의 선호도(예: 독성을 낮추는 것)를 향해 텍스트를 끌어당기는 자석이 훨씬 더 강력했습니다.

이것이 왜 중요한가 (논문에 따르면)

이 논문은 우리가 현재 AI를 마치 방 안에 있는 단 한 명의 사람처럼 테스트하고 있다고 주장합니다. 질문을 던지고, 답을 얻고, "잘했어!"라고 말하는 식이죠.

하지만 현실 세계에서 AI는 종종 체인 형태로 사용됩니다:

한 AI가 요약을 작성하면, 다른 AI가 이를 편집하고, 세 번째 AI가 이를 블로그 포스트로 바꿉니다.
AI 챗봇들이 서로 대화를 나눕니다.

이 논문은 단 한 번의 대화(single turn)를 테스트하는 것만으로는 충분하지 않다고 경고합니다. 단 한 번의 상호작용은 완벽해 보일 수 있지만, 그 AI가 다른 AI와 50번 대화를 나누게 되면, 콘텐츠는 완전히 다른 것(매우 안전하고 지루하거나, 혹은 아주 이상한 것)으로 진화할 수 있습니다.

"붕괴"에 대한 경고

특정 사례에서 연구진은 기묘한 오류를 목격했습니다. AI에게 이야기를 "이어가라"고 요청했을 때, AI는 결국 똑같은 해시태그를 계속 반복하기 시작했습니다 (예: "#XiangqiForAll #XiangqiForAll..."). 텍스트의 품질이 키워드의 루프 속으로 "붕괴"된 것입니다. 이는 인간의 개입 없이 AI가 AI와 너무 많이 대화할 경우, 때때로 정신을 놓치고 말이 안 되는 상태가 될 수 있음을 보여주는 신호입니다.

요약

이 논문은 AI를 바라보는 새로운 시각이자 경고입니다. 논문은 다음과 같이 말합니다: AI가 한 번 말하는 것만 보지 마세요. AI들이 서로 대화할 때 어떤 일이 일어나는지 관찰하세요. 그들에게는 대화를 특정 스타일로 끌어당기는 보이지 않는 "자석"이 있으며, 규칙과 모델에 따라 그 대화는 단 한 번의 채팅만 보고는 예측할 수 없는 방식으로 세상을 변화시킬 수 있습니다.

기술 요약: LLM이 '전화기 게임'을 할 때

문제 정의

대규모 언어 모델(LLM)이 생성한 콘텐츠가 다른 LLM에 의해 다시 소비되고 처리되는 과정이 증가함에 따라, 반복적인 상호작용을 통해 정보가 어떻게 변형되는지 이해하는 데 있어 중대한 격차가 존재한다. 단일 턴(single-turn) LLM의 행동과 내재적 편향(예: 성별, 인종, 정치적 성향)을 규명하는 광범위한 연구가 진행되어 왔으나, 이러한 연구들은 다회차 전송(multi-turn transmission)에서 발생하는 집단적 역학을 간과하고 있다. 단일 출력에서는 무시할 수 있는 수준의 작은 편향이 반복적인 체인 내에서는 증폭되어, 콘텐츠를 특정 "끌개 상태(attractor states)"로 몰아넣을 위험이 있다. 단일 프롬프트 상호작용에 의존하는 현재의 평가 방식은 다중 에이전트 환경이나 LLM이 AI 생성 콘텐츠와 상호작용할 때 나타나는 장기적인 문화적 역학을 예측하기에 불충분할 수 있다.

방법론

저자들은 LLM을 연구하기 위해 인간의 문화 진화 문헌(특히 문화적 인력 이론, Cultural Attraction Theory)에서 사용되는 전송 체인(transmission chain) 설계를 채택하였다. 이 "전화기 게임(Telephone Game)" 실험 패러다임은 각 에이전트가 텍스트를 전달받아 과업을 수행하고 그 출력을 다음 에이전트에게 전달하는 선형 체인을 포함한다.

실험 설정:
- 세대(Generations): 체인당 50회의 전송 단계.
- 초기 입력: 독성, 긍정성, 난이도, 길이를 포괄하도록 샘플링된 20개의 인간 생성 텍스트(과학 초록, 뉴스 기사, 소셜 미디어 댓글). 견고성을 위해 100개의 초기 텍스트로도 실험을 재현함.
- 과업(Tasks): 각 체인 내에서 일관되게 적용된 세 가지 유형의 지침:
  1. 재구성(Rephrase): 의미를 변경하지 않고 바꾸어 쓰는 제약된 과업.
  2. 영감 얻기(Take Inspiration): 입력값을 바탕으로 새로운 독창적 콘텐츠를 만드는 반제약적 과업.
  3. 이어 쓰기(Continue): 텍스트를 확장하는 개방형 과업.
- 모델: GPT-4o-mini, GPT-3.5-turbo-0125, Llama3-8B-Instruct, Mistral-7B-Instruct-v0.2, Llama3-70B-Instruct, Mixtral-8x7B-Instruct-v0.1의 6개 모델 테스트.
- 측정 지표: 각 세대에서 네 가지 직교 속성을 측정:
  - 독성(Toxicity): Detoxify 분류기를 통한 확률 점수 (0.0–1.0).
  - 긍정성(Positivity): NLTK의 SentimentIntensityAnalyzer를 통한 감성 점수 (-1.0 ~ 1.0).
  - 난이도(Difficulty): Gunning-Fog 지수 (필요한 교육 연수).
  - 길이(Length): 글자 수.
끌개(Attractors) 분석:
저자들은 반복적인 생성 과정이 수렴하는 이론적 평형점을 문화적 끌개로 정의한다. 이들은 선형 회귀식 $x_n = I + s \cdot x_0$ 를 사용하여 초기 텍스트 속성( $x_0$ )과 $n$ 세대 후의 속성( $x_n$ ) 사이의 관계를 수학적으로 모델링한다.
- 끌개 위치 ( $l$ ): $l = I / (1-s)$ 로 계산된다. 이는 시스템이 수렴하게 될 값을 나타낸다.
- 끌개 강도(Attractor Strength): $1-s$ 로 계산된다. 1은 완벽한 끌개(입력과 상관없이 완전한 수렴)를, 0은 끌개 효과가 없음을 의미한다.
- 통계적 검증: 속성 분포가 1세대와 유의미하게 다른지 판단하기 위해 Kolmogorov–Smirnov (KS) 검정을 사용하였다. 또한 베이지안 모델을 사용하여 끌개 강도와 위치에 미치는 과업, 모델, 속성의 효과의 유의성을 평가하였다.

주요 기여

평가 격차 식별: 본 논문은 단일 턴 평가가 다회차 설정에서의 LLM 특성을 평가하기에 불충분하다고 주장하며, 첫 번째 상호작용 이후 텍스트 속성의 분포가 크게 달라짐을 밝힌다.
방법론적 프레임워크: LLM의 문화적 진화에서 끌개 강도와 위치를 정량화하기 위해 문화적 인력 이론에 기반한 프레임워크를 도입하였다.
끌개의 실증적 증거: LLM 전송 체인이 특정 끌개 상태로 수렴하며, 이러한 상태가 모델, 과업, 특정 텍st 속성에 따라 달라짐을 실증적으로 입증하였다.
체계적 분석: 다양한 요인(모델 아키텍처, 지침 제약, 온도, 미세 조정)이 이러한 역학에 어떻게 영향을 미치는지에 대한 종합적인 분석을 제공한다.

결과

단일 턴 역학으로부터의 이탈: KS 검정 결과, 대부분의 모델-과업 조합에서 후기 세대의 텍스트 속성 분포는 첫 번째 세대와 유의미하게 달랐다. 이는 단일 턴 분석이 다회차 결과를 예측하는 데 실패함을 확인시켜 준다.
과업 제약과 끌개 강도:
- 개방형 과업(예: "이어 쓰기")은 제약된 과업(예: "재구성")보다 더 강력한 끌개(더 높은 수렴 속도와 강도)를 생성한다.
- 온도를 높이면 제약된 과업에서는 끌개가 강화되지만, 개방형 과업에는 영향이 적다.
속성 민감도:
- 독성은 가장 강력한 끌개를 보이며, 대부분의 모델에서 저독성 상태로 빠르게 수렴한다.
- 긍정성, 난이도, 길이는 다양한 정도의 인력을 보인다. 예를 들어, Llama3-8B와 Llama3-70B는 긍정성에 대해 이봉 분포(bimodal convergence)를 보인 반면, 다른 모델들은 단봉 분포(unimodal)를 유지했다.
모델 간 차이:
- 서로 다른 모델은 서로 다른 끌개 위치로 수렴한다. 예를 들어, GPT-3.5와 Llama3-8B는 텍스트를 단축하는 경향이 있는 반면, Mixtral-8x7B와 GPT-4o-mini는 길이를 늘리는 경향이 있다.
- Llama3-70B와 GPT-4o-mini는 GPT-3.5 및 Llama3-8B에 비해 현저히 약한 끌개 강도를 보였다.
미세 조정(Fine-Tuning)의 영향:
- Base 모델과 Instruct 버전의 비교를 통해 미세 조정이 끌개 위치를 변화시킨다는 것을 밝혔다 (예: Instruct 모델은 난이도 끌개는 높이고 길이 끌개는 낮춤).
- 미세 조정은 독성에 대한 끌개 강도를 높였으나(인간의 안전 선호도와 일치), 난이도에 대해서는 이를 감소시켰다(인간의 선호도가 이 영역에서 이질적임을 시사).
이질적 체인(Heterogeneous Chains): 서로 다른 모델이 혼합된 체인에서는 끌개 위치가 균질한 체인의 위치 사이로 떨어지는 경우가 많았으나, 이것이 체계적으로 나타나지는 않았다.
붕괴 현상(Collapse Phenomena): 특정 사례(Mistral-7B의 "이어 쓰기" 과업)에서 시스템은 해시태그 생성으로 인해 텍스트 길이가 급증한 후, 반복적인 콘텐츠로 붕괴했다가 다시 회복되는 불연속성을 보였다. 이는 재귀적 학습 시나리오에서 관찰되는 "모델 붕괴(model collapse)"를 반영한다.

의의 및 주장

본 논문은 LLM이 현재 평가되는 방식(단일 턴)과 실제로 사용되는 방식(다회차, 다중 에이전트, 또는 재귀적 콘텐츠 생성) 사이의 근본적인 모순을 강조한다고 주장한다.

평가에 대한 시사점: 단일 턴 벤치마크에 의존하는 것은 최적의 모델 선택을 방해할 수 있다. 예를 들어, 어떤 모델은 단일 턴에서는 독성이 낮아 보일 수 있지만, 여러 번의 반복을 거치면 더 독성이 높은 끌개로 수렴할 수 있다.
문화적 역학: 이 연구는 "기계 문화"를 이해하기 위한 첫걸음을 제공하며, LLM이 인간의 문화 진화 패턴과는 구별되는 특정 문화적 상태(끌개)로 자기 조직화될 수 있음을 시사한다.
향러 방향: 저자들은 향후 연구에서 이질적 집단, 네트워크 구조(선형 체인을 넘어선), 그리고 인간-LLM 하이브리드 상호작용을 탐구해야 한다고 제언한다. 또한, 장기적인 사회적 상호작용에서 LLM이 윤리적 표준을 유지하도록 보장하기 위해 이러한 끌개 역학을 이해하는 것이 필수적이라고 강조한다.

저자들은 자신들의 연구가 "첫걸음"이며, 끌개에 대한 구체적인 개념화가 문헌마다 다를 수 있음을 언급하며 겸허한 태도를 유지한다. 이들은 모델 붕로(model collapse)나 편향 제거 문제를 해결했다고 주장하는 것이 아니라, 반복적인 환경에서 이러한 현상을 탐지하고 정량화하기 위한 새로운 렌즈를 제공하는 것을 목적으로 한다.