Markovian Generation Chains in Large Language Models

이 논문은 대규모 언어 모델이 이전 출력을 기반으로 반복적으로 텍스트를 생성하는 '마르코프 생성 사슬' 과정을 분석하여, 온도 파라미터와 초기 입력에 따라 문장 다양성이 증가하거나 감소할 수 있음을 규명하고 다중 에이전트 시스템에 대한 시사점을 제시합니다.

핵심

이 논문은 **"대형 언어 모델 (LLM) 이 만든 글을 다시 그 모델에게 보여주면, 시간이 지날수록 글이 어떻게 변하는가?"**라는 아주 흥미로운 질문을 던집니다.

이 복잡한 연구를 일상적인 비유로 쉽게 설명해 드릴게요.

🎭 비유: "전설의 게임 (Telephone Game) 과 거울의 미로"

상상해 보세요. 친구에게 "오늘 날씨가 참 좋네요"라고 말하고, 그 친구가 그 말을 듣고 다음 친구에게 전하는 게임을 해보죠. (이걸 '전설의 게임'이라고 합니다.)

1. 첫 번째 친구: "오늘 날씨가 참 좋네요."
2. 두 번째 친구: "오늘 날씨가 정말 좋구나."
3. 세 번째 친구: "날씨가 너무 좋아!"
4. ...
5. 열 번째 친구: "날씨가 최고야!"

이제 이 게임에 **AI(대형 언어 모델)**를 참여시켜 봅시다. AI 는 인간의 말보다 훨씬 똑똑하지만, 반복해서 같은 작업을 시키면 이상한 일이 일어납니다.

🔍 이 논문이 발견한 두 가지 현상

연구진은 AI 가 쓴 글을 다시 AI 에게 "다시 써줘"라고 50 번이나 반복해서 시켰습니다. 그 결과 두 가지截然不同的 (완전히 다른) 결과가 나왔습니다.

1. "고정된 루프"에 갇히는 경우 (Greedy Decoding)

비유: 거울 미로에서 길을 잃지 않고 같은 곳만 오가는 것

• 상황: AI 에게 "가장 확실하고 정확한 말로만 써줘"라고 지시하면 (이를 'Greedy' 방식이라고 합니다), AI 는 처음에는 조금씩 변하지만, 금방 같은 문장이나 매우 짧은 문장들의 반복으로 빠집니다.
• 결과: "오늘 날씨가 좋네요" → "날씨가 좋구나" → "날씨가 좋네요" → "날씨가 좋구나"...
• 의미: AI 가 스스로 생각할 수 있는 범위가 좁아져서, 마치 고정된 패턴에 갇혀버린 것입니다. 이 경우 글의 다양성은 사라집니다.

2. "끝없는 여행"을 하는 경우 (Sampling-based Decoding)

비유: 주사위를 굴려서 매번 다른 길을 가는 모험

• 상황: AI 에게 "약간의 창의성을 발휘해서, 조금 다르게 써줘"라고 지시하면 (이를 'Sampling' 방식이라고 합니다), AI 는 매번 새로운 표현을 찾아냅니다.
• 결과: "날씨가 좋네요" → "맑은 하늘이 펼쳐졌어요" → "햇살이 따스하군요" → "대기질이 훌륭하네요"...
• 결과: 50 번을 반복해도 같은 문장이 나오지 않을 수 있습니다. 하지만, 너무 오래 가면 결국 다시 원래의 의미에서 멀어지거나 (정보 왜곡), 또 다른 패턴에 갇히게 됩니다.

🧪 실험의 핵심 내용

연구진은 이 현상을 **'마르코프 생성 사슬 (Markovian Generation Chains)'**이라고 이름 붙였습니다. 쉽게 말해 **"이전 결과만 보고 다음을 결정하는 무작위 게임"**입니다.

• 온도 (Temperature) 설정: AI 의 '창의성'을 조절하는 온도 조절기입니다.
  • 온도를 낮게 (0) 하면: AI 는 안전한 말만 골라 반복합니다. (고정 루프)
  • 온도를 높게 (0.7 이상) 하면: AI 는 위험한 말도 시도하며 다양한 문장을 만들어냅니다. (여행)
• 입문의 길이: 문장이 길수록 AI 가 더 다양한 변형을 만들어내는 경향이 있었습니다.

💡 왜 이 연구가 중요할까요?

이 연구는 단순히 "AI 가 글을 반복해서 쓴다"는 것을 넘어, 미래의 AI 사회에 대한 중요한 경고와 통찰을 줍니다.

1. AI 와 AI 의 대화: 앞으로는 사람이 직접 말하지 않고, AI 에이전트 A 가 쓴 글을 AI 에이전트 B 가 읽고, 다시 C 가 읽는 식으로 정보가 이동할 수 있습니다. 이때 정보가 어떻게 변질되는지 이해해야 합니다.
2. 정보의 왜곡: "의미는 그대로 유지해"라고 시켜도, 반복될수록 글의 뉘앙스가 서서히 변할 수 있습니다. (예: "날씨가 좋네요"가 "날씨가 너무 좋아서 미칠 것 같네요"로 변할 수도 있음)
3. 모델 붕괴 (Model Collapse) 와의 차이: 기존 연구에서는 AI 가 AI 가 만든 데이터로 학습하면 바보가 된다고 했습니다. 하지만 이 논문은 학습이 아닌, 사용 (추론) 단계에서도 반복되면 글이 변질될 수 있음을 보여줍니다.

📝 한 줄 요약

"AI 가 쓴 글을 다시 AI 에게 반복해서 시키면, 설정에 따라 글이 '지루한 반복'에 빠지거나 '창의적인 모험'을 떠납니다. 하지만 어느 쪽이든, 정보가 원래 모습에서 점점 멀어질 수 있으니 주의해야 합니다."

이 연구는 우리가 AI 를 사용할 때, 단순히 한 번만 믿고 쓰는 것이 아니라, 반복적인 과정이 어떻게 정보를 변형시키는지를 이해해야 함을 알려줍니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

대형 언어 모델 (LLM) 이 번역, 재작성 등 다양한 하위 작업에 광범위하게 사용됨에 따라, LLM 이 생성한 텍스트가 다시 LLM 의 입력으로 반복적으로 처리되는 시나리오가 증가하고 있습니다.

• 핵심 질문: 텍스트가 LLM 에 의해 반복적으로 재처리될 때, 어떻게 진화하는가?
• 문제점: 이러한 반복적인 재처리 과정은 "마르코프 생성 체인 (Markovian generation chains)"으로 정의될 수 있으나, 이를 체계적으로 형식화하거나 결과를 특징짓는 표준적인 지표가 부재했습니다.
• 정의: 본 논문에서는 마르코프 생성 체인을 다음과 같이 정의합니다.
  • 각 단계는 특정 프롬프트 템플릿과 이전 단계의 출력만 입력으로 받습니다.
  • 이전의 모든 기억 (history/memory) 은 포함되지 않습니다 (마르코프 성질).
  • 이 과정은 문장 (sentence) 단위로 분석됩니다.

2. 방법론 (Methodology)

저자는 반복적인 재처리 과정을 이산 상태 공간에서의 마르코프 체인으로 모델링하고, 이를 실험적으로 분석했습니다.

• 수학적 형식화:
  • 초기 문장 $s^{(0)}$에서 시작하여 모델 $M$, 프롬프트 $\rho$, 디코딩 설정 $d$가 고정된 상태에서, $s^{(t+1)} \sim T_{M,\rho,d}(\cdot | s^{(t)})$로 정의되는 확률적 변환 연산자를 도입했습니다.
  • 이는 문장 간의 전이 행렬 (Transition Matrix) 로 표현되며, 반복 적용 시 상태 공간 내에서 순환 (recurrence) 또는 일시적 (transient) 단계를 거칩니다.
• 실험 설정:
  • 데이터: BookSum (소설 요약), ScriptBase-alpha (대본), News2024 (뉴스) 의 3 개 코퍼스에서 첫 문장을 시드 (seed) 로 사용.
  • 모델: Mistral-7B, Llama-3.1-8B, Qwen2.5-7B, GPT-4o-mini 등 4 개의 지시 튜닝 (instruction-tuned) 모델.
  • 작업:
    1. 반복적 재작성 (Iterative Rephrasing): 동일한 언어 내에서 의미 보존을 목표로 반복.
    2. 왕복 번역 (Round-trip Translation): 영어 $\to$ 중계 언어 (프랑스어, 독일어, 중국어) $\to$ 영어 순으로 반복.
  • 디코딩 전략 비교:
    • Greedy Decoding: 확률 최대화 (Argmax) 방식.
    • Sampling-based Decoding: 온도 (Temperature=0.7), Top-p (0.9) 를 활용한 확률적 샘플링.
• 평가 지표:
  • 고유 문장 수 (Distinct-sentence count): $T$번의 반복 동안 생성된 고유한 문장의 수.
  • 최초 반복 시간 (First recurrence time): 동일한 문장이 다시 나타날 때까지 걸린 단계 수.
  • 이동 (Drift): METEOR, ROUGE-1, BLEU 등을 사용하여 인접 단계 간 유사도 및 누적 변화 측정.

3. 주요 결과 (Key Results)

가. 디코딩 전략에 따른 행동 차이

• Greedy Decoding: 대부분의 체인이 몇 단계 내에 **작은 순환 집합 (Recurrent Set)**에 진입합니다. 이는 고정점 (fixed point) 이나 짧은 주기 (short cycle) 로 수렴함을 의미하며, 문장 다양성이 급격히 감소합니다.
  • 예시: "We begin with a prologue."가 "We start with a prologue."와 "We begin with a prologue." 사이를 오가는 2-주기 패턴을 보임.
• Sampling-based Decoding: 확률적 요소로 인해 **긴 일시적 단계 (Long pre-recurrence phases)**를 거칩니다. 50 단계 반복 내에서도 정확한 문장 반복이 발생하지 않는 경우가 많으며, 문장 다양성이 현저히 높습니다.

나. 모델 및 입력의 영향

• 모델별 차이: 각 모델은 고유한 "끌개 (attractor)"를 가지며, 특정 프롬프트 하에서 고유한 순환 패턴을 보입니다.
• 입력 민감도: 시드 문장의 길이와 생성된 고유 문장 수 사이에는 일반적으로 양의 상관관계가 존재합니다 (긴 문일수록 더 많은 다양성 유지). 특히 샘플링 모드에서 이 효과가 두드러집니다.
• 온도 (Temperature) 효과: 온도를 높일수록 분포가 평탄해져 하위 순위 토큰 선택 확률이 증가하므로, 순환 집합에 진입하는 시점이 지연되거나 방지됩니다.

다. 왕복 번역 및 생산성 MT 비교

• LLM vs Google Translate: 샘플링 기반 LLM 번역은 반복 사용 시 표면적 형태 (surface form) 의 변이가 매우 큽니다. 반면, Google Translate 와 같은 상용 기계 번역 서비스는 고정된 입력에 대해 거의 결정론적 (deterministic) 인 행동을 보여, 반복 시 거의 동일한 결과가 나옵니다.
• 의미 보존의 한계: 프롬프트가 의미 보존을 요구하더라도, 반복적인 재처리 과정에서 누적된 왜곡 (drift) 이 발생할 수 있습니다.

라. 문장 수준 vs 문단 수준

• 문단 (paragraph) 단위로 실험했을 때, 전체 문단이 정확히 반복되는 경우는 드뭅니다. 하지만 문단 내 개별 문장 수준에서는 여전히 빈번한 반복 (attractor-like behavior) 이 관찰되었습니다.

4. 주요 기여 (Key Contributions)

1. 형식적 프레임워크: LLM 의 반복적 추론 과정을 마르코프 생성 체인으로 체계화하여, 상태 전이, 순환 클래스, 일시적 단계 등을 분석 가능한 수학적 도구로 설명했습니다.
2. 모델 붕괴 (Model Collapse) 와의 구분: 기존 연구인 '모델 붕괴'는 학습 데이터가 합성 데이터로 대체되면서 발생하는 학습 시간 (training-time) 현상인 반면, 본 논문은 **추론 시간 (inference-time)**에 고정된 모델이 반복적으로 적용될 때 발생하는 역동성을 다룹니다. 이는 파라미터 업데이트 없이도 다양성이 감소하거나 (Greedy) 유지/증가 (Sampling) 할 수 있음을 보여줍니다.
3. 새로운 메트릭 제안: 토큰 수준이 아닌 문장 수준의 다양성과 반복성을 정량화하는 지표들을 제시했습니다.
4. 실용적 통찰: 다중 에이전트 LLM 시스템이나 인간 - LLM 상호작용에서 텍스트가 어떻게 진화하고 왜곡될 수 있는지에 대한 예측 가능한 패턴을 제시했습니다.

5. 의의 및 결론 (Significance)

이 연구는 LLM 이 생성한 콘텐츠가 반복적으로 재사용될 때 발생할 수 있는 정보의 왜곡과 다양성의 변화를 이해하는 데 중요한 기초를 제공합니다.

• 다중 에이전트 시스템: 여러 LLM 에이전트가 서로의 출력을 입력으로 사용하는 시나리오에서 시스템이 어떻게 수렴하거나 발산할지 예측하는 데 활용될 수 있습니다.
• 콘텐츠 품질 관리: 반복적인 재작성이나 번역 파이프라인에서 의미 손실이나 과도한 단순화가 발생할 수 있음을 경고하며, 적절한 디코딩 전략 (예: 샘플링 사용) 의 중요성을 강조합니다.
• 이론적 확장: 마르코프 체인 이론을 LLM 추론 역학에 적용함으로써, 확률적 연산자의 반복 적용에 따른 수렴, 주기성, 무작위 보행 (random walk) 등의 현상을 명확히 설명했습니다.

결론적으로, LLM 기반 텍스트 처리 파이프라인의 설계 시 디코딩 전략과 반복 횟수가 최종 텍스트의 품질과 다양성에 결정적인 영향을 미친다는 것을 입증했습니다.