🤖 machine learning

When More Becomes Less: Position-Dependent Repetition Effects in Language Models

이 논문은 토큰 반복이 언어 모델의 예측에 미치는 영향이 위치 의존적임을 입증하며, 인접한 반복은 타겟 확률을 일관되게 높이는 반면, 떨어진 반복은 확률이 정점에 도달했다가 증가함에 따라 감소하는 역 U자형 효과를 생성하여, 반복 효과가 읽기 위치와 상관없이 균일하다는 가설에 이의를 제기한다.

원저자: Han-yu Wang

게시일 2026-08-06

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Han-yu Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

AI의 뇌 속에서 벌어지는 반복의 비밀스러운 삶

당신이 로봇에게 이야기를 들려주는 법을 가르치고 있다고 상상해 보세요. 당신은 로봇에게 문장의 시작 부분 같은 프롬프트를 주고, 그다음 단어를 맞혀보라고 요청합니다. 이것이 바로 '거대 언어 모델(LLM)'이라 불리는 현대의 많은 인공지능(AI) 시스템이 작동하는 방식입니다. 이들은 인터넷에 있는 거의 모든 것을 읽은 초강력 자동 완성 엔진과 같습니다. 과학자들은 AI가 실제로 무언가를 '알고' 있는지 확인하기 위해 '클로즈 테스트(cloze test)'라는 기술을 자주 사용합니다. 이것은 빈칸 채우기 퍼즐과 같습니다. AI에게 단어가 빠진 문장을 보여주고, 올바른 단어를 맞힐 수 있는지 확인하는 것입니다.

수년 동안 연구자들은 AI의 뇌가 반복을 처리하는 방식에 대해 단순한 규칙을 믿어왔습니다. 그들은 만약 프롬프트 안에서 단어를 계속해서 반복하면, 인간이 어떤 개념을 더 많이 들을수록 그 개념에 더 익숙해지는 것처럼 AI도 그 단어에 대해 더 확신을 가질 것이라고 생각했습니다. 이를 '프라이밍(priming, 점화)'이라고 합니다. 만약 당신이 "사과, 사과, 사과"라고 말한다면, AI는 "좋아, 이건 확실히 사과에 관한 것이군!"이라고 생각하며 높은 확신을 가지고 "사과"를 예측할 것입니다. 과학자들은 이 확신이 문장의 어느 위치에서 질문을 던지더라도, 단어의 복사본을 더 많이 추가할수록 계속해서 높아질 것이라고 가정했습니다. 하지만 그 가정이 틀렸다면 어떨까요? 만약 AI의 뇌가 당신이 어디를 보라고 요청하느냐에 따라 다르게 작동한다면 어떨까요? 이것이 바로 한유 왕(Han-yu Wang)의 논문이 다루는 질문으로, "더 많은" 반복이 실제로 "더 적은" 확신으로 이어지는 특정한 조건에서의 기묘한 현상을 탐구합니다.

더 많아질수록 적어지는 때: AI의 건망증 지점

이 연구에서 연구자는 AI 모델이 반복에 어떻게 반응하는지 테스트하기 위해 영리하고 작은 실험을 설계했습니다. 당신에게 마법의 단어, 예를 들어 "고양이(cat)"가 있다고 상상해 보세요. 당신은 두 가지 다른 방식으로 이 단어를 AI에게 보여줄 수 있지만, 이야기의 시작 부분은 똑같이 유지합니다.

"바로 옆집" 테스트 (인접 프로브 - Adjacent Probe):
먼저, 문장의 끝까지 "고양이" 단어 목록을 길게 작성합니다: "고양이, 고로양이, 고양이, 고양이... [여기서 추측]." 그리고 AI에게 바로 다음 단어를 맞히라고 요청합니다.

결과: 기존의 규칙이 예측한 대로, AI는 점점 더 확신을 가졌습니다. "고양이" 단어를 더 많이 추가할수록, AI는 다음 단어가 "고양이"일 것이라고 더욱 확신했습니다. 그것은 마치 소리가 점점 커지는 드럼 비트와 같았습니다.

"새로운 시작" 테스트 (변위 프로브 - Displaced Probe):
그다음, 연구자는 교묘한 수를 썼습니다. 똑같이 긴 "고양이" 단어 목록을 문장 시작 부분에 썼지만, 그 뒤에 마침표를 찍고 완전히 새로운 문장 틀을 추가했습니다. 모양은 이렇습니다: "고양이, 고양이, 고양이, 고양이... . 하늘은 푸르다. [여기서 추측]."

결과: 여기서 마법 같은 트릭이 실패했습니다. AI는 더 확신을 갖는 대신, 기묘한 백플립(뒤로 공중제비)을 했습니다. 처음에는 몇 개의 "고양이" 단어를 추가하는 것이 도움이 되었습니다. 하지만 목록이 너무 길어지자마자(약 5개에서 10개 사이), AI는 확신을 잃기 시작했습니다. "고양이" 단어가 30개가 되었을 때, AI는 단 몇 개의 복사본이 있었을 때보다 "고양이"를 예측할 가능성이 오히려 더 낮아졌습니다.

연구자는 이 형태를 **"역 U자형(inverted-U)"**이라고 부릅니다. 이는 마치 AI가 처음에는 약간 흥분하지만, 새로운 문장으로 넘어가서 답을 찾아야 할 때는 엄청난 양의 반복에 압도되거나 혼란을 느끼는 것과 같습니다.

거대한 발견: 중요한 것은 어디를 보는가

이 논문의 가장 중요한 발견은 질문의 위치가 엄청나게 중요하다는 것입니다. 똑같은 반복 단어 목록이라도 목록 직후에 질문하면 AI를 더 똑똑하게 만들 수 있지만, 한 문장 뒤에 질문하면 AI를 더 멍청하게 만들 수 있습니다.

이 연구는 아주 작은 모델부터 매우 큰 모델까지 13개의 서로 다른 AI 모델을 대상으로 테스트했습니다. 그들은 이 "역 U자형" 패턴이 모든 모델에서 나타난다는 것을 발견했습니다. 이것은 특정 컴퓨터 뇌 하나에서 일어난 우연한 일이 아니었습니다. 그들은 심지어 스페인어, 중국어, 독일어, 프랑스어 등 4가지 다른 언어로도 테스트했지만, 똑같은 이상한 패턴이 나타났습니다. 이는 이 현상이 AI가 영어를 말하는 방식의 실수가 아니라, 이 모델들이 반복된 정보를 처리하는 방식의 근본적인 특이점임을 시사합니다.

그것이 아닌 것 (그리고 그것인 것)

연구자는 단순히 패턴을 찾는 데 그치지 않고, 왜 이런 일이 일어나는지 알아내기 위해 탐정 역할을 수행했습니다. 그들은 이것이 단순히 문장이 너무 길어서인지, 혹은 AI가 지쳐서인지, 아니면 "고양이"와 관련된 단어(예: "새끼 고양이"나 "가르릉")를 생각하고 있어서인지 확인하고 싶었습니다.

길이에 관한 것이 아님: 그들은 동일한 단어 수를 가진 문장에 반복되는 "고양이" 대신 무작위의 지루한 채우기 단어들을 넣어 테스트했습니다. 기묘한 확신 저하는 일어나지 않았습니다.
관련 단어에 관한 것이 아님: 그들은 반복되는 "고양이"를 의미가 같거나 관련된 단어로 교체해 보았습니다. 역시 확신 저하는 없었습니다.
정확한 반복에 관한 것임: 이 저하는 오직 똑같은 단어가 계속해서 반복될 때만 발생했습니다.

이는 AI가 단순히 긴 텍스트에 "지루함"을 느끼거나 "혼란"을 느끼는 것이 아님을 의미합니다. 새로운 문장이 시작되기 전, 똑같은 토큰(단어의 디지털 구성 요소)이 너무 많이 반복될 때 발생하는 구체적인 무언가가 있습니다.

AI의 뇌 내부

무슨 일이 일어나고 있는지 이해하기 위해, 연구자는 모델들의 "어텐션(attention, 주의 집중)" 메커니즘 내부를 들여다보았습니다. 어텐션을 AI가 문장의 서로 다른 부분에 비추는 스포트라이트라고 생각할 수 있습니다.

스포트라이트가 줄어듦: "고양이" 단어 목록이 늘어남에 따라, AI가 각 개별 "고양이" 단어에 주는 어텐션의 양은 작아졌습니다. 이는 타당합니다. 만약 당신에게 고정된 양의 스포트라이트가 있고 30개의 물체에 빛을 비춰야 한다면, 각 물체에 돌아가는 빛은 줄어들 수밖에 없습니다.
전체 예산이 늘어남 (일부 모델의 경우): 놀랍게도, 가장 큰 확신 저하를 보인 모델들에서는 "고양이" 단어 뭉치 전체에 대한 AI의 총 어텐션 양이 목록이 길어짐에 따라 실제로 증가했습니다. 그것은 마치 AI가 "이 모든 고양이들을 봐!"라고 소리 지르는 소리를 점점 더 크게 내고 있지만, 정작 새로운 문장으로 넘어갔을 때 그 외침이 특정 단어인 "고양이"를 기억하는 것을 방해하는 것과 같았습니다.

왜 관심을 가져야 하는가?

이 논문은 이러한 AI 모델이 얼마나 똑똑한지 테스트하려는 모든 사람을 위한 경고 라벨입니다. 만약 당신이 AI가 어떤 사실을 알고 있는지 확인하려는 과학자이고, AI를 "프라이밍"하기 위해 단어를 여러 번 반복하는 방법을 사용한다면, 당신은 예상과는 정반대의 결과를 얻게 될 수도 있습니다. 만약 당신이 한 문장 뒤에 질문을 던진다면, 당신은 의도치 않게 AI가 정답을 낼 가능성을 낮출 수도 있습니다.

이 연구는 질문의 위치를 중립적인 세부 사항으로 취급해서는 안 된다는 것을 보여줍니다. 어디에서 질문하느냐가 답을 바꿉니다. 이는 AI의 뇌가 복잡하고 때로는 직관에 반한다는 점을 상기시켜 줍니다. 때로는 단어를 너무 많이 듣는 것이 기억을 돕는 것이 아니라, 특히 답변하기 전에 잠시 기다려야 하는 상황이라면 오히려 잊게 만들 수도 있습니다.

연구자는 이 현상을 13개의 모델에서 테스트하여 모든 모델에서 발견했습니다. 그들은 42가지의 서로 다른 모델과 언어 조합을 확인했으며, 패턴은 매번 유지되었습니다. 그들이 정확히 왜 AI의 뇌가 이렇게 작동하는지(이는 상관관계이지 메커니즘에 대한 완전한 설명은 아닙니다) 말할 수는 없지만, 이 "더 많아질수록 적어지는" 효과가 실제적이고 일관되며 전반적으로 발생한다는 것을 입증했습니다. 이것은 이 디지털 뇌가 실제로 어떻게 생각하는지에 대한 퍼즐을 풀 수 있는 작지만 결정적인 조각입니다.

기술 요약: 언어 모델의 위치 의존적 반복 효과 (Position-Dependent Repetition Effects)

문제 제기

언어 모델(LM)에 대한 클로즈 스타일(cloze-style) 프로빙 연구들은 예측(예: 의미적 프라이밍 또는 인컨텍스트 러닝)에 미치는 영향을 측정하기 위해 프롬프트 내 타겟 토큰의 빈도를 빈번하게 변화시킨다. 이러한 연구들은 리드아웃 위치(readout position, 모델의 예측이 샘플링되는 지점)가 조작 변수와 직교한다고, 즉 반복의 효과가 예측 슬롯이 반복 블록 바로 뒤에 위치하든 새로운 문장 프레임으로 밀려나 있든 상관없이 예측 확률에 미치는 영향이 일관될 것이라고 암묵적으로 가정한다.

본 논문은 이러한 가정에 이의를 제기하며, 리드아웃 슬롯의 위치가 반복이 인출(retrieval)에 미치는 방식에 근본적인 변화를 일으킨다는 점을 입증한다. 구체적으로, 반복이 반복 블록에 인접해 있을 때는 단조로운 프라이밍(monotonic primer) 역할을 하는 반면, 슬롯이 밀려난 경우에는 비단조적인 "역 U자형(inverted-U)" 효과를 생성하여, 반복 횟수가 일정 수준을 넘어 증가함에 따라 타겟의 확률이 감소하게 만든다.

방법론

2-프로브 설계 (The Two-Probe Design)

저자는 리드아웃 위치의 효과를 격리하기 위해 매칭된 프리픽스(matched-prefix) 실험 설계를 도입하였다:

인접 프로브 (Adjacent Probe): 예측 슬롯이 타겟 토큰 $N$ 개가 포함된 프리픽스 바로 뒤에 배치된다 (예: target × N [MASK]).
변위 프로브 (Displaced Probe): 동일한 프리픽스 뒤에 오는 새로운 문장 프레임 안으로 예측 슬롯이 이동한다 (예: target × N . <fresh frame> [MASK]).

연구는 반복되는 타겟 프리픽스는 고정시킨 채 슬롯의 위치만을 변화시킨다. 반복 횟수 $N$ 은 0에서 30까지의 범위를 갖는다.

실험 설정

모델: ModernBERT-base/large를 포함한 2개의 마스크 언어 모델(MLM)과 다양한 크기 및 구조를 가진 11개의 인과적 언어 모델(CLM, Qwen2.5 패밀리, SmolLM2, Phi-3.5, OLMo-2 포함)을 포함한 13개의 오픈 액세스 언어 모델을 테스트하였다.
타겟: 토크나이저별로 단일 토큰 유효성을 보장하도록 필터링된 261개의 수작업 큐레이션 단일 토큰 명사들이다.
언어: 다국어 체크포인트를 사용하여 영어, 스페인어, 중국어, 독일어, 프랑스어에서 효과를 재현하였다.
지표: 주요 통계량은 $peak_w$ 를 $N \in \{1, 3, 5, 10, 20, 30\}$ 에 대한 단어의 최대 확률이라고 할 때, 단어당 하락폭(per-word drop), 즉 $(peak_w - P(N=30)_w) / peak_w$ 로 정의된다. 0을 제외하는 부트스트랩 신뢰 구간을 갖는 양(+)의 하락값은 역 U자형 효과를 나타낸다.

절제 실험 및 대조군 (Ablation and Controls)

메커니즘을 격리하기 위해 저자는 다음을 수행하였다:

6가지 조건의 인과적 절제 (Causal Ablation): 반복 블록을 절단된 반복, 삭제, 무작위 채움(random fillers), 의미적 이웃 채움(semantic-neighbour fillers), 관련 없는 반복으로 대체하였다.
프레임 프래그매틱스 제어 (Frame-pragmatics control): 특정 프레임 구조의 아티팩트를 배제하기 위해 문장 프레임을 다양화하였다.
사전 명시된 정답 (Pre-stated answer): 프롬프트 시작 부분에 타겟을 명시적으로 제공하여 다른 인출 경로가 존재할 때도 효과가 지속되는지 테스트하였다.
내부 분석: 타겟 토큰당 어텐션과 반복 블록에 할당된 총 어텐션 예산을 측정하였다.

주요 결과

1. 변위된 역 U자형 (The Displaced Inverted-U)

핵심 발견은 두 프로브 위치 사이의 행동적 해리(behavioral dissociation)이다:

인접 슬롯 (Adjacent Slot): $P(\text{target})$ 은 $N$ 에 따라 단조롭게 상승하여 정체(plateau)되며, 이는 표준적인 프라이밍 직관과 일치한다.
변위 슬롯 (Displaced Slot): $P(\text{target})$ 은 초기 피크(통상적으로 $N \in \{1, 3, 5, 10\}$ )까지 상승한 후, $N$ 이 30으로 증가함에 따라 감소한다. 이 "변위된 역 U자형"은 테스트된 모든 13개 모델에서 관찰되었으며, 모든 경우에서 per-word drop이 통계적으로 유의미했다(신뢰 구간이 0을 제외함).

2. 견고성 및 일반화

교차 언어적 특성: 이 효과는 스페인어, 중국어, 독일어, 프랑스어의 42개 셀(4개 모델 × 4개 언어 × 3개 프레임)에서 재현되었다.
규모 및 구조: 효과는 모델 크기(360M ~ 14B 파라미터)와 구조(MLM 및 CLM) 전반에 걸쳐 나타난다. 그러나 효과의 크기는 파라미터 수의 단조 함수가 아니다. 예를 들어, Qwen2.5 패밀리 내에서 1.5B와 14B 모델은 7B 모델보다 더 큰 하락을 보였다.
지시 튜닝 (Instruction Tuning): 지시 튜닝(예: Qwen2.5-7B vs. Qwen2.5-7B-Instruct)은 효과를 제거하지 못했으며, 어떤 경우에는 하락의 크기를 오히려 키웠다.

3. 인과적 메커니즘

정확한 어휘적 반복: 효과는 타겟의 정확한 어휘적 반복에 의해 구동된다. 의미적 이웃 채움(타겟의 의미 영역을 활성화함)은 역 U자형을 재현하는 데 실패했으며, 무작위 채움이나 삭제는 효과를 완전히 없앴다.
길이 또는 중복성 아님: 효과는 시퀀스 길이 또는 일반적인 중복성의 함수가 아니다.
내부 상관관계:
- 토큰당 어텐션: 각 개별 타겟 토큰이 받는 어텐션은 $N$ 이 증가함에 따라 감소한다.
- 총 블록 예산 (Total Block Budget): Causal LM의 경우, 반복 블록에 할당된 총 어텐션 예산은 $N$ 에 따라 증가(sub-dilution)하는 반면, Masked LM에서는 예산이 거의 일정하게 유지된다. 이는 자기회귀적 학습이 특정 역학을 유도하여, 모델이 반복 블록에 점점 더 많은 자원을 할당함에도 불구하고 변위된 맥락에서는 개별 토큰의 신호가 저하됨을 시사한다.

의의 및 주장

본 논문은 두 가지 주요 기여를 주장한다:

경험적 발견: 현재의 오픈 액세스 언어 모델들은 변위된 슬롯에서 정확한 어휘적 반복을 가산적(additively)으로 집계하는 데 실패한다. 타겟의 복사본을 추가하는 것이 실제 스코어링되는 절(clause) 너머의 확률을 낮출 수 있으며, 이는 동일한 프리픽스가 인접한 슬롯에는 성공적으로 프라이밍을 수행함에도 불구하고 발생한다. 이는 반복 효과가 위치에 독립적이라는 가정에 반한다.
방법론적 도구: "매칭된 프리픽스 2-프로브 설계"는 국소적 패턴 지속(local pattern continuation)과 변위된 인출(displaced retrieval)을 분리하는 도구를 제공한다. 저자는 반복되는 콘텐츠를 포함하는 모든 통제된 프로빙 연구(예: 인컨텍스트 러닝 벤치마크, 사실적 지식 프로브)는 리드아웃 위치를 조작 변수와 직교하는 것으로 취급해서는 안 된다고 주장한다. 한 위치에서는 단조로운 프라이밍으로 나타나는 조작이, 실제로 점수가 매겨지는 위치에서는 역전될 수 있기 때문이다.

저자는 내부 프로브가 상관관계적이라는 점을 언급하며 메커니즘에 대해 겸허한 태도를 유지하고 있다. 저자는 이 효과가 소프트맥스 협력(softmax cooperation), 어텐션 싱크 역학(attention-sink dynamics), 또는 자기회귀 특유의 최신성 우선순위(recency priors)에서 기인할 수 있다고 제안하지만, 데이터만으로는 이 후보들을 구분할 수 없다. 또한 SmolLM2-1.7B가 평균 곡선 역전(mean-curve inversion)에서 예외를 보인 점 등 한계점도 명시하였다.