💬 NLP

Repeated Sequences Reveal Gaps between Large Language Models and Natural Language

본 논문은 반복되는 부분 시퀀스와 렌지 엔트로피를 기반으로 한 새로운 평가 프레임워크를 제시하여, 자연어는 안정적인 장기 구조적 조직을 보이는 것과 달리 최첨단 대규모 언어 모델은 엔트로피 성장 패턴에서 체계적이고 규모에 의존적인 편차를 보임을 입증함으로써, 표면적 유창성을 넘어 텍스트의 깊은 통계적 구조를 포착하는 방식에 근본적인 격차가 있음을 밝힌다.

원저자: Kumiko Tanaka-Ishii

게시일 2026-05-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kumiko Tanaka-Ishii

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 글은 이 논문을 쉬운 언어와 창의적인 비유를 사용하여 설명한 것입니다.

핵심 아이디어: 유창함 대 구조

두 사람이 이야기를 들려준다고 상상해 보세요.

A 사람은 완벽하게 말합니다. 모든 문장이 매끄럽게 흐르고, 문법은 정확하며, 결코 더듬지 않습니다.
B 사람 또한 완벽하게 말하지만, 비밀이 하나 있습니다. 사실 그들은 몇 가지 구절만 반복해서 말하거나, 새로운 모양을 만들어 내는 일 없이 미리 만들어진 작은 레고 블록들을 이어 붙여 이야기를 구성하고 있을 뿐입니다.

오랫동안 우리는 GPT 와 같은 대규모 언어 모델 (LLM) 이 인간과 똑같이 들릴 정도로 매우 발전했다고 생각했습니다. 하지만 이 논문은 더 깊은 질문을 던집니다. 과연 그들이 내부에서부터 긴 이야기를 어떻게 구축하는지 실제로 이해하고 있는 것일까요, 아니면 단순히 단기적으로는 매끄럽게 들리는 데만 매우 능숙한 것일까요?

저자 다나카 이시이 쿄미코는 문법적으로 의미가 있는지 확인하는 것이 아니라, 긴 거리를 두고 자신의 단어와 패턴을 어떻게 재사용하는지를 살펴봄으로써 이러한 이야기들을 '듣는' 새로운 방식을 개발했습니다.

도구: '메아리' 감지기

차이를 찾기 위해 저자는 **반복되는 부분열 (Repeated Subsequences)**이라는 개념을 사용합니다.

텍스트를 긴 복도로 생각해보세요.

자연어 (인간): 인간이 소설을 쓸 때, 초반에 씨앗을 심습니다. 등장인물, 주제, 또는 특정 구절을 소개합니다. 이야기가 진행됨에 따라 그들은 그 씨앗들을 다시 찾아와 물을 주고 새로운 가지를 키워냅니다. 이야기가 스스로에게 '메아리'를 치는 것입니다. 새로운 의미를 만들어내기 위해 오래된 구조들을 재사용합니다.
LLM(인공지능): 저자는 AI 모델들이 종종 고장 난 레코드나 미로 같은 거울방처럼 행동한다고 발견했습니다. 그들은 무언가를 반복할 수는 있지만, 이야기의 오래된 부분들이 새로운 부분을 지지하기 위해 능동적으로 재구성되는那种 깊은 구조적 '메아리'는 없는 것처럼 보입니다.

이 논문은 문서의 후반부에 작은 텍스트 덩어리 (예: 5 글자 또는 10 글자 시퀀스) 가 몇 번이나 다시 나타나는지 세어 이를 측정합니다.

두 가지 성장 유형: 정원 대 공장

이 논문은 텍스트가 길어짐에 따라 '정보'가 어떻게 성장하는지 비교합니다. 이는 두 가지 주요 방식으로 발생할 수 있음을 밝힙니다.

멱법칙 정원 (자연어):
새로운 고유한 꽃들을 계속 심되, 같은 트레일리스와 울타리를 계속 재사용하여 그들을 지지하는 정원을 상상해 보세요. 정원이 커짐에 따라 꽃의 다양성은 증가하지만, 구조 (울타리와 트레일리스) 는 계속해서 재사용됩니다.
이 논문은 인간의 글쓰기가 이와 같이 행동한다고 발견했습니다. 이는 '로그 - 멱 (Log-Power)' 패턴을 따릅니다. 이는 텍스트가 자신의 구조적 DNA 를 끊임없이 재활용한다는 것을 의미합니다. 이는 효율적이고 깊이 있게 상호 연결되어 있습니다.
공장 라인 (AI 모델):
공장이 계속해서 제품을 쏟아내는 상황을 상상해 보세요. 공장이 더 오래 가동될수록 약간 다른 제품들을 계속 만들어내지만, 내부 설계도 자체를 깊이 있고 재귀적으로 재사용하는那种 특성은 없는 것처럼 보입니다.
이 논문은 AI 모델, 특히 이전 버전이나 작은 모델들이 다르게 행동한다고 발견했습니다. 그들은 인간 글쓰기에서 발견되는那种 깊은 효율적 재사용 없이 끊임없이 새로운 구조적 복잡성을 생성한다는 것을 시사하는 '멱법칙 (Power-Law)' 패턴을 보입니다.

실험: '셔플' 테스트

저자는 다음을 대상으로 이를 테스트했습니다.

인간이 쓴 소설 (프로젝트 구텐베르크에서 가져온 것).
AI 가 생성한 이야기 (GPT-3.5, GPT-4 및 최신 모델이 생성한 것).

비교가 공정하도록 길이를 맞췄습니다. 그런 다음 텍스트가 스스로를 어떻게 재사용하는지 보기 위해 수학적 '메아리 테스트' ( 레니 엔트로피 사용) 를 수행했습니다.

결과:

인간: 책의 길이가 어떻든 상관없이 '메아리' 패턴은 안정적으로 유지되었습니다. 인간은 예측 가능하고 효율적인 방식으로 자신의 구조적 패턴을 일관되게 재사용했습니다.
AI: AI 의 패턴은 모델의 '크기'에 따라 달라졌습니다.
- 작은 AI 모델들은 구조를 재사용 (또는 재사용하지 못함) 하는 방식에서 매우 혼란스러웠습니다.
- AI 모델이 커질수록 (GPT-5 와 같이) 인간과 더 비슷해지기 시작했지만, 여전히 체계적인 차이가 있었습니다. 그들은 '메아리'를 모방하는 데는 더 능숙해지고 있었지만, 이야기를 구축하는 방식의 근본적인 수학은 인간 작가와 여전히 구별되었습니다.

'최대 반복' 함정

이 논문은 텍스트에서 가장 긴 반복 구절 (예: 두 번 나타나는 가장 긴 문장 찾기) 도 살펴보았습니다.

이전 연구들은 이러한 '극단적' 반복에 초점을 맞췄습니다.
저자는 이는 가장 높은 나무만 보고 숲을 이해하려는 것과 같다고 주장합니다. 이는 불안정하고 오해의 소지가 있습니다.
대신, 모든 반복된 덩어리 ( '분포') 를 살펴보는 것이 텍스트의 진정한 구조에 대해 훨씬 더 명확하고 안정적인 그림을 제공합니다.

결론

이 논문은 AI 가 '나쁘다'거나 좋은 이야기를 쓸 수 없다고 말하지 않습니다. AI 와 인간은 이야기를 구축하는 방식이 다르다고 말합니다.

인간은 자신의 과거 단어와 구조를 끊임없이 참조하고 재결합하여 쓰며, 이는 특정한 수학적 방식 (로그 - 멱) 으로 성장하는 밀집되고 효율적인 의미의 그물을 만들어냅니다.
AI는 다음 단어를 예측하여 쓰며, 이는 다른 종류의 성장 패턴 (멱법칙에 더 가까움) 을 만들어냅니다. 가장 똑똑한 AI 모델조차도 긴 거리를 두고 구조를 재활용하는 인간의 예술을 완전히 마스터하지는 못했습니다.

저자는 우리가 AI 를 측정하기 위한 새로운 도구가 필요하다고 결론지었습니다. 우리는 단순히 "시험에 통과했는가?" 또는 "유창한가?"라고 물을 수 없습니다. 우리는 "인간이 세상을 구축하는 방식으로 세상을 구축하는가?"라고 물어야 합니다. 그리고 지금 당장의 답은 다음과 같습니다. 아직은 아닙니다.

기술 요약: 반복 시퀀스가 대형 언어 모델과 자연어 간의 격차를 드러냄

문제 제기
대형 언어 모델 (LLM) 은 국소적 맥락에서 높은 유창성과 일관성을 보이지만, 자연어의 장기적 통계적 조직을 포착하는지 여부는 여전히 해결되지 않은 과제로 남아 있습니다. 기존 평가 방법들은 작업 기반 벤치마크나 짧은 맥락 분석에 크게 의존하므로, 생성된 텍스트의 전역적 구조에 관한 간접적 증거만 제공합니다. 이전 연구들은 LLM 출력에서 과도한 반복과 다양성 감소를 지적하며, 높은 작업 수행 능력이 인간과 유사한 장기적 구조를 보장하지 않음을 시사했습니다. 구체적으로, 자연어와 LLM 이 긴 구간에서 확립된 구조적 요소를 어떻게 재사용하는지 구별할 수 있는 정량적 진단 도구가 부족합니다.

방법론
저자들은 반복된 부분 시퀀스의 분포를 다양한 규모에 걸쳐 분석하고, 이러한 통계를 고차 레니 엔트로피 (higher-order Rényi entropies) 와 연결하는 보완적 평가 프레임워크를 제안합니다.

반복 부분 시퀀스 카운팅: 이 방법은 길이 $n$ 인 시퀀스 내 길이 $m$ 의 반복 블록 수 ( $D_m$ ) 를 정의합니다. 수치적으로 불안정할 수 있는 최대 반복에 초점을 맞춘 분석과 달리, 이 접근법은 모든 반복 부분 시퀀스의 분포를 검토합니다.
고차 레니 엔트로피: 저자들은 반복 블록의 스펙트럼을 $\alpha \ge 2$ 차수의 레니 엔트로피 ( $H_\alpha$ ) 와 연관시킵니다. 이를 통해 유한 길이에서의 엔트로피 증가를 특성화할 수 있습니다. 경험적 엔트로피 $\hat{H}_\alpha(m)$ 는 관찰된 블록 유형의 빈도에 기반하여 계산됩니다.
기능적 특성화: 이 논문은 구별 가능한 유효 블록 수 ( $\log_2 S_m$ $lo g_{2} S_{m}$ ) 의 증가를 두 가지 아선형 (sublinear) 형태로 모델링합니다.
- 멱법칙 안자트 (Power-law ansatz): $\log_2 S_m \propto m^\beta$ , 이는 확장되는 구조적 자유도와 관련됩니다.
- 로그 - 멱법칙 안자트 (Logarithmic–power ansatz): $\log_2 S_m \propto (\log_2 m)^\gamma$ , 이는 설명 길이가 시퀀스 길이에 비해 느리게 증가하는 강한 구조적 재사용과 관련됩니다.
추정 절차: 유한 크기 효과를 처리하기 위해 2 단계 추정 절차가 사용됩니다. 먼저, 총 블록 수와 고유 블록 수의 비율에 기반하여 Touchard 다항식에서 유도된 보정 항 ( $\Delta_\alpha$ ) 을 추정합니다. 둘째, 지수 $\beta$ 와 $\gamma$ 를 보정된 경험적 엔트로피 값에 적합시킵니다.

실험 설정
이 연구는 자연어 텍스트와 gpt-3.5turbo, gpt-4o-mini, gpt-5-mini, gpt-5의 네 가지 모델 세대에 걸쳐 생성된 GPT 텍스트를 비교합니다.

데이터셋: 자연어 텍스트는 GPT 출력의 길이 분포와 일치하도록 프로젝트 구텐베르크 (소설) 에서 샘플링되었습니다. 모든 텍스트는 메타데이터와 비알파벳 문자를 제거하기 위해 전처리되었습니다.
통제: 실험은 각 카테고리당 100 개의 텍스트로 수행되었으며, 시퀀스 길이 효과를 통제하기 위해 길이 분포를 일치시켰습니다. 에세이 및 과학적 글쓰기에 대한 추가 테스트는 서사 텍스트에서 관찰된 경향이 장르 전반에 걸쳐 일관됨을 확인했습니다.

주요 결과

모델 적합성: 데이터셋 전반에 걸쳐 로그 - 멱법칙 모델은 특히 긴 텍스트의 경우 자연어에 대해 멱법칙 모델보다 일반적으로 더 나은 적합도 ( $R^2 > 0.97$ ) 를 보였습니다. 이는 자연어 엔트로피 증가가 새로운 구조적 자유도의 지속적인 확장보다는 구조적 재사용에 의해 지배됨을 시사합니다.
자연어의 안정성: 자연어는 개별 텍스트 간의 변동성에도 불구하고 다양한 데이터셋과 텍스트 길이에 걸쳐 안정적인 엔트로피 증가 패턴 (평균 지수 $\beta$ 및 $\gamma$ ) 을 나타냈습니다. 이는 집단 수준에서 "약한 보편성 (weak universality)"의 형태를 나타냅니다.
LLM 의 체계적 변화: 반면, GPT 생성 텍스트는 모델 크기가 증가함에 따라 추정된 지수에서 체계적이고 통계적으로 유의미한 변화를 보였습니다.
- 작은 모델 (예: gpt-3.5turbo) 은 로그 - 멱법칙 모델을 강력하게 선호했으나 다른 지수 특성을 보였습니다.
- 모델 크기가 gpt-5로 증가함에 따라 $\beta$ 와 $\gamma$ 모두 단조 증가하여 자연어의 안정된 패턴에서 멀어졌습니다.
- 통계적 테스트 (Welch 두 표본 t-검정) 는 자연어와 GPT-5 출력 간의 명확한 분리를 확인했습니다 ( $p \approx 0$ ).
최대 반복과의 비교: 최대 반복 부분 시퀀스의 증가 (지수 $\eta$ ) 는 gpt-5와 자연어 간에 일부 수렴을 보였으나, 제안된 분포 기반 방법은 장기적 조직에서 더 뚜렷하고 체계적인 차이를 드러냈습니다.

주요 기여

분포적 공식화: 이 논문은 최대 반복 통계의 불안정성을 넘어 고차 레니 엔트로피를 통한 엔트로피 증가의 유한 길이 특성화를 가능하게 하는 반복의 분포적 공식화를 제안합니다.
구조적 진단: 이는 엔트로피 증가 행동에서 자연어와 LLM 생성 텍스트 간의 체계적 차이를 입증합니다. 구체적으로, 자연어는 안정적이고 재사용이 지배적인 패턴을 보이는 반면, LLM 은 모델 크기와 상관되는 구조적 조직의 체계적 변화를 보임을 밝혀냅니다.

의의 및 주장
이 논문은 반복 부분 시퀀스 엔트로피가 표면적 유창성이나 작업 기반 평가로는 보이지 않는 장기적 조직의 체계적 차이를 드러낼 수 있는 정량적 구조 진단 도구로 작용한다고 주장합니다.

저자들은 자연어에서의 로그 - 멱법칙 스케일링을 "강한 구조적 재사용"의 증거로 해석하며, 이는 텍스트가 공유된 언어 자원의 재조합 및 재색인을 통해 생성됨을 의미합니다. 반면, LLM 의 변화하는 지수는 이러한 "참조로서의 구조 (structure-as-reference)" 조직의 더 약한 발현을 시사하며, 이는 다음 토큰 예측 목적과 유한 맥락 활용 때문일 수 있습니다. 이 연구는 현재의 최첨단 LLM 이 유창함에도 불구하고 자연어의 장기적 통계적 조직을 완전히 재현하지 못함을 입증하며, 생성된 텍스트의 구조적 충실도를 평가하는 새로운 지표를 제공합니다.