💬 NLP

Frontier Language Models Struggle to Copy: Text Can Be Better Viewed in 2D

이 논문은 최첨단 언어 모델들이 표준 1D 위치 인코딩의 한계로 인해 텍스트를 복사하는 데 어려움을 겪는다는 점을 입증하며, 텍사를 2D 그리드로 구성하여 합성 및 대규모 사전 학습 작업 모두에서 우수한 복사 성능과 일반화 능력을 가능하게 하는 2D-RoPE를 제안한다.

원저자: Haodong Wen, Yiran Zhang, Yingfa Chen, Kaifeng Lyu

게시일 2026-07-20

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Haodong Wen, Yiran Zhang, Yingfa Chen, Kaifeng Lyu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 똑똑한 로봇에게 읽고 쓰는 법을 가르치고 있다고 상상해 보세요. 당신은 그 로봇에게 방대한 양의 책이 담긴 도서관을 주고, 로봇은 문장에서 다음에 올 단어를 놀라운 정확도로 예측하는 법을 배웁니다. 이 로봇이 바로 오늘날 우리가 사용하는 많은 AI 도구들의 두뇌인 '대규모 언어 모델(LLM)'입니다. 하지만 여기 함정이 있습니다. 이 로봇들은 인간처럼 '읽지' 않습니다. 그들은 텍스트를 실에 꿰어진 긴 구슬 한 줄로 봅니다. 이 줄에서 자신이 어디에 있는지 이해하기 위해, 그들은 '위치 인코딩(positional encoding)'이라 불리는 것을 사용합니다. 이것을 모든 구슬에 붙은 보이지 않는 라벨이라고 생각하면 됩니다. 이 라벨은 로봇에게 "너는 5번째 구슬이야" 또는 "너는 100번째 구슬이야"라고 알려줍니다.

오랫동안 과학자들은 이 로봇들이 너무 똑똑해져서 거의 모든 퍼즐을 풀 수 있을 것이라고 생각했습니다. 하지만 고칠 수 없는 이상하고 당혹스러운 결함이 하나 있었습니다. 만약 로봇에게 숫자나 문자의 나열을 본 그대로 똑같이 복사하라고 시키면, 그 문자열이 기억 용량 안에 들어올 만큼 짧더라도 가끔 실패하곤 했습니다. 이는 마치 사람에게 책의 한 문장을 베껴 쓰라고 했을 때, 자신이 줄의 어디에 있는지 혼동하여 단어를 빼먹거나 글자 두 개를 바꾸어 쓰는 것과 같습니다. 큰 의문은 이것이었습니다. 시를 쓰고 수학 문제를 풀 수 있는 기계가 왜 단순히 목록을 복사하는 일에는 어려움을 겪는 것일까요?

이 논문은 바로 그 미스터리를 조사합니다. 칭화대학교 연구진인 저자들은 로봇의 '라벨'(위치 인코딩)이 실제로 문제였다는 사실을 발견했습니다. 텍니다에 라벨을 붙이는 표준적인 방식은, 특히 텍ext에 반복되는 패턴이 있을 때 로봇이 복사해야 할 정확한 지점을 찾는 것을 어렵게 만듭니다. 특정 위치를 보는 대신, 로봇은 근처에 있는 비슷하게 생긴 텍스트 덩어들에 의해 주의가 분산됩니다. 이를 해결하기 위해 연구진은 새로운 아이디어를 시도했습니다. 텍스트를 하나의 긴 선으로 취급하는 대신, 스프레드시트의 행과 열처럼 격자 형태로 배열하면 어떨까 하는 것이었습니다. 그들은 2D-RoPE라고 불리는 새로운 시스템을 만들었습니다.

이 새로운 시스템을 테스트했을 때, 결과는 놀라웠습니다. 실험에서 2D 격자를 사용하는 모델들은 훈련 과정에서 본 것보다 수백 배 더 긴 문자열일지라도 완벽하게 복사해 냈습니다. 반면, 표준 모델들은 계속해서 실패했습니다. 연구진은 텍스트를 행과 열으로 구성함으로써 복사 작업이 로봇에게 훨씬 더 단순해진다는 것을 보여주었습니다. 즉, 바로 위 행의 같은 열을 보기만 하면 되는 것입니다. 또한 그들은 텍스트에 명확한 줄 바꿈이 없더라도 스스로 격자 구조를 파악할 수 있는 더 똑똑한 버전인 Auto-2D-RoPE를 구축했습니다.

이 논문은 텍스트 데이터를 조직하는 방식의 이러한 간단한 변화가, 원시 데이터를 코드로 변환하는 것과 같이 기초적인 작업(복사와 포맷팅 등)에서 AI를 훨씬 더 뛰어나게 만들 수 있다고 제안합니다. 연구진은 이 새로운 방법이 단순한 복사 작업에 효과적임을 수학적으로 증명하고 대규모 테스트를 통해 입증했지만, 이것이 여전히 활발히 연구 중인 분야라는 점도 언급했습니다. 그들은 이 발견이 다른 이들이 AI가 텍스트를 어떻게 '보는지'를 다시 생각하도록 독려하기를 바라며, 때로는 세상을 2차원으로 바라보는 것이 직선으로 바라보는 것보다 더 낫다는 것을 증명하고자 합니다.

기술 요약: 프런티어 언어 모델의 복사 능력 결여: 텍스트는 2D로 볼 때 더 나을 수 있다

문제 정의

복잡한 추론 작업에서 최첨단 성능을 달-성함에도 불구하고, 프런티어 대규모 언어 모델(LLM)은 정확한 문자열 복사(exact string copying)를 수행하는 데 있어 근본적인 실패를 보입니다. 저자들은 모델의 컨텍스트 윈도우가 입력 문자열보다 훨씬 큼에도 불구하고, 특히 입력에 반복되는 부분 문자열이 포함되어 있거나 시퀀스 길이가 학습 분포를 초과할 때 입력 시퀀스를 정확하게 재현하지 못한다는 점을 입증했습니다.

본 논문은 두 가지 주요 실패 모드를 식별합니다:

길이 일반화 실패 (Length Generalization Failure): 입력 길이가 증가함에 따라 복사 정확도가 저하되며, 모델의 컨텍스트 윈도우 내에 충분히 들어오는 길이임에도 불구하고 정확도가 50% 미만으로 떨어지는 경우가 빈번합니다.
반복 민감도 (Repetition Sensitivity): 모델은 반복되는 패턴(예: 주기적 신호 또는 재귀적 구조)이 포함된 입력에 대해 크게 어려움을 겪으며, 이는 모델이 정밀한 위치 기반 검색보다는 로컬 컨텍스트 매칭에 의존하고 있음을 시사합니다.

저자들은 이러한 실패가 표준 위치 인코딩(RoPE와 같은)의 귀납적 편향(inductive bias)에서 기인한다고 가설을 세웠습니다. 모델은 $k$ 번째 토큰을 절대적 또는 상대적 인덱스에 기반하여 검색하는 대신, 입력 내의 유사한 로컬 부분 문자열을 찾는 "컨텍스트 기반" 지름길(shortcut)을 사용하는 것으로 보입니다. 반복되는 부분 문자열이 존재할 경우 이 메커니즘은 모호해지며, 결과적으로 오류를 유발합니다.

방법론

1. 진단 분석

저자들은 광범위한 벤치마크를 통해 문제의 존재를 먼저 확립합니다:

이진 복사 (Binary Copy): 모델에게 균등 분포, 불균형 분포 또는 재귀적 플립(recursive-flip) 분포를 통해 생성된 이진 문자열을 복사하도록 합니다.
파이썬 리스트 변환 (Python List Conversion): 모델이 쉼표로 구분된 물리 센서 데이터를 파이썬 리스트로 변환하도록 합니다.
기계적 해석 가능성 (Mechanistic Interpretability): 어텐션 맵 분석 결과, 표준 RoPE 모델은 깨끗한 위치 기반 정렬을 학습하지 못함을 확인했습니다. 대신 다음과 같은 혼합된 양상을 보입니다:
- 수평 패턴 (Horizontal patterns): 고정된 구분자(예: <\n>, <I:>)에 어텐션을 주는 방식으로, 이는 보지 못한 길이에 대해 실패하는 위치 기반 지름길입니다.
- 대각선 패턴 (Diagonal patterns): 로컬 컨텍스트를 매칭하는 유도 헤드(induction-head) 동작으로, 부분 문자열이 반복될 때 실패합니다.

2. 제안된 솔루션: 2D-RoPE

입력 문자열 $x_1, \dots, x_n$ 을 출력 $y_1, \dots, y_n$ 으로 복사하는 것이 구조적으로 2D 연산(두 개의 행)이라는 관찰에 착안하여, 저자들은 2D-RoPE를 제안합니다.

개념: 텍스트를 1D 시퀀스가 아닌 2D 그리드로 구성합니다. 뉴라인(newline) 토큰 <\n>은 행 구분자 역할을 합니다.
위치 ID (Position IDs): 각 토큰에는 $(r_i, c_i)$ 쌍이 할당됩니다. 여기서 $r_i$ 는 행 인덱스이고, $c_i$ 는 해당 행 내의 열 인덱스입니다.
메커니즘: RoPE 어텐션은 행과 열 좌표에 대해 각각 별도로 적용됩니다. 복사 작업에서 소스 토큰 $x_k$ 와 타겟 토큰 $y_k$ 는 동일한 열 인덱스를 공유합니다. 따라서 복사는 이전 행의 동일한 열에서 토큰을 검색하는 작업으로 축소되며, 이는 단일 어텐션 레이어가 길이 의존적인 1D 오프셋보다 기하학적으로 더 단순하게 학습할 수 있는 고정 오프셋 연산입니다.

3. 적응형 변형: Auto-2D-RoPE

자연어 텍스트에는 행을 정의하기 위한 명시적인 줄 바꿈이 항상 포함되어 있지 않을 수 있다는 점을 인식하여, 저자들은 Auto-2D-RoPE를 도입합니다.

고정된 구분자 토큰에 의존하는 대신, 이 변형은 데이터 의존적 변환을 학습합니다.
각 레이어에서 모델은 토큰 은닉 상태(hidden states)를 기반으로 업데이트 계수를 예측하여 2D 좌표가 어떻게 진화하는지(열을 증가시킬지, 아니면 열을 리셋하고 행을 증가시킬지) 결정합니다.
이를 통해 모델은 명시적인 뉴라인 구분자 없이도 2D 구조를 적응적으로 추론할 수 있으며, 길이 일반화 능력을 유지할 수 있습니다.

주요 기여

복사 실패의 실증적 증거: 본 논문은 프런티어 LLM(GPT-5.5, Gemini 3.1 Pro, DeepSeek V4 Pro 포함)이 특히 길거나 반복적인 시퀀스에서 정확한 복사 작업에 실패함을 보여주는 엄격한 벤치마크를 제공하며, 이는 기본 알고리즘 능력이 거대 모델에 의해 마스터되었다는 가정을 반박합니다.
이론적 및 기계적 진단:
- 표현력 이론 (Expressivity Theory): 저자들은 시프트 불변(shift-invariant) 위치 인코딩을 가진 1계층 트랜스포머는 짧은 시퀀스( $n \le 5$ )에 대해 이진 복사를 해결할 수 없지만, 2계층 RoPE 모델은 가능하다는 것을 증명합니다. 이는 실패의 원인이 표현력의 한계가 아니라 학습의 귀납적 편향에 있음을 시사합니다.
- 어텐션 분석: 학습된 모델이 견고한 알고리즘보다는 취약한 위치 기반 및 컨텍스트 기반 휴리스틱의 혼합에 의존하고 있음을 입증합니다.
2D-RoPE 아키텍처: 텍스트를 2D 그리드로 재구성하여 위치 기반 검색에 강력한 귀납적 편향을 제공하는 2D-RoPE를 도입합니다.
이론적 보장:
- 표현력: 단일 레이어 2D-RoPE 트랜스포머가 제한된 파라미터로 이진 복사 작업을 표현할 수 있음을 증명했습니다.
- 일반화: $\ell_\infty$ 정규화 제약 조건(AdamW 최적화를 모사) 하에서, 길이 $L$ 에 대해 학습된 2D-RoPE의 전역 최솟값(global minima)은 $L$ 의 다항식 길이에 대해서도 증명 가능한 수준으로 일반화됩니다.
대규모 검증: DCLM 데이터셋을 사용하여 처음부터 프리트레이닝(350M ~ 1.4B 파라미터)하는 방식으로 방법을 검증했습니다. 2D-RoPE 모델은 일반적인 상식 추론 벤치마크에서 대등한 성능을 유지하면서 복사 작업에 대해 거의 완벽한 길이 일반화를 달이트합니다.

결과

합성 실험 (Synthetic Experiments):
- 1계층 모델: 2D-RoPE는 최대 1000배의 길이 일반화(길이 100으로 학습, 100,000으로 테스트)를 달성하는 반면, 표준 인코딩은 즉시 실패합니다.
- 12계층 모델: 2D-RoPE는 100배의 길이 일반화까지 완벽한 성능을 유지합니다.
대규모 LLM 프리트레이닝:
- DCLM으로 프리트레이닝되고 복사 작업에 미세 조정된 모델들은 2D-RoPE가 도메인 내(Imbalanced) 및 도메인 외(Recursive-Flip) 복사 작업 모두에서 표준 RoPE 및 Hybrid-RoPE(H-RoPE)보다 크게 우수함을 보여줍니다.
- 예를 들어, 1.4B 파라미터의 2D-RoPE 모델은 8K 길이의 recursive-flip 문자열에 대해 100% 정확도를 달성하는 반면, 표준 RoPE 베이스라인은 **0%**로 떨어집니다.
- 상식 추론 성능은 RoPE 베이스라인과 유사하게 유지되어, 복사 작업을 학습하는 것이 일반적인 언어 모델링 능력을 저하시키지 않음을 나타냅니다.
Auto-2D-RoPE: 뉴라인 구분자가 일반적인 문자로 대체되더라도 복사 작업에서 길이 일반화를 성공적으로 유지하여, 명시적인 포맷팅 큐 없이도 2D 구조를 학습할 수 있는 능력을 입증했습니다.

의의 및 주장

본 논문은 위치 정보의 표현 방식이 언어 모델의 알고리즘적 행동을 근본적으로 결정한다고 주장합니다. 현재 LLM이 복사를 하지 못하는 것은 지능의 부족이 아니라, 정밀한 위치 기반 검색보다 컨텍스트 매칭을 선호하는 1D 위치 인코딩에 의한 귀납적 편향의 결과입니다.

텍스트를 2D로 바라봄으로써 복사 작업이 기하학적으로 단순해지며(고정 열 검색), 이를 통해 모델이 견고하고 길이 일반화가 가능한 알고리즘을 학습할 수 있게 된다고 저자들은 주장합니다. 이 연구는 향-후 연구가 텍스트의 잠재적 구조를 더 잘 포착하고 LLM의 알고리즘적 추론 신뢰성을 높이기 위해 2D 위치 인코딩을 탐구해야 함을 시사합니다. 저자들은 멀티 레이어 RoPE 트랜스포머가 왜 복사에 실패하는지에 대한 이론적 이해와 Auto-2D-RoPE를 더 실용적인 영역으로 확장하는 문제는 여전히 해결해야 할 과제로 남겨두며 겸허한 태도를 유지하고 있습니다.