🤖 machine learning

Positional versus Symbolic Attention Heads: Learning Dynamics, RoPE Geometry, and Length Generalization

이 논문은 구조적으로 동등한 추론 작업에서 트랜스포머 어텐션 헤드의 학습 역학을 조사하며, 성공적인 학습에는 뚜렷한 위치적 메커니즘과 상징적 메커니즘의 출현이 수반되는데, 여기서 후자가 전자에 비해 더 긴 시퀀스에 대해 더 우수한 강건성과 일반화 능력을 보여준다는 점을 밝힌다.

원저자: Felipe Urrutia, Juan José Alegría, Cinthia Sanchez Macias, Jorge Salas, Cristian B. Calderon, Cristobal Rojas

게시일 2026-06-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Felipe Urrutia, Juan José Alegría, Cinthia Sanchez Macias, Jorge Salas, Cristian B. Calderon, Cristobal Rojas

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

트랜스포머 언어 모델(챗봇 뒤에 있는 것과 같은 AI)을 수많은 작고 전문화된 사서들의 거대한 도서관이라고 상상해 보십시오. 각 사서는 '어텐션 헤드(attention head)'이며, 그들의 임무는 현재 들고 있는 책과 관련이 있는 다른 책이 방 안에 있는지 찾아내는 것입니다.

이 논문은 이 사서들이 어떻게 자신의 직업을 배우는지, 그리고 왜 어떤 사서들은 긴 이야기를 다루는 데 더 뛰어난지를 조사합니다. 연구진은 사서들이 어떻게 행동하는지 알아보기 위해 매우 유사한 두 가지 "기억 게임"을 이용한 통제된 실험을 설정했습니다.

두 가지 게임: "넘버 홉(Number Hop)" vs "네임 홉(Name Hop)"

연구진은 겉보기에는 비슷해 보이지만 서로 다른 사고방식을 요구하는 두 가지 과제를 만들었습니다.

넘버 홉 (위치 기반 - Positional): 사람들이 글자가 적힌 표지판을 들고 줄을 서 있다고 상상해 보십시오. 줄의 끝에는 숫자, 예를 들어 "3"이 있습니다. 규칙은 다음과 같습니다: "여기서부터 3칸 뒤로 가서 그곳에 있는 글자를 가져오시오." 만약 숫자가 "5"로 바뀌면, 5칸 뒤로 갑니다.
- 메커니즘: 이것은 **위치 어텐션(Positional Attention)**을 필요로 합니다. 사서는 표지판에 무엇이 적혀 있는지는 무시하고, 그들이 어디에 서 있는지에 완전히 집중해야 합니다. "세 걸음 뒤"는 이름이 아니라 위치입니다.
네임 홉 (기호 기반 - Symbolic): 사람들이 "A-B" 또는 "C-D"와 같은 글자 쌍이 적힌 표지판을 들고 줄을 서 있다고 상상해 보십시오. 줄의 끝에는 "B"라고 적힌 표지판이 있습니다. 규칙은 다음과 같습니다: "표지판이 B로 시작하는 사람을 찾은 다음, 그 표지판의 두 번째 글자를 보시오."
- 메커니즘: 이것은 **기호 어텐션(Symbolic Attention)**을 필요로 합니다. 사서는 사람들이 어디에 서 있는지는 무시하고, 그들의 표지판에 무엇이 적혀 있는지에 집중해야 합니다. "B를 찾기"는 그 사람이 줄의 어디에 있든 상관없이 작동합니다.

훈련 과정에서 어떤 일이 일어났나?

연구진은 모델이 처음부터 학습하는 과정을 관찰했습니다. 그들은 흥 fascinanting한 패턴을 발견했습니다.

순수한 사서들: 게임을 정말 잘하기 위해서, 사서들은 "순수"해져야 했습니다. 그들은 칸수를 세는 것과 이름을 읽는 것 사이에서 어중간하게 머물러서는 안 되었습니다. 그들은 완전히 전문화되어야 했습니다. 어떤 사서들은 위치 기반 사서(칸수를 세는 데 능숙함)가 되었고, 다른 사서들은 기호 기반 사서(이름을 맞추는 데 능숙함)가 되었습니다.
학습 곡선:
- 넘버 홉 게임에서, 모델은 먼저 한 단계를 세는 법을 배우고, 그다음 두 단계를, 그다음 세 단계를 배워야 했습니다. 모델은 단계별로 천천히 학습했는데, 이는 위치 기반 사서들의 체인을 구축해야 했기 때문입니다.
- 네임 홉 게임에서, 모델은 거의 한꺼번에 학습했습니다. 일단 "기호 기반 사서"들이 이름을 맞추는 법을 터득하자, 그들은 1단계, 2단계, 3단계 버전을 동시에 해결할 수 있었습니다.

"긴 이야기" 문제

여기서 가장 중요한 발견이 있습니다: 이 사서들은 매우 긴 줄(긴 이야기나 긴 입력값)을 어떻게 처리할까요?

연구진은 이 두 종류의 사서가 긴 시퀀스(더 긴 이야기나 더 긴 입력값)를 처리할 때 큰 차이가 있다는 것을 발견했습니다.

위치 기반 사서 (넘버 홉)는 길을 잃습니다. 줄의 사람들이 길어질수록, "뒤로 몇 칸을 세는" 메커니즘이 흐릿해지기 시작합니다. 이는 붐비고 끝없는 복도에서 "100걸음 뒤"를 세려고 노력하는 것과 같습니다. 신호가 약해지면서 사서는 정확히 어디에서 멈춰야 할지 놓치게 됩니다. 모델은 시퀀스가 길어짐에 따라 빠르게 실패합니다.
기호 기반 사서 (네임 홉)는 예리함을 유지합니다. 이 사서는 특정 거리(위치)를 찾는 것이 아니라 특정 이름(예: "B")을 찾기 때문에, 줄의 길이는 그리 중요하지 않습니다. 1,000명이 있는 복도에서 "B" 표지판을 가진 사람을 찾는 것은 10명이 있는 복도에서 찾는 것만큼이나 쉽습니다.

"불일치(Discrepancy)" 측정기

이를 수학적으로 증명하기 위해, 저자들은 **불일치(Discrepancy)**라는 개념을 발명했습니다. 이것을 "신뢰도 측정기"라고 생각하십시오.

불일치가 높다는 것은 사서가 혼란스러워하며 정답과 오답을 구분하지 못한다는 것을 의미합니다.
수학적 결과는 위치 기반 방식의 경우, 시퀀스가 길어짐에 따라 이 혼란이 급격히 증가한다는 것을 보여주었습니다.
기호 기반 방식의 경우, 혼란은 매우 긴 시퀀스에서도 낮게 유지되었습니다.

실제 세계 테스트

마지막으로, 연구진은 이 이론을 거대하고 실제적인 AI 모델(GPT 및 Claude와 같은)에 테스트했습니다. 그들은 이 거대한 모델들에게 훨씬 더 긴 입력을 주며 동일한 두 게임을 수행하게 했습니다.

결과는 그들의 이론과 완벽하게 일치했습니다:

긴 입력을 가지고 넘버 홉(단계 세기)을 수행하도록 요청받았을 때, 거대 모델들은 처참하게 실패했습니다.
동일한 긴 입력을 가지고 네임 홉(기호 매칭)을 수행하도록 요청받았을 때, 거대 모델들은 높은 정확도를 유지했습니다.

핵심 요약

이 논문은 현대의 AI 모델들이 강력하지만, 특정한 약점이 있다고 결론짓습니다: 그들은 매우 긴 컨텍스트에서 "세기" 또는 "위치 기반" 논리를 일반화하는 데 어려움을 겪습니다. 그러나 "기호 매칭" 논리를 일반화하는 데는 훨씬 더 뛰어납니다.

이는 AI가 매우 긴 문서나 복잡한 추론 체인을 다루기 위해서는, 위치 기반 전략(단계 세기)보다는 기호적 전략(개념 매칭)을 사용하도록 유도하는 것이 필요할 수 있음을 시사합니다. 왜냐하면 전자가 이야기가 길어질 때 훨씬 더 견고하기 때문입니다.

기술 요약: 위치 기반(Positional) 대 기호적(Symbolic) 어텐션 헤드

문제 정의

트랜스포머 기반 대규모 언어 모델(LLM)은 도처에 존재하지만, 이들이 구조화된 과업을 해결하고 새로운 시나리오로 일반화하는 메커니즘은 여전히 명확히 이해되지 않고 있습니다. 구체적으로, 어텐션 헤드가 다단계 추론(multi-hop reasoning) 과업을 해결하기 위해 어떤 메커니즘을 학습하는지, 그리고 그들이 채택한 메커니즘(위치 기반 vs 기호적)이 더 긴 시퀀스 길이에 대한 일반화 능력에 어떤 영향을 미치는지 이해할 필요가 있습니다. 경험적 증거는 기호적 메커니즘이 위치 기반 메커니즘보다 더 잘 일반화될 수 있음을 시사하지만, 통제된 환경에서 이러한 차이에 대한 학습 역학 및 이론적 토대를 체계적으로 조사하는 작업이 필요합니다.

방법론

저자들은 어텐션 메커니즘을 격리하고 분석하기 위해 통제된 실험 및 이론적 프레임워크를 사용합니다:

통제된 과업: 구조적으로 동등한 두 가지 다단계 추론 과업을 정의합니다:
- 숫자 과업(Number Task): 위치에 대한 추론을 요구합니다. 입력 숫자는 타겟 문자를 검색하기 위해 시퀀스 상에서 뒤로 몇 단계(hop) 이동할지를 정의합니다.
- 문자 과업(Letter Task): 기호에 대한 추론을 요구합니다. 입력 문자 쌍은 두 번째 문자를 이전 쌍의 첫 번째 문자와 매칭함으로써 이동(hop)을 수행하며, 이를 통해 타겟 문자-숫자 쌍을 검색합니다.
모델 아키텍처: 12개 레이어와 각 레이어당 단일 어텐션 헤드를 가진 디코더 전용 트랜스포머(GPT-J)를 사용하여 두 과업에 대해 처음부터 학습시킵니다. 이 단일 헤드 구성은 특정 메커니즘을 격리하면서도 RoPE 기반 어텐션 연산을 보존하기 위해 레이어 내 상호작용을 최소화합니다.
메커니즘 지표: 어텐션 헤드를 위치 기반(토큰 순열에 불변) 또는 기호적(토큰 순열에 공변)으로 분류하기 위해 최근 도입된 지표(Urrutia et al., 2025)를 활용합니다.
이론적 분석: 저자들은 단일 레이어 RoPE 기반 어텐션을 사용하여 각 과업에 필요한 핵심 기능을 구현하는 명시적인 이론적 모델을 구축합니다. 이들은 쿼리(query), 키(key), 값(value) 행렬의 기하학적 특성을 분석하고, "불일치(discrepancy)"(최고 로짓과 두 번째로 높은 로짓의 차이)에 대한 경계값을 유도하여 시퀀스 길이에 대한 강건성을 정량화합니다.
경험적 검증: 이론적 분석에서 도출된 예측을 제어된 모델과 단순화된 1단계(1-hop) 버전의 과업을 사용한 프런티어 LLM(GPT-5.4, GPT-5.5, Claude Sonnet 3.7)에 대해 검증합니다.

주요 기여

1. 순수 어텐션 헤드의 출현

본 연구는 두 과업 모두에서 성공적인 학습이 "순수" 어텐션 헤드—즉, 엄격하게 위치 기반 또는 기호적 방식으로 자신을 표현하는 헤드—의 출현과 밀접하게 연관되어 있음을 보여줍니다.

숫자 과업: 위치 기반 헤드(수치적 오프셋에 기반한 선택적 인덱싱 수행)와 기호적 헤드(검색된 정보를 전파)의 조합이 필요합니다.
문자 과업: 기호적 헤드만 필요합니다(토큰 매칭을 통한 기호적 검색 수행).
학습 역학: 숫자 과업은 위치 기반 헤드가 레이어별로 출현함에 따라 정확도가 향상되는 점진적인 홉 단위(hop-wise) 학습 기울기를 보입니다. 반면, 문자 과업은 마지막 레이어에서 기호적 연산의 출현에 의존하여 모든 홉 단계에서 동시적인 학습을 보여줍니다.

2. 메커니즘 분해 및 기하학적 구성

저자들은 순수 헤드에 의해 구현되는 세 가지 핵심 기능을 식별했습니다:

선택적 인덱싱 (Selective Indexing, 위치 기반): 숫자를 상대적 오프셋으로 사용하여 특정 이전 위치의 토큰을 복사합니다.
검색 (Retrieval, 기호적): 기호를 사용하여 매칭되는 이전 토큰 쌍을 식별하고 복사합니다.
반사적 (Reflexive, 기호적/위치 기반): 현재 토큰의 표현을 전파합니다.

논문은 단일 레이어 RoPE 기반 어텐션이 기하학적으로 해석 가능한 연산을 통해 선택적 인덱싱과 검색을 어떻게 구현할 수 있는지에 대한 명시적인 이론적 구성을 제공합니다. 결정적으로, 선택적 인덱싱은 순수하게 기호적인 헤드에 의해 구현될 수 없으며, 검색은 순수하게 위치 기반인 헤드에 의해 구현될 수 없음을 증명합니다.

3. 불일치를 통한 이론적 분리

어텐션 메커니즘의 긴 시퀀스에 대한 강건성을 정량화하기 위해 새로운 개념인 **불일치(discrepancy)**가 도입되었습니다.

이론적 발견: 인덱스(Index) 함수(위치 기반)의 불일치는 시퀀스 길이가 증가함에 따라 $1/n^2$ 과 관련된 항에 의해 급격히 감소합니다. 반면, 검색(Retrieval) 함수(기호적)의 불일치는 특정 RoPE 주파수 설정 하에서 임의의 길이에서도 0에서 멀리 떨어진 상태로 유지됩니다.
시사점: 이는 왜 위치 기반 메커니즘이 기호적 메커니즘에 비해 길이 일반화에서 더 가파른 한계에 직면하는지에 대한 이론적 설명을 제공합니다.

4. 일반화의 경험적 검증

이론적 예측은 다음과 같이 경험적으로 검증되었습니다:

제어된 모델: 문자 과업(기호적)으로 학습된 모델은 학습 길이의 53배인 최대 850개 토큰의 시퀀스 길이까지 거의 완벽한 정확도로 일반화되는 반면, 숫자 과업(위치 기반) 모델은 학습 분포를 넘어 일반화하는 데 실패합니다.
실제 LLM: 프런티어 모델(GPT-5.4/5.5, Claude Sonnet 3.7) 또한 동일한 패턴을 보입니다: 긴 시퀀스에 대해 문자 과업에서는 높은 정확도를 보이지만, 숫자 과업에서는 시퀀스 길이가 증가함에 따라 정확도가 급격히 떨어집니다(길이 32에서 정확도 0.5 미만으로 하락).

의의 및 주장

본 논문은 트랜스포머 모델의 차별적인 길이 일반화 능력에 대한 메커니즘적 설명을 제공한다고 주장합니다. 위치 기반 및 기호적 어텐션 동작을 구분함으로써, 저자들은 다음을 달성했습니다:

과업의 구조적 동등성이 메커니즘적 동등성을 의미하지 않음을 명확히 했습니다. 즉, 구체적인 추론 양식(위치 vs 기호)이 요구되는 어텐션 메커니즘을 결정합니다.
RoPE 기반 어텐션의 기하학적 특성(특히 주파수 사용 및 로짓 불일치)과 모델의 컨텍스트 확장 능력 사이의 정량적 연결 고리를 확립했습니다.
기호적 메커니즘이 위치 기반 메커니즘보다 시퀀스 길이 확장에 본질적으로 더 강건하다는 것을 입증했으며, 이 결과는 대규모 실제 모델에서도 유효합니다.

저자들은 자신의 분석이 단순화된 단일 레이어/단일 헤드 설정에 의존하고 있으며, 실제 모델은 여러 헤드에 걸쳐 연산을 분산할 수 있다는 점을 언급하며 연구 범위에 대해 겸손한 태도를 유지합니다. 그러나 프런티어 모델에 대한 예측의 성공적인 전이는 식별된 메커니즘이 실질적인 규모의 추론 과업에도 유효함을 시사합니다. 이 연구는 훈련 중 위치-기호 점수를 모니터링하는 것이 이러한 메커니즘의 출현을 드러낼 수 있으며, 기호적 해결책을 장려하는 것이 길이 일반화 능력을 향상시킬 수 있음을 시사합니다.