💬 NLP

Characterizing the Expressivity of Local Attention in Transformers

본 논문은 두 번째 시간 연산자의 추가를 통해 정규 언어에 대한 모델의 표현력을 엄격하게 확장함을 증명함으로써 트랜스포머의 국소적 주의 메커니즘이 개선된 품질을 갖는 것에 대한 형식적 이론적 설명을 제공하며, 이는 글로벌-로컬 하이브리드 아키텍처가 글로벌 전용 모델보다 우수한 성능을 보인다는 실험 결과로 뒷받침된다.

원저자: Jiaoda Li, Ryan Cotterell

게시일 2026-05-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiaoda Li, Ryan Cotterell

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 AI 챗봇의 두뇌인 트랜스포머 모델을 상상해 보세요. 이는 한 단어씩 이야기를 이해하려는 초지능 독자와 같습니다. 현재 단어를 이해하기 위해 이 독자는 그 앞에 온 단어들을 뒤돌아보아야 합니다.

이 논문은 이 독자가 최상의 성과를 내기 위해 얼마나 멀리 뒤돌아봐야 하는지 조사합니다.

뒤돌아보는 두 가지 방식

저자들은 독자가 정보를 수집하는 두 가지 주요 전략을 비교합니다:

전역 주의 (Global Attention, "도서관 카드"):
이는 표준적인 방법입니다. 독자는 이야기의 첫 번째 단어부터 현재 단어 바로 전까지의 모든 단어를 볼 수 있습니다.
- 문제점: 이야기가 길어질수록 독자는 더 많은 페이지를 넘겨야 합니다. 이는 느리고 비용이 많이 듭니다 (이차 비용).
- 장점: 이야기의 끝을 이해하기 위해 시작을 기억하는 데 탁월합니다. 마치 책 전체에 대한 완벽한 기억을 가진 것과 같습니다.
국소 주의 (Local Attention, "포스트잇"):
이는 단축키입니다. 독자는 현재 단어 바로 앞에 있는 단어들의 작고 고정된 창 (예: 마지막 5 단어) 만 볼 수 있습니다.
- 문제점: 그 작은 창보다 이전에 일어난 모든 것을 잊어버립니다.
- 놀라운 사실: 대부분의 텍스트를 무시하는 이 방법은 읽는 방식이 더 "어리석어" 보이지만, 연구자들은 모든 것을 보는 모델보다 이 방법을 사용하는 모델이 종종 더 잘 수행하고 더 빠르다는 것을 발견했습니다. 논문은 이렇게 묻습니다: 대부분의 텍스트를 무시하는 것이 실제로 어떻게 도움이 될까요?

독자의 "논리"

이에 대한 답을 찾기 위해 저자들은 AI 를 단순한 수학 기계가 아니라 논리 퍼즐 해결사로 취급합니다. 그들은 시간과 순서에 관한 규칙을 설명하는 방법인 선형 시간 논리 (Linear Temporal Logic) 시스템을 사용하여 각 독자가 해결할 수 있는 패턴의 종류를 정확히 매핑합니다.

그들은 두 가지 주의 방법이 서로 다른 전문 도구와 같다는 것을 발견했습니다:

전역 독서기 (Past Operator):
이 독자는 문장의 시작에 의존하는 패턴을 찾는 데 능숙합니다.
- 비유: "이 문장이 'The'라는 단어로 시작하나요?" 또는 "우리가 'cat'이라는 단어를 아주 처음에 보았나요?"와 같은 질문에 쉽게 답할 수 있습니다.
- 한계: 문장의 끝에 엄격하게 의존하는 패턴 (예: "이 문장이 마침표로 끝나나요?") 에는 어려움을 겪습니다.
국소 독서기 (Yesterday Operator):
이 독자는 직전 과거에 의존하는 패턴을 찾는 데 능숙합니다.
- 비유: "이 문장이 'the'라는 단어로 끝나나요?" 또는 "'dog'라는 단어가 바로 전에 나타났나요?"와 같은 질문에 쉽게 답할 수 있습니다.
- 한계: 문장의 시작을 기억할 수 없습니다. 규칙이 첫 번째 단어에 의존한다면 이 독자는 실패합니다.

큰 발견: 그들은 적이 아닌 최고의 친구입니다

이 논문은 이 두 독자가 상호 보완적임을 증명합니다. 하나가 다른 것의 "약한" 버전이 아니라, 서로 다른 것에 능하다는 것입니다.

전역 독서기만 사용하면 직전 과거의 세부 사항을 놓칩니다.
국소 독서기만 사용하면 시작 부분의 큰 그림을 놓칩니다.

마법의 해결책: 하이브리드 팀
저자들은 이들을 결합하면—모델에게 전체 이야기를 보는 "눈"(전역) 과 마지막 몇 단어에 집중하는 "눈"(국소) 을 모두 부여하면—가장 강력한 독자를 얻을 수 있음을 보여줍니다.

"창 크기 1"의 놀라운 사실:
가장 놀라운 발견은 국소 창 크기에 관한 것입니다. 마지막 10 단어를 보는 것이 마지막 1 단어만 보는 것보다 낫다고 생각할 수 있습니다.
- 논문의 주장: 아닙니다. 가장 강력한 국소 주의는 실제로 마지막 단어 하나만 보는 것 (크기 1 의 창) 입니다.
- 이유: 바로 직전의 단어만 보는 것이 모델에게 가장 정확한 "어제" 정보를 제공합니다. 창을 2, 4, 또는 10 단어로 확장하면 오히려 이 힘이 희석되어 모델이 특정 패턴을 인식하는 능력이 떨어집니다.

현실 세계의 증명

저자들은 수학만 한 것이 아니라 실험을 수행했습니다:

형식 언어 테스트: 그들은 모델에 퍼즐 (예: "'ab'로 끝나는 모든 문자열 찾기") 을 주었습니다.
- 전역 전용 모델은 "'로 끝나는" 퍼즐에서 실패했습니다.
- 국소 전용 모델은 "'로 시작하는" 퍼즐에서 실패했습니다.
- **하이브리드 모델 (전역 + 크기 1 의 국소)**은 훈련된 것보다 훨씬 긴 문자열에서도 모든 것을 완벽하게 해결했습니다.
실제 텍스트 (WikiText-2): 그들은 실제 영어 텍스트로 이를 테스트했습니다.
- "창 크기 1"을 가진 하이브리드 모델은 모든 것을 보거나 큰 창만 보는 모델보다 일관되게 더 좋고 일관된 텍스트 (더 낮은 "퍼플렉시티") 를 작성했습니다.

결론

이 논문은 하나의 수수께끼를 해결합니다: 국소 주의는 컴퓨터 전력을 절약하기 위한 저렴한 수단이 아니라, 실제로 AI 의 두뇌에 새로운 "초능력"을 추가합니다.

"장기 기억"(전역) 과 "초집단 단기 기억"(국소, 구체적으로 마지막 단어만 봄) 을 결합함으로써 모델은 어느 방법 하나만 사용하는 것보다 엄격하게 더 똑똑해집니다. 이는 세계의 전체 타임라인을 아는 역사가와 동시에 당신의 바로 앞 발자국에 집착하는 탐정처럼 행동하는 것과 같습니다. 함께라면 어떤 사건도 해결할 수 있습니다.

Jiaoda Li 와 Ryan Cotterell 의 논문 "Characterizing the Expressivity of Local Attention in Transformers"에 대한 상세한 기술적 요약입니다.

1. 문제 제기

Transformer 아키텍처는 모든 이전 토큰에서 정보를 집계하는 전역 어텐션 메커니즘에 의존하며, 이로 인해 이차적인 계산 복잡도 ( $O(N^2)$ ) 가 발생합니다. 이를 완화하기 위해 지역 어텐션 (local attention) 은 고정된 크기의 이전 토큰 윈도우로 집계를 제한하여 복잡도를 선형 ( $O(N)$ ) 으로 줄입니다.

지역 어텐션은 주로 효율성을 위해 동기화되지만, 계산 예산이 일정하게 유지될 때도 (기계 번역 및 언어 모델링 등에서) 모델 품질을 종종 향상시키는 것으로 실증 연구에서 밝혀졌습니다. 이는 이론적 수수께끼를 제기합니다: 수용 영역을 제한하는 것 (겉보기에 "더 약한" 메커니즘) 이 왜 때로는 더 나은 성능으로 이어질까요?

저자들은 이를 해결하기 위해 다양한 어텐션 패턴 (전역, 지역, 하이브리드) 이 인식할 수 있는 형식 언어의 관점에서 표현력 (expressivity) 을 공식적으로 규명하고자 합니다.

2. 방법론

본 논문은 Transformer 아키텍처를 선형 시간 논리 (Linear Temporal Logic, LTL) 및 대수적 오토마타 이론과 연결하는 형식 언어 이론 접근법을 사용합니다.

이론적 프레임워크:
- 저자들은 고정 정밀도 (fixed-precision) Transformer 를 언어 인식기로 분석합니다.
- 어텐션 메커니즘을 LTL 의 조각에 매핑합니다:
  - 전역 어텐션: LTL[P] (과거 연산자) 에 해당하며, 임의로 멀리 과거를 돌아볼 수는 있지만 과거 사건의 존재에만 국한됩니다.
  - 지역 어텐션 (윈도우 크기 $k$ ): LTL[ $Y_{\le k}$ ] (유계 어제 연산자) 에 해당하며, 마지막 $k$ 단계 내에서 조건이 성립했는지 확인합니다.
  - 하이브리드 어텐션: LTL[P, $Y_{\le k}$ ] 에 해당하며, 두 연산자를 결합합니다.
- 대수적 특성 (구문 반군, 구문 모노이드) 과 오토마타 이론적 속성 (DFA 구성) 을 활용하여 이러한 논리 조각 간의 엄격한 분리를 증명합니다.
실험적 검증:
- 형식 언어 인식: 저자들은 다양한 길이의 특정 형식 언어 클래스 (예: 'a'로 끝나는 문자열, 'ab'를 포함하는 문자열, 유계 Dyck 언어) 를 인식하도록 Transformer 를 훈련시켜 일반화 능력을 테스트했습니다.
- 자연어 모델링: GPT-2-small 스타일 아키텍처를 사용하여 WikiText-2 데이터셋에서 경량 다음 토큰 예측 실험을 수행했습니다.
- 변수: 그들은 다양한 윈도우 크기 ( $k \in \{1, 2, 4, \dots\}$ ) 와 위치 인코딩 (학습형, RoPE, SiPE) 에 대해 세 가지 어텐션 패턴 (전역 전용, 지역 전용, 하이브리드) 을 비교했습니다.

3. 주요 기여

A. 이론적 규명

전역 어텐션 = LTL[P]: 전역 어텐션이 단일 과거 연산자를 가진 논리에 해당하며, 왼쪽 결정적 다항식을 인식할 수 있지만 특정 접미사 기반 작업에서는 실패한다는 점을 재확인합니다.
지역 어텐션 = LTL[ $Y_{\le k}$ ]: 지역 어텐션이 유계 시간 논리에 해당함을 증명합니다. 특히, LTL[P] 와 LTL[ $Y_{\le k}$ ] 는 비교 불가능 (incomparable) 함을 보여줍니다.
- 전역 어텐션은 특정 접미사로 정의된 언어 (예: 'a'로 끝나는 문자열) 를 인식할 수 없습니다.
- 지역 어텐션은 특정 접두사로 정의된 언어 (예: 'a'로 시작하는 문자열) 를 인식할 수 없습니다.
하이브리드 어텐션 = LTL[P, $Y_{\le k}$ ]: 전역 및 지역 어텐션을 결합하면 인식 가능한 정규 언어의 클래스가 엄격히 확장됨을 입증합니다. 하이브리드 모델은 순수 전역 또는 순수 지역 어텐션으로는 완전히 포착할 수 없는 지역 테스트 가능 언어 (Locally Testable Languages) (확정 언어의 초집합) 를 인식할 수 있습니다.
윈도우 크기 $k=1$ 의 최적성: 위치 인코딩이 부재할 때, 지역 어텐션 계열 내에서 $k=1$ (직전 이전자만 확인) 이 더 큰 윈도우 ( $k > 1$ ) 보다 엄격하게 더 높은 표현력을 가진다는 것을 이론적으로 증명합니다. 이는 $k=1$ 이 가장 강력한 지역 연산자인 "어제 (Yesterday)" 연산자 ( $Y$ ) 를 도입하기 때문입니다.

B. 실증적 발견

형식 언어에서의 일반화:
- 하이브리드 모델 (특히 $k=1$ 사용) 은 전역 전용 또는 지역 전용 모델이 실패한 LTL[P, Y] 로 정의 가능한 모든 언어에서 완벽한 일반화 (100% 정확도) 를 달성했습니다.
- 전역 전용 모델은 접미사 기반 작업 (LTL[Y]) 에서 실패했습니다.
- 지역 전용 모델은 접두사 기반 작업 (LTL[P]) 에서 실패했습니다.
- 윈도우 크기: 위치 인코딩이 부재할 때 $k=1$ 이 $k=2$ 및 $k=4$ 보다 일관되게 우수한 성능을 보였습니다.
자연어 (WikiText-2):
- $k=1$ 을 사용한 하이브리드 어텐션은 모든 위치 인코딩 방식 (학습형, RoPE, SiPE) 에서 일관되게 최저의 퍼플렉시티를 달성했습니다.
- 하이브리드와 전역 전용 모델 간의 성능 차이는 유의미했습니다 (예: 학습 임베딩 하에서 약 69 퍼플렉시티 포인트 감소).
- 흥미롭게도 지역 전용 모델이 때로는 전역 전용 모델보다 우수한 성능을 보였는데, 이는 하나가 다른 것보다 엄격하게 "더 낫다"기보다는 상호 보완적이라는 이론을 지지합니다.
위치 인코딩의 역할:
- 위치 인코딩이 "모듈 예측자 (modular predicates)"로 작용하여 모델이 단계를 세울 수 있게 한다면, $k=1$ 과 $k>1$ 지역 어텐션 간의 이론적 격차는 해소될 수 있습니다.
- 그러나 실제로는 표준 인코딩 (RoPE, SiPE) 이 지역 어텐션의 부재를 완전히 보상하지 못했으며, 하이브리드 모델이 여전히 우월했습니다.

4. 의의

"지역 어텐션 역설"의 해결: 본 논문은 지역 어텐션이 성능을 향상시키는 이유에 대한 최초의 공식적 설명을 제공합니다. 이는 단순히 속도 최적화가 아니라, 전역 어텐션이 결여한 상호 보완적 귀납적 편향 (직전 이전자를 $Y$ 연산자를 통해 추적하는 능력) 을 도입하기 때문입니다.
설계 가이드라인: 결과는 하이브리드 아키텍처 (전역 및 지역 헤드의 혼합) 가 이론적, 실증적으로 우월함을 강력히 시사합니다. 또한, 더 큰 윈도우의 깊이 오버헤드 없이 즉각적인 이전자를 포착하여 표현력을 극대화하므로, 지역 헤드에 윈도우 크기 1을 사용할 것을 옹호합니다.
이론적 교량: 이 작업은 신경 아키텍처 설계와 형식 논리 간의 연결을 공고히 하여, 특정 유형의 장거리 또는 지역 의존성이 필요한 작업에서 모델의 능력을 예측하기 위한 엄격한 렌즈를 제공합니다.

요약하자면, 저자들은 지역 어텐션이 전역 어텐션의 퇴화가 아니라 필수적인 보완재임을 입증합니다. 과거의 존재를 포착하는 전역적 관점과 즉각적인 역사를 포착하는 지역적 관점을 결합함으로써, 하이브리드 트랜스포머는 정규 언어 인식의 가장 풍부한 조각을 달성하여 형식 작업과 자연어 모델링 모두에서 우수한 성능을 이끌어냅니다.