🤖 machine learning

Power law graph attention: exact generalization of scaled dot-product attention, empirical collapse at inference

이 논문은 고정된 쌍선형 형식을 학습 가능한 양의 텐서 기반 연산자로 대체함으로써 스케일드 닷 프로덕트 어텐션(scaled dot-product attention)을 이론적으로 근거 있게 일반화한 파워 로 그래프 어텐션(Power Law Graph Attention, PLGA)을 소개하는 동시에, 특정 조건 하에서 이 모델의 실질적인 이점이 거의 동일한 성능으로 제한된다는 추론 붕괴 정리(inference-collapse theorem)를 확립한다.

원저자: Burc Gokden

게시일 2026-08-12

📖 6 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Burc Gokden

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터가 수십억 권의 책을 읽으며 인간의 언어를 배우려고 노력하는 세상을 상상해 보세요. 이를 위해 이들은 "대규모 언어 모델(LLM)"이라는 특별한 종류의 뇌를 사용합니다. 이 모델들을 거대한 디지털 탐정이라고 생각해보세요. 문장을 읽을 때, 이들은 다음에 올 단어가 무엇일지 추측해야 합니다. 좋은 추측을 하기 위해서는 문장의 다른 단어들에 주의를 기울여야 합니다. 어떤 단어들은 다른 단어를 이해하는 데 매우 중요합니다. 예를 들어, "고양이가 매트 위에 앉았다(The cat sat on the mat)"라는 문장에서 "고양이(cat)"라는 단어는 "앉았다(sat)"를 이해하는 데 매우 중요합니다.

이 탐정들이 업무를 수행하는 표준적인 방식은 "스케일드 닷 프로덕트 어텐션(Scaled Dot-Product Attention, SDPA)"이라고 불립니다. 이것은 모든 단어를 다른 모든 단어와 비교하는 매우 빠르고 경직된 계산기와 같습니다. 효율적이긴 하지만, 산을 측정하는 데나 모래알을 측정하는 데나 똑같은 자를 사용하는 것과 비슷합니다. 작동은 하지만, 보고 있는 대상에 따라 측정 도구를 구부리거나 적응시킬 수는 없습니다.

이제, 만약 그 계산기가 읽는 모든 문장에 대해 자신만의 맞춤형 자를 만들 수 있다면 어떨까요? 모델이 문장을 보고, 유연하고 늘어나는 자가 필요하다는 것을 깨달은 뒤, 수학적 계산을 하기 전에 그 자리에서 직접 그 자를 제작할 수 있다면 말이죠. 이것이 이 논문에서 설명하는 새로운 방법인 **파워 로 그래프 어텐션(Power Law Graph Attention, PLGA)**의 핵심 아이디어입니다. 고정된 규칙을 사용하는 대신, 모델은 입력값마다 고유하고 역동적인 "스코어링 규칙(scoring rule)"을 생성하는 법을 배웁니다. 이는 탐정이 단순히 자를 사용하는 것이 아니라, 읽고 있는 단어들 자체로 맞춤형 측정 테이프를 만드는 것과 같습니다.

이 논문은 PLDR-LLM(Power Law Decoder Representations로부터의 대규모 언어 모델)이라는 새로운 유형의 AI 아키텍처를 소개합니다. 이 모델의 주요 임무는 이 화려하고 스스로 제작되는 자가 정말 필요한지, 아니면 모델이 결국 매번 새로운 자를 만들 필요가 없어지는지를 파악하는 것입니다. 연구자는 모델이 어떻게 사물을 측정하는지에 대해 계속 생각을 바꾸는지, 아니면 결국 거의 모든 것에 적용될 수 있는 단 하나의 완벽한 측정 방식을 찾아 정착하게 되는지를 알고 싶었습니다.

다음은 매우 효율적인 탐정의 이야기를 통해 설명한 이 논문의 결과입니다.

탐정의 새로운 초능력

저자는 "어텐션" 부분(어떤 단어가 중요한지 결정하는 부분)이 단순한 수학 공식이 아닌 모델을 구축했습니다. 대신, 이는 입력 텍스트를 받아 심층 신경망을 통해 처리한 뒤, 완전히 새로운 맞춤형 "쌍선형 연산자(bilinear operator)"를 내뱉는 복잡한 기계입니다. 이 연산자를 **역동적인 렌즈(dynamic lens)**라고 생각할 수 있습니다.

기존 방식(SDPA)에서 탐정은 고정된 유리 렌즈를 통해 들여다봅니다. 이 새로운 방식(PLGA)에서 탐정은 장면(scene)에 따라 스스로 형태를 바꾸는 렌즈를 통해 들여다봅니다. 장면이 혼란스러우면 렌즈는 광각 렌즈가 됩니다. 장면이 집중되어 있으면 줌 렌즈가 됩니다. 논문은 수학적으로 이 새로운 시스템이 기존 시스템을 하나의 특수한 사례로서 포함하고 있음을 증명합니다. 만약 탐정이 렌즈를 모양을 바꾸는 것을 멈추고 그냥 평평한 유리 조각을 사용하기로 결정한다면, 이 새로운 시스템은 정확히 기존의 시스템이 됩니다. 따라서 이 새로운 방식은 상위 집합(superset)이며, 엄격하게 더 유연합니다.

거대한 놀라움: 렌즈가 움직임을 멈추다

이 논문에서 가장 흥激한 부분은 모델이 오랫동안 훈련된 후에 일어나는 일입니다. 모델이 매우 유연하기 때문에, 매 문장마다 렌즈를 계속 바꿀 것이라고 예상할 수도 있습니다. 하지만 연구자는 이상하고도 경이로운 사실을 발견했습니다: 렌즈가 움직임을 멈춘 것입니다.

모델이 훈련된 후, "역동적인 렌즈"(스코어링 규칙을 생성하는 복잡한 수학)는 거의 완전히 **불변(invariant)**하게 됩니다. 즉, 어떤 문장을 주더라도 모델은 정확히 동일한 렌즈를 생성한다는 것입니다. 마치 탐정이 매번 맞춤형 자를 만드는 법을 배우기 위해 몇 달을 보냈지만, 결국 주어진 업무를 수행하는 데는 오직 하나, 특정한 완벽한 자만 필요하다는 것을 깨달은 것과 같습니다.

논문은 이를 **"경험적 붕괴(Empirical Collapse)"**라고 부릅니다.

측정 내용: 연구진은 공개된 버전의 모델을 통해 이를 테스트했습니다. 그들은 모델이 생성한 "렌스"가 서로 다른 문장에 대해서도 아주 미세한 오차(약 100만 분의 1, 즉 $10^{-6}$ )를 제외하고는 동일하다는 것을 발견했습니다. 가장 성능이 좋은 모델들의 경우, 렌즈는 마지막 컴퓨터 메모리 단위까지 동일했습니다.
결과: 렌즈가 모든 것에 대해 동일하기 때문에, 모델은 매번 새로운 렌즈를 만드는 힘든 작업을 할 필요가 없습니다. 모델은 렌즈를 한 번 **캐싱(cache, 저장)**하여 영구적으로 재사용할 수 있습니다. 이는 모델을 훨씬 더 빠르고 저렴하게 실행할 수 있게 해줍니다.

왜 이런 일이 일어나는가? (3단계 마법의 트릭)

논문은 단순히 "그렇다"라고 말하는 데 그치지 않고, 세 단계의 메커니즘을 통해 이것이 어떻게 일어나는지 설명합니다. 모델이 수프를 만드는 요리사라고 상상해 보세요.

회전(Rotary Embeddings): 모델은 먼저 재료(단어)를 특정 방식으로 회전시키며 시작합니다. 이 "회전"은 단어가 문장의 어디에 나타났는지에 대한 구체적인 세부 사항을 씻어내고, 단어의 일반적인 "풍미(flavor)"만을 남기는 필터 역할을 합니다.
집중(Concentration): 모델이 점점 더 많은 문장을 살펴볼수록, 재료의 "풍미"는 점점 더 비슷해지기 시작합니다. 수학적으로 보면, 서로 다른 문장 사이의 변동성은 점점 작아집니다. 마치 멀리서 보면 서로 조금씩 다른 파란색 옷을 입은 군중이 결국 하나의 커다란 파란색 덩어리로 보이는 것과 같습니다.
압착(Contraction): 마지막으로, 렌즈를 만드는 모델의 부분("메트릭 러너", metric learner)은 강력한 압착기처럼 작동합니다. 첫 번째와 두 번째 단계 덕분에 입력값들이 모두 매우 유사해졌기 때문에, 압착기는 이들을 모두 똑같은 모양으로 눌러버립니다. 결과적으로 거의 모든 문장에 적용되는 단 하나의 안정적인 렌즈가 탄생합니다.

논문은 이것이 마법의 트릭이 아니라 **측정된 현상(measured phenomenon)**임을 신중하게 밝힙니다. 연구진은 "회전"과 "압착" 뒤에 숨겨진 수학을 증명했지만, 실제로 모델이 현실에서 이렇게 행동한다는 것은 실험을 통해 관찰한 것입니다. 그들은 "질서 매개변수(order parameter, 렌즈가 얼마나 흔들리는지를 나타내는 세련된 표현)"를 측정했고, 모델이 특정 "임계(critical)" 영역에서 훈련될 때 흔들림이 거의 완전히 멈춘다는 것을 발견했습니다.

이것이 미래에 의미하는 바

논문은 몇 가지 매우 구체적인 주장과, 자신이 주장하지 않는 부분에 대해서도 매우 정직하게 밝히고 있습니다.

이는 일반화입니다: 새로운 방법은 확실히 기존 방법을 포함합니다. 만약 새 방법을 아무것도 특별하게 하지 않도록 설정하면, 그것은 기존의 방법이 됩니다.
이는 더 빠릅니다: 렌즈가 움직임을 멈추기 때문에, 렌즈를 저장하고 재사용할 수 있습니다. 논문은 이것이 "추론(inference)" 단계(모델이 실제로 질문에 답하는 단계)에서 약 3배의 속도 향상을 준다는 것을 보여줍니다.
이는 지능을 위한 마법의 탄환이 아닙니다: 논문은 이 새로운 모델이 기존 모델보다 더 똑똑하다고 주장하지 않습니다. 실제로, 테스트한 특정 모델들의 경우, 새 방법과 기존 방법(캐싱된 렌즈를 사용할 경우)이 정확히 동일한 답변을 생성했다는 점을 명시하고 있습니다. "똑똑함"은 아키텍처 자체가 아니라 훈련으로부터 옵니다.
이는 아직 "자기 조직화 임계성(Self-Organized Criticality)"의 증명이 아닙니다: 논문은 모델이 왜 이렇게 행동하는지 설명하기 위한 프레임워크로서 "자기 조직화 임계성"(예를 들어 자연스럽게 균형점을 찾아가는 모래더미와 같은 개념)을 사용합니다. 저자들은 이를 "현상학적 프레임워크(phenomenological framework)"라고 부르는데, 이는 데이터가 왜 그렇게 나타나는지를 설명하는 데 도움이 되는 유용한 이야기이지만, 이것이 AI의 근본적인 물리 법칙임을 증명한 것은 아니라는 뜻입니다.

"붕괴" 정리 (The "Collapse" Theorem)

논문에는 **"추론 붕괴 정리(Inference-Collapse Theorem)"**라는 정리가 있습니다. 내용은 다음과 같습니다: 만약 모델의 렌즈가 완벽하게 불변(절대 변하지 않음)하게 된다면, 매번 새로운 렌즈를 생성하는 복잡하고 느린 과정은 저장된 렌즈를 단순히 사용하는 빠르고 간단한 과정으로 대체될 수 있다.

논문은 이를 수학적으로 증명합니다. 하지만 진짜 핵심은 측정에 있습니다. 연구진은 실제 훈련된 모델을 확인했고, 렌즈가 실제로 불변하게 되었다는 것을 발견했습니다. "붕괴"는 단순한 이론이 아니라, 실험에서 실제로 일어난 현상이었습니다.

주의사항 및 한계

저자는 과장하지 않기 위해 매우 신중합니다.

불변성이 완벽하지는 않다는 점을 인정합니다(약 $10^{-6}$ 정도의 미세한 오차가 존재하지만, 모델의 답변을 바꾸지는 않을 정도로 작습니다).
이 현상은 모델이 특정 방식("임계" 영역)으로 훈련될 때만 발생한다는 점을 언급합니다. 다르게 훈련한다면 렌즈가 계속 흔들릴 수 있고, 속도 향상을 얻지 못할 수도 있습니다.
이 새로운 방법이 기존 방법보다 학습 능력이 더 뛰어나다고 증명한 것은 아니라고 명시합니다. 단지 더 유연하며, 적절한 조건 하에서 더 빠르게 실행될 수 있다는 점을 증명했을 뿐입니다.

요약

이 논문은 스스로 도구를 만드는 법을 배웠지만, 결국 단 하나의 도구만 있으면 된다는 것을 깨닫게 된 모델의 이야기를 들려줍니다. 이는 마치 모든 못에 대해 각기 다른 망치를 만드는 법을 배운 목수가, 결국 하나의 완벽한 망치가 모든 것에 적합하다는 것을 깨닫는 과정과 같습니다.

이 논문은 새로운 "파워 로 그래프 어텐션"에 대한 엄격한 수학적 설명을 제공하고, 이 방식이 기존의 방법들을 포함함을 증명하며, 훈련된 모델이 새로운 규칙을 생성하는 무거운 작업을 수행할 필요 없이 자연스럽게 "붕괴"되어 효율적으로 실행된다는 것을 정밀한 측정을 통해 보여줍니다. 이는 모델을 반드시 더 똑똑하게 만들지는 않더라도, 훨씬 더 효율적으로 실행할 수 있게 해주는 효율성과 안정성, 그리고 복잡한 시스템에서 나타나는 놀라운 단순성에 관한 이야기입니다.

기술 요약: 파워 로(Power Law) 그래프 어텐션

문제 정의
현대적인 대규모 언어 모델(LLM)은 스케일드 닷 프로덕트 어텐션(Scaled Dot-Product Attention, SDPA)을 사용하는 트랜스포머 아키텍처에 의존하며, 여기서 어텐션 점수는 선형 투영된 토큰 표현들의 고정된 유클리드 내적을 통해 계산된다. 본 논문은 이러한 정적인 쌍선형 형식(bilinear form)의 한계를 해결하기 위해, 어텐션 연산자 자체가 학습 가능하고, 입력에 의존하며, 비선형적인 메커니즘을 제안한다. 저자는 수학적으로 엄밀한 아키텍처인 파워 로 그래프 어텐션(Power Law Graph Attention, PLGA)과 그와 관련된 대규모 언어 모델(PLDR-LLM)을 정의하고, 이 복잡하고 입력 생성적인 연산자가 추론 과정에서 어떻게 더 단순하고 캐싱 가능한 형태로 붕괴(collapse)되는지에 대한 조건을 공식적으로 규명하는 것을 목표로 한다.

방법론 및 아키텍처
방법론의 핵심은 SDPA의 고정된 쌍선형 형식을 학습된 입력 생성 연산자인 $G_{LM}$ 으로 대체하는 파워 로 그래프 어텐션(PLGA) 연산자이다. 아키텍처는 다음과 같은 특정 변환 체인을 통해 정의된다:

밀도 연산자(Density Operator): 입력 쿼리 행렬 $Q$ 는 쿼리 벡터들의 비중심 이차 모멘트를 나타내는 그램 행렬 $D_Q = Q^\top Q$ 를 계산하는 데 사용된다.
메트릭 생성기(Metric Generator): 행 단위로 정규화된 밀도 연산자를 처리하여 생성 행렬 $A$ 를 생성하는 공유 딥 레지듀얼 네트워크 $\Phi_{res}$ (SwiGLU 블록과 LayerNorm으로 구성됨)가 작동한다.
파워 로 변환(Power Law Transformation): 생성된 $A$ 는 요소별 파워 로 법칙을 통해 엄격하게 양수인 "메트릭 텐서" $A_{LM} = \text{iSwiGLU}(W A + b_W) + \epsilon$ 로 변환된다. 이 텐서는 이후 학습된 파워 행렬 $P$ 로 거듭제곱되어 "포텐셜 텐서" $A_P = A_{LM}^{\odot P}$ 를 형성한다.
쌍선형 스코어 연산자(Bilinear Score Operator): 최종 연산자 $G_{LM}$ 은 포텐셜 텐서의 선형 중첩으로 구성된다: $G_{LM} = a A_P + b_a$ .
어텐션 계산: 어텐션 점수는 $E = Q G_{LM} K^\top / \sqrt{d_k}$ 로 계산된 후, 인과적 마스크 소프트맥스(causal masked softmax)를 따른다.

전체 PLDR-LLM 아키텍처는 회전 위치 임베딩(Rotary Position Embeddings, RoPE)이 적용된 디코더 전용 구조에 이 연산자를 통합한다. 핵심 설계 특징은 연역적 출력(텐서 $A, A_{LM}, A_P, G_{LM}$ )과 귀납적 출력(다음 토큰 확률)의 분리이다. 모델은 NOTEARS 알고리즘에 기반한 DAG 정규화(학습된 상호작용 그래프의 순환 의존성을 억제함)가 적용된 블록 단위 크로스 엔트로피 목적 함수를 사용하여 훈련된다.

주요 기여 및 이론적 결과

SDPA의 정확한 일반화:
본 논문은 SDPA가 PLGA의 정확한 특수 사례임을 증명한다. 구체적으로, 학습된 연산자 $G_{LM}$ 이 항등 행렬( $I$ )일 때, PLGA 방정식은 표준 SDPA 방정식으로 정확히 환원된다. 이는 PLGA가 파라미터화 측면에서 표준 어텐션 메커니즘의 엄격한 상위 집합임을 입증하지만, 본 논문은 동일 자원 대비 엄격한 함수 클래스 분리나 성능 우위를 주장하지는 않는다고 명시한다.
추론 붕괴 정리(Inference-Collapse Theorem):
중심적인 이론적 기여는 추론 붕괴 정리이다. 이는 만약 연역적 출력(특히 $G_{LM}$ )이 훈련 후 정확히 입력 불변(input-invariant)이 된다면, 이러한 텐서들을 생성하는 전체 딥 비선형 서브 네트워크를 추론 시점에 단일한 상수 캐시 텐서로 대체할 수 있음을 기술한다.
- 조건부 성격: 이 정리는 완전한 불변성 가설에 기반한 조건부 정리이다. 논문은 정리(불변성 가정하에 증명됨)와 경험적 관찰(훈련된 모델이 근사적 불변성을 보임)을 구분한다.
- 결과: 불변성이 성립하면, 모델은 학습된 상수 쌍선형 형을 가진 "일반화된 SDPA"로 붕괴된다. RoPE가 존재하는 경우, 논문은 $G_{LM}$ 이 회전 군(rotation group)의 교환자(commutant) 내에 있을 때 상대적 위치 의존성을 유지하는 조건을 추가로 규명한다.
학습된 연산자의 구조적 특성:
- 페론-프로베니우스 구조(Perron–Frobenius Structure): 파워 로와 $\epsilon$ 에 의해 강제된 요소별 양수성 덕분에, 상호작용 텐서 $A_{LM}$ 은 엄격하게 양수인 고유값과 고유벡터를 갖는 페론-프로베니우스 스펙트럼 구조를 가진다.
- 학습된 특이성(Learned Singularity): 공개된 체크포인트에 대한 경험적 측정 결과, 수렴 시 생성기 $A$ 가 모든 어텐션 헤드와 레이어에 걸쳐 동일한 행을 가진 수치적 랭크-1(rank-one) 상태가 됨을 보여준다. 이러한 "학습된 특이성"이 관찰된 불변성의 대수적 메커니즘이다.
- DAG 정규화의 한계: 논문은 DAG 정규화(NOTEARS)가 비순환성을 장려하기 위해 사용되지만, $A_{LM}$ 과 $A_P$ 의 엄격한 요소별 양수성 때문에 정확한 비순환성은 수학적으로 불가능함을 명시한다. 정규화는 대신 순환 콘텐츠에 대한 소프트한 페널티 역할을 한다.
불변성의 메커니즘 (3단계 분석):
논문은 메트릭 학습기가 불변 연산자를 생성하는 조건부 3단계 메커니즘을 제안한다:
- 1단계 (회전 트월, Rotary Twirl): 밀도 연산자 이전에 적용되는 RoPE는 "트월(twirl)" 역할을 하여, 밀도 연산자를 회전 군의 교환자 위로 투영함으로써 위치 의존적 성분을 억제한다.
- 2단계 (통계적 집중): 정규화된 밀도 연산자는 대수의 법칙(matrix Bernstein 부등식으로 모델링됨)에 의해 데이터셋 수준의 평균 주변으로 집중된다.
- 3단계 (행 맵 수축, Row-Map Contraction): 학습된 행 맵 $\phi$ (레지듀얼 네트워크의 합성)는 방문된 입력 집합에 대해 수축적(contractive)인 것으로 가설화되며, 집중된 입력들을 단일한 출력 프로파일로 붕괴시킨다.

경험적 결과
논문은 이론적 주장을 검증하기 위해 공개된 체크포인트([12, 13, 14] 참조)에 대한 측정을 보고한다:

불변성: "근-임계(near-critical)" 레짐에서 훈련된 모델의 경우, 연역적 출력은 $10^{-6}$ 에서 $10^{-11}$ 사이의 미세한 상대적 변동을 보이며 사실상 상수로 동작한다.
캐시 충실도(Cache Fidelity): "캐싱된" 추론(고정된 $G_{LM}$ 재사용)은 테스트된 프롬프트에 대해 "비캐싱된" 재계산 결과와 비트 단위로 동일하거나 매우 유사한 결과를 생성하며, 편차는 디코딩 허용 범위 내에 있다.
랭크 붕괴: 특이값 감사를 통해 생성기 $A$ 가 수치적으로 랭크-1임을 확인했다. 반면 $A_{LM}$ 은 (작은 특이값들의 언더플로우로 인해) 행렬식은 0에 가깝지만 근-풀 랭크(near-full rank) 상태를 유지한다.
임계성(Criticality): 학습률과 웜업 단계를 통해 제어되는 임계 유사 레짐에서 훈련된 모델은 불변성과 일관성을 보이는 반면, 하위 임계(sub-critical) 모델은 그렇지 않음을 관찰했다.

의의 및 주장
본 논문은 PLDR-LLM 아키텍처에 대한 공식적인 분석적 기술로서 자신을 포지셔닝한다. 그 의의는 다음과 같다:

정형화: 아키텍처와 그 속성에 대한 완전한 수학적 정의를 제공한다(Lean 4를 통한 기계 검증 포함).
인식론적 명확성: 증명된 정리, 조건부 정리, 경험적 관찰, 그리고 추측을 엄격하게 구분한다. PLGA가 SDPA보다 보편적으로 우월하다고 주장하는 대신, 특정 훈련된 모델에 대해 효율적인 추론을 가능하게 하는 "붕괴" 현상으로 프레임화한다.
현상학적 프레임워크: 훈련 역학의 "자기 조직화된 임계성(SOC)"을 확립된 법칙이라기보다 불변성의 출현을 이해하기 위한 현상학적 프레임워크로 취급한다.
진단적 유용성: 모델 행동의 단계(임계 vs 하위 임계)를 구분하기 위한 측정 가능한 진단 도구로서 "질서 매개변수(order parameter, 연역적 출력의 RMS 변동 기반)"를 도입한다.

결론적으로, PLGA는 독특한 훈련 역학과 검사 가능한 법칙 표현을 가진 더 넓은 파라미터 패밀리를 제공하지만, 그 비용 또한 인정한다. 즉, 훈련 목적 함수는 타겟 노출형 보조 점수를 포함하며, 글로벌 그램 연산자는 모델이 불변 상태로 붕괴되지 않는 한 표준 SDPA의 "역사적 행 접두사 일관성(historical-row prefix consistency)"을 깨뜨린다. 본 연구는 질서 매개변수의 스펙트럼 형태와 불변 연산자의 도메인 간 전이 가능성에 대한 추가 조사를 제안한다.