🤖 machine learning

Gradient-Direction Sensitivity Reveals Linear-Centroid Coupling Hidden by Optimizer Trajectories

본 논문은 옵티마이저 업데이트가 아닌 손실 기울기를 분석함으로써 기울기 방향 민감도와 선형 중심 가설 특징 간의 강력하고 이전에 숨겨졌던 결합을 드러내며, 주의력 업데이트를 저랭크 부분공간으로 제한하면 그로킹이 가속화되는 반면 자연스러운 풀랭크 업데이트는 매우 높은 랭크 중복성을 가진다는 것을 보여줍니다.

원저자: Yongzhong Xu

게시일 2026-04-29

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Yongzhong Xu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 간단한 언어와 창의적인 비유를 사용하여 설명합니다.

큰 그림: 차가 운전하는 것을 지켜보기 vs. 도로를 살펴보기

자율주행차가 복잡한 도시를 항해하는 법을 어떻게 배우는지 이해하려고 한다고 상상해 보세요. 당신은 궁금할 것입니다: 어떤 특정 회전과 차선이 실제로 차가 경로를 배우는 데 도움이 되는 것일까요?

오랫동안 연구자들은 이를 파악하기 위해 차의 실제 움직임(최적화기의 궤적)을 지켜봐 왔습니다. 그들은 지난 몇 분 동안 차가 취한 경로를 보고 그 경로 중앙을 관통하는 선을 그으며, "아하! 차는 이 특정 방향으로 움직이며 배우고 있다"고 말합니다.

이 논문은 차의 움직임을 관찰하는 것은 오해의 소지가 있다고 주장합니다.

저자들은 차의 움직임이 다음과 같은 혼란스러운 혼합물이라고 말합니다:

모멘텀: 차는 10 초 전에 했던 회전에서 여전히 관성으로 미끄러지고 있습니다.
적응형 스케일링: 차는 도로가 얼마나 미끄러운지에 따라 속도를 조절하고 있습니다.
가중치 감쇠: 차는 그럴 필요가 없을 때도 차선 중앙에 머무르려 노력하고 있습니다.
상충되는 목표: 다중 작업 환경에서 차는 마트, 체육관, 사무실로 동시에 가려고 합니다. 그 경로가 취하는 길은 단일 목적지로 가는 명확한 경로가 아니라 절충안입니다.

이 논문은 차가 무엇을 배우는지 진정으로 이해하려면 차가 어디로 갔는지를 지켜보지 말아야 한다고 주장합니다. 대신 차가 지금 바로 보고 있던 도로 표지판과 지도(경사도) 를 살펴봐야 합니다.

핵심 발견: "혼란스러운 경로"vs"명확한 신호"

연구자들은 수학 문제 (덧셈과 곱셈 등) 를 배우는 컴퓨터 모델을 대상으로 이를 테스트했습니다. 모델이 특정 기능 (숫자 더하기 규칙과 같은 정신적 규칙) 을 형성하고 있는지 확인하기 위해 "테스트"를 사용했습니다.

1. 구식 방법 (차를 지켜보기):
모델이 취한 경로 ("업데이트") 를 분석했을 때, 테스트 결과는 약하고 혼란스러웠습니다.

결과: 모델이 배우는 것처럼 보였지만, 학습의 "방향"은 무작위처럼 보였습니다. 모델이 한 번에 네 가지 일을 해야 하는 복잡한 작업에서는 테스트가 완전히 실패했습니다. 모델이 아무것도 구체적으로 배우지 않는 것처럼 보였습니다.
비유: 등산객의 목적지를 발자국으로 파악하려고 시도하는 것과 같습니다. 발자국은 미끄러짐, 멈춤, 방향 전환이 뒤섞인 엉망진창이므로 그들이 실제로 어느 방향으로 가려 했는지 알 수 없습니다.

2. 신식 방법 (지도를 살펴보기):
연구자들은 모델이 어디로 움직여야 하는지 알려주는 원시적인 수학적 신호인 경사도(그리고 혼란스러운 최적화 단계가 개입하기 전) 를 분석하는 방식으로 전환했습니다.

결과: 갑자기 신호가 놀라울 정도로 명확해졌습니다. 학습의 "방향"은 이전보다 30 배에서 100 배까지 더 강력해졌습니다.
비유: 더러운 발자국을 살펴보는 대신, 등산객이 그 정확한 순간에 목표로 삼고 있던 GPS 좌표를 살펴본 것입니다. 방향은 날카롭고 명확하며 목적지와 완벽하게 일치했습니다.

핵심 교훈: 모델을 업데이트하는 알고리즘인 "최적화기"는 노이즈와 과거의 역사를 너무 많이 추가하여 진정한 학습 신호를 가립니다. 모델이 실제로 무엇을 배우는지 보려면 모멘텀과 과거의 역사를 제거해야 합니다.

다중 작업 문제: "위원회 회의"

이 논문은 동시에 네 가지 다른 수학 문제 (덧셈, 뺄셈, 곱셈, 복잡한 제곱 공식) 를 배우려는 모델도 살펴보았습니다.

구식 관점: 모델의 결합된 경로를 살펴보면 재난처럼 보였습니다. 모델은 네 가지 다른 "위원회"를 만족시키려 했으며, 그 결과로 나온 경로는 어느 누구도 잘 만족시키지 못하는 절충안이었습니다. 진단 도구는 "이 모델은 어떤 특정 기능도 배우지 못하고 있다"고 말했습니다.
신식 관점: 각 위원회에 대한 "지도"를 따로 살펴보면 (덧셈에 대한 경사도를 계산한 다음 뺄셈에 대한 경사도를 계산하는 등), 모델이 실제로 네 가지 작업 모두에 대해 매우 잘 배우고 있음을 발견했습니다.
비유: 점심 메뉴를 결정하려는 네 명의 위원회 구성원을 상상해 보세요.
- 구식 방법: 최종적이고 혼란스러운 절충안 (예: "피자 토핑이 있는 샐러드를 먹자") 을 살펴봅니다. 이는 아무도 만족시키지 못하는 나쁜 결정처럼 보입니다.
- 신식 방법: 각 사람이 개별적으로 무엇을 주문하고 싶어 했는지 들어봅니다. A 는 정말로 샐러드를 원했고 B 는 정말로 피자를 원한다는 사실을 깨닫습니다. "혼란스러운 절충안"은 그들이 논쟁한 결과일 뿐이지만, 그들의 개별적인 욕구는 명확하고 강력했습니다.

결론: 다중 작업 훈련에서 "절충 경로"는 모델이 각 작업에 대한 고유한 기능을 성공적으로 배우고 있다는 사실을 숨깁니다. 학습을 보려면 작업을 분리해야 합니다.

"랭크 -3"의 놀라움: 방향이 아닌 크기에 관한 것

연구자들은 한 가지 더 실험을 수행했습니다. 그들은 "우리가 발견한 이 특정 방향으로 모델이 배워야 하는 것일까, 아니면 어떤 저차원 방향으로든 배워야 하는 것일까?"라고 물었습니다.

그들은 모델이 거대한 뇌의 아주 작은 3 차원 조각인 매우 작고 단순한 "부분 공간"만을 사용하여 배우도록 강요했습니다.

결과: 모델은 이 작은 조각을 사용하도록 강요받았을 때 더 빠르게(약 2.3 배) 학습했습니다.
반전: 그들이 어떤 조각을 사용했는지는 중요하지 않았습니다. 그들의 새로운 방법으로 찾은 "현명한" 조각을 사용하든, 완전히 무작위인 조각을 사용하든 모델은 똑같이 빠르게 학습했습니다.
비유: 큰 여행 가방을 작은 차 트렁크에 넣으려 한다고 상상해 보세요.
- 당신은 "옷을 이 특정 방식으로 접어야 들어갈 것 같다"고 생각할 수 있습니다.
- 하지만 실험은 당신이 단순히 여행 가방을 압축하기만 하면(랭크를 줄이면) 들어가고 더 빨리 도착한다는 것을 보여주었습니다. 셔츠를 먼저 접든 바지를 먼저 접든 상관없습니다. 중요한 것은 공간을 압축하는 행위입니다.

결론: 모델이 배우는 구체적인 "방향"은 학습 과정의 증상일 뿐 원인이 아닙니다. 진정한 마법은 모델이 이러한 수학 트릭을 배우기 위해 전체적이고 혼란스러운 뇌가 필요하지 않다는 점이며, 단지 작고 압축된 버전만 필요하다는 것입니다.

일반인을 위한 요약

발자국을 관찰하는 것을 멈추세요: AI 가 어떻게 배우는지 이해하려면 그 경로 (최적화기 업데이트) 를 지켜보지 마세요. 그 경로는 역사와 절충안으로 너무 혼란스럽습니다.
지도를 살펴보세요: AI 가 지금 바로 따르고 있는 원시적인 지시사항 (경사도) 을 살펴보세요. 이는 훨씬 더 강력하고 명확한 학습의 진정한 "방향"을 드러냅니다.
작업을 분리하세요: AI 가 한 번에 많은 일을 하고 있다면, 결합된 경로는 실패처럼 보입니다. 실제로 성공하고 있음을 보려면 각 작업을 개별적으로 살펴봐야 합니다.
단순함이 이깁니다: AI 는 단순해지도록 강요받을 때 더 빠르게 학습합니다. 복잡한 특정 방향으로 배울 필요가 없으며, 단순히 더 작고 단순한 공간으로 제한되기만 하면 됩니다.

이 논문은 본질적으로 AI 를 "해석"하기 위한 현재의 도구들이 잘못된 것을 보고 있다고 말합니다. 데이터를 더 깨끗하게 바라보는 방식으로 전환함으로써, 우리는 AI 가 우리가 생각했던 것보다 훨씬 더 효과적이고 단순하게 학습하고 있음을 볼 수 있습니다.

"Gradient-Direction Sensitivity Reveals Linear-Centroid Coupling Hidden by Optimizer Trajectories"에 대한 상세한 기술적 요약입니다.

1. 문제 제기

기계적 해석 가능성 (mechanistic interpretability) 에서 핵심적인 질문은 매개변수 공간의 어떤 방향이 특정 특징 (회로) 의 형성에 해당하는지 식별하는 것입니다. 일반적인 진단 접근법은 롤링 윈도우를 통해 옵티마이저 궤적(매개변수 업데이트, $\Delta \theta$ )의 저랭크 구조를 특이값 분해 (SVD) 로 분석하는 것입니다. 이 방법은 Update SED(Spectral Edge Diagnostics) 로 알려져 있으며, 옵티마이저가 이동하는 방향이 특징 형성과 관련된 방향을 충실히 반영한다고 가정합니다.

저자들은 이 가정이 현대적인 학습 파이프라인 (모멘텀, 적응형 스케일링, 가중치 감쇠를 사용하는 AdamW) 에서, 특히 다중 작업 (multitask) 환경에서 결함이 있다고 주장합니다. 그들은 옵티마이저 업데이트가 근본적인 그라디언트 신호를 집계하고 왜곡하여 궤적 기반 진단과 실제 특징 형성 사이의 정렬을 흐리게 하거나 파괴할 수 있다고 봅니다.

2. 방법론

이 연구는 2 층 트랜스포머 아키텍처 내의 모듈러 산술 작업 (덧셈, 뺄셈, 곱셈, $a^2+b^2$ ) 에 대한 **그로킹 (grokking)**을 사용하여 이 가설을 검증합니다. 저자들은 **선형 중심점 가설 (Linear Centroids Hypothesis, LCH)**에 대비하여 두 가지 유형의 스펙트럼 추정기를 비교합니다. LCH 는 작업별 중심점의 민감도를 최대화하는 방향으로 특징이 형성된다고 주장합니다.

비교된 주요 추정기:

Update SED: 실제 AdamW 매개변수 업데이트 ( $\Delta \theta_t$ ) 의 롤링 윈도우에 SVD 를 수행합니다. 이는 옵티마이저가 취한 "경로"를 포착합니다.
Gradient SED: 현재 매개변수에서 평가된 원시 그라디언트 ( $g_t = \nabla_\theta L$ $g_{t} = \nabla_{θ} L$ ) 의 롤링 윈도우에 SVD 를 수행합니다. 이는 모멘텀, 적응형 스케일링, 가중치 감쇠와 같은 옵티마이저 아티팩트를 제거한 손실 지형의 "가장 가파른 하강" 방향을 포착합니다.
- 다중 작업 확장: 다중 작업 환경에서 저자들은 집계된 총 손실 그라디언트를 사용하는 대신 각 작업의 손실을 별도로 역전파하여 **작업별 그라디언트 (per-op gradients, $g_{op}$ )**를 계산합니다.

진단 지표:

스펙트럼 방향 $v_k$ 와 특징 형성 간의 결합은 교란 비율 (perturbative ratio) $R_k$ 로 측정됩니다:
$R_k(t) = \frac{A(v_k, t)}{\text{median}_j A(r_j, t)}$
여기서 $A(v, t)$ 는 주의를 $v$ 방향으로 교란시켰을 때 작업 중심점의 변화를 측정합니다. 높은 $R_k$ 는 방향 $v$ 가 특징 형성에 매우 민감함을 나타냅니다.

인과적 개입:

저자들은 SED 기반 또는 무작위 기반 중 하나에 의해 정의된 저랭크 부분공간 (Rank-3) 으로 주의 업데이트를 제한하여 인과적 개입을 수행합니다. 그들은 두 가지 투영 방법을 테스트합니다:

Update Projection: 최종 AdamW 업데이트를 투영합니다.
Gradient Projection: AdamW 옵티마이저가 모멘텀과 적응형 스케일링 모멘트를 계산하기 전에 그라디언트를 투영합니다.

3. 주요 결과

A. 단일 작업 결과: 그라디언트 vs 업데이트

Update SED 실패: 단일 작업 모델에서 Update SED 는 modest한 결합 비율 ( $\bar{R}_k \approx 3\text{--}9\times$ ) 을 보입니다. 덧셈은 비정상적으로 결합된 것으로 나타나고, 곱셈은 약합니다.
Gradient SED 성공: 업데이트를 원시 그라디언트로 대체하면 결합 비율이 30–100 $\times$ 증가합니다 ( $\bar{R}_k \approx 100\text{--}330\times$ $\overset{ˉ}{R}_{k} \approx 100 - 330 \times$ ).
- 곱셈이 가장 강력한 결합 작업을 되어 Update SED 순위가 반전됩니다.
- "op-spread"(작업 간 분산) 가 크게 축소됩니다.
롤링 윈도우의 역할: $W=1$ (순간 그라디언트) 에서의 높은 결합은 그라디언트 방향 자체가 주요 동인임을 시사합니다. 롤링 윈도우 ( $W=20$ ) 는 주로 잡음 제거 메커니즘으로 작용하여 비율을 단조롭게 감소시키지만, 무작위보다 수 배 높은 신호를 유지합니다.

B. 다중 작업 결과: 집계의 치명적 실패

Update SED 붕괴: 다중 작업 학습에서 Update SED 는 완전히 실패하여 $\bar{R}_k \le 1$ (무작위보다 나쁨) 을 보입니다. 네 가지 경쟁 목표를 균형 있게 조정하는 집계된 옵티마이저 업데이트는 단일 작업의 특징 관련 부분공간과 직교하게 됩니다.
Gradient SED 회복: 작업별 그라디언트 SED를 사용하면 강력한 결합 ( $\bar{R}_k \approx 20\text{--}45\times$ $\overset{ˉ}{R}_{k} \approx 20 - 45 \times$ ) 을 회복합니다.
- 결정적으로, 다중 작업 그라디언트 SED 신호는 단일 작업 Update SED 신호보다 더 강력합니다.
- 이는 특징 형성이 다중 작업 환경에서 견고하지만 옵티마이저 업데이트 단계에서 경쟁 그라디언트의 집계에 의해 숨겨진다는 것을 증명합니다.

C. 인과적 개입: 랭크 vs 방향

가속: Rank-3 부분공간으로 업데이트를 제한하면 그로킹이 약 2.3 $\times$ 가속화됩니다.
방향 무관성: 이 가속화는 부분공간이 SED 기반(특정 정렬) 이든 무작위 기반이든 관계없이 발생합니다.
- Gradient Projection: 최적화 전 그라디언트를 투영할 때, SED 부분공간을 제거하고 무작위만 유지하는 것은 부정적인 영향을 미치지 않으며, SED 기반만 유지하는 경우와 마찬가지로 무작위 랭크 3 만 유지해도 학습이 가속화됩니다.
- Update Projection: 초기 실험은 SED 를 제거하는 것이 도움이 된다고 시사했으나, 이는 AdamW 의 내부 모멘텀/적응형 스케일링이 궤적으로 정보를 역류시키는 아티팩트였습니다. 그라디언트 투영은 이 아티팩트를 제거합니다.
결론: 랭크 제약(중복성 감소) 이 가속화의 인과적 요인이며 특정 방향은 아닙니다. 주의에 대한 자연스러운 AdamW 업데이트는 "랭크 중복성"을 가지며, 그로킹 전환에 대한 비기능적 운동을 대부분 포함합니다.

4. 주요 기여

방법론적 전환: 특징 형성의 스펙트럼 분석을 위한 올바른 대상은 옵티마이저 궤적이 아닌 그라디언트 구조임을 입증합니다. 옵티마이저 업데이트는 특징 관련 방향을 숨기는 질적 왜곡을 도입합니다.
다중 작업 해석 가능성: 경쟁 작업 간의 그라디언트 집계를 회로 수준의 해석 가능성에 대한 일반적인 장애물로 식별합니다. 다중 작업 학습에서 특징 구조를 회복하려면 작업별 그라디언트 분석이 필요합니다.
인과적 명확화: 그라디언트에서 유도된 방향이 특징 형성의 강력한 진단이기는 하지만, 유일하게 인과적인 것은 아님을 보여줍니다. 핵심 요인은 그라디언트 기반과의 특정 정렬이 아니라 업데이트의 저랭크 성질입니다.
아티팩트 식별: 그로킹에서 이전 관찰된 "랭크 1 매니폴드"가 AdamW 업데이트에 내재된 잡음과 왜곡에 의해 부분적으로 가려졌음을 드러냅니다.

5. 의의

해석 가능성 관점: 이 연구는 회로를 찾기 위해 매개변수 업데이트 궤적 (예: 가중치 차이에 대한 PCA) 을 분석하는 표준 관행에 도전합니다. 이러한 방법은 특히 복잡한 다중 작업 또는 대규모 설정 (예: Mixture-of-Experts) 에서 특징 형성을 체계적으로 과소평가한다고 주장합니다.
학습 역학 관점: AdamW 와 같은 옵티마이저가 취하는 "자연스러운" 경로는 종종 비효율적이고 중복적임을 시사합니다. 최적화를 더 낮은 랭크로 제한하면 성능을 희생하지 않고 학습 속도를 크게 높일 수 있습니다.
향후 방향: 이 발견은 대규모 모델 (LLM, 지시 미세 조정) 에 있어 특정 회로의 형성 방식을 이해하려면 집계된 궤적 분석에 의존하기보다는 작업별 그라디언트 (또는 경험적 피셔에 대한 Lanczos 와 같은 근사) 를 분석하는 것이 필수적임을 시사합니다.

요약하자면, 이 논문은 그라디언트가 신호이고 옵티마이저가 잡음이라고 주장합니다. 신경망이 특징을 학습하는 방식을 이해하려면 매개변수 공간을 통과하는 옵티마이저의 왜곡된 경로가 아니라, 특히 작업별로 분해된 원시 그라디언트 지형을 분석해야 합니다.