기술 요약: 회복 가능하지만 정지해 있지 않은: 가중치와 활성화의 국소적 선형 구조

1. 문제 정의

태스크 벡터(task vectors), LoRA, 활성화 스티어링(activation steering), 그리고 가중치 주변의 무작위 탐색(random search)과 같이 사전 학습된 모델을 편집하고 적응시키려는 최근의 접근 방식들은 공유된 기하학적 가정에 의존한다. 즉, 학습된 행동이 가중치 공간이나 활성화 공간 내의 고정된 저차원 선형 방향에 대응한다는 가정이다. 지배적인 가설은 체크포인트를 통과하는 정적인 '태스크 평면(task plane)'이 존재하며, 이 평면을 따라 이동함으로써 재학습 없이 태스크 특유의 행동을 추가하거나 제거할 수 있다는 것이다.

그러나 이러한 선형 구조가 진정으로 전역적이고 정적인 것인지, 아니면 국소적이며 진화하는 것인지는 여전히 불분명하다. 또한, 고차원 공간(예: $10^9$ 파라미터)에서 무작위 탐색의 효율성은 직관에 어긋난다. 만약 유용한 방향이 거대한 건초더미 속의 희귀한 바늘과 같다면, 이론적으로 무작위 샘플링은 실패해야 하기 때문이다. 본 논문은 이러한 선형 구조의 진정한 본질, 즉 차원, 정지성(stationarity), 그리고 가중치 섭동(perturbation)과 활성화 스티어링 사이의 관계를 조사한다.

2. 방법론

저자들은 후보 서브스페이스(subspace)를 측정하기 위한 기준점으로서의 정답 적응 벡터($\Delta_{GD}$)를 생성하기 위해 "망각 후 회복(recovery after forgetting)" 실험 루프를 사용한다. 이 루프는 세 단계로 구성된다:

1. 멀티태스크 학습: 혼합된 태스크들로 모델을 학습시켜 체크포인트 $\theta_{mt}$에 도달한다.
2. 망각: 단일 태스크에 대해 학습을 지속하여 다른 태스크들에 대한 성능이 저하되는 지점 $\theta_{forg}$에 도달한다.
3. 회복: 원래의 혼합 태스크들에 대해 짧게 재학습하여 손실된 태스크들을 복구하고, $\theta_{rec}$에 도달한다.

변위 $\Delta_{GD} = \theta_{rec} - \theta_{forg}$는 목표 적응(target adaptation) 역할을 한다. 저자들은 후보 서브스페이스가 $\Delta_{GD}$를 얼마나 포착하는지 측정하고, 이 서브스페이스 내에서 무작위 탐색을 수행함으로써 서브스페이스를 평가한다.

실험 규모

• 합성 트랜스포머(Synthetic Transformers): 숫자 시퀀스 태스크(복사, 역순, 정렬, mod-add)에 대해 학습된 제어된 4계층, 128차원 인과적(causal) 트랜스포머.
• LoRA 어댑터: DistilGPT-2 및 GPT-2 백본을 사용하여 계수 결핍(rank-deficient) 어댑터로 미세 조정.
• 대규모 언어 모델(LLMs): Qwen2.5 (0.5B, 3B, 7B) 및 OLMo-7B를 이용한 실험.

이론적 프레임워크

본 논문은 무작위 탐색의 효율성과 서브스페이스 선택을 설명하기 위한 이론적 프레임워크를 개발한다:

• Best-of-N 정리: 국소 선형 영역(locally linear regime)에서 등방성 가우시안 무작위 탐색은 주변 차원 $D$와 독립적인 분산을 가진 유용한 신호를 포착함을 증명한다. 기대 이득은 $\sqrt{\log N}$($N$은 탐색 예산)에 비례하여 스케일링되지만, $D$에는 의존하지 않는다.
• 신호 밀도 대 질량(Signal Density vs. Mass): 고정된 스텝 사이즈에 대해, 잘 정렬된 더 작은 서브스페이스가 단순히 타겟 방향을 포함하기만 하는 더 큰 서브스페이스보다 더 높은 탐색 신호를 생성함을 입증한다(신호 밀도 $\|P_U a\|/\sqrt{r}$ 때문).
• 크릴로프 회복(Krylov Recovery): 회복 변위가 고정된 방향이 아니라 헤시안(Hessian)과 초기 그래디언트에 의해 생성된 크릴로프 서브스페이스에 존재함을 보여주는 보조정리이다. 이는 관련 서브스페이스가 궤적이 전개됨에 따라 진화함을 의미한다.
• 푸시포워드 항등식(Pushforward Identity): 자코비안 $D_\theta h$를 통해 가중치 섭동($\delta\theta$)과 활성화 변화($\Delta h$) 사이의 이론적 연결을 확립하며, 유용한 가중치 이동이 스티어링 벡터로 기능할 수 있는 '그림자'를 활성화 공간에 남긴다는 것을 시사한다.

3. 주요 기여 및 결과

A. 선형 구조는 정적이지 않고 국소적이며 움직인다

핵론적인 발견은 "태스크 평면" 가설이 틀렸다는 것이다.

• 정적 평면의 실패: 망각된 체크포인트에서의 서브스스페이스(국소 태스크 평면)나 망각 전의 서브스페이스(간섭 전 평면)는 회복 변위의 극히 일부만을 포착한다 (LoRA 실험에서 각각 약 15% 및 2% 미만).
• 궤적 정렬(Trajectory Alignment): 회복 방향은 궤적 접두사(trajectory prefix), 즉 회복 경로의 초기 몇 단계로 형성된 기저(basis)에 의해 가장 잘 포착된다. LoRA 실험에서 초기 10단계의 회복 과정은 전체 변위 $\Delta_{GD}$의 약 77%를 포착했으며, 초기 20단계는 약 90%를 포착했다.
• 표류(Drift): 국소 태스크 서브스페이스의 방향은 회복 과정 동안 크게 표류한다 (주요 각도 중첩이 100단계에 걸쳐 1.0에서 약 0.12–0.17로 감소함). 이는 관련 기하학이 고정된 평면이 아니라 움직이는 번들(bundle)임을 확인시켜 준다.

B. 무작위 탐색의 효율성 및 차원 독립성

본 논문은 고차원에서 무작위 탐색이 왜 작동하는지에 대한 이론적 근거를 제공한다:

• 차원 독립성: 등방성 가우시안 섭동을 유용한 방향으로 투영한 분산은 전체 파라미터 수와 무관하다.
• 스케일 윈도우: 무작위 탐색은 손실 함수 지형이 국소적으로 선형인 특정 섭동 스케일 범위 내에서만 효과적이다 (예: Qwen2.5-05B에서 $\sigma \approx 10^{-4}$). 이 범위를 벗어나면 곡률이 지배적이 되어 무작위 이동이 파괴적인 결과를 초래한다.
• 탐색 품질: 궤적 접두사 서브스페이스 내에서 수행된 무작위 탐색은 정적 태스크 평면이나 등방성 공간 내에서의 탐색보다 현저히 우수한 성능을 보인다. 이는 "신호의 밀도"가 서브스페이스의 "질량"보다 중요하다는 이론적 예측을 확인시켜 준다.

C. 가중치 섭동과 활성화 스티어링 간의 연결

저자들은 가중치 편집과 활성화 스티어링 사이의 연결 고리를 검증한다:

• 그래디언트 스텝으로서의 스티어링 벡터: Qwen2.5-0.5B에 대한 단일 그래디언트 스텝은 활성화 공간으로 푸시포워드되었을 때 대조적 활성화 추가(contrastive activation addition, CAA) 스티어링 벡터와 정렬되는 가중치 섭동을 생성한다 (코사인 유사도 $\approx 0.58$, 디코더 후기 레이어 19–20 기준).
• 재사용성: 이 그래디언트 유도 활성화 변화를 클린 모델에 주입하면 홀드아웃 데이터에 대한 정확도가 향상된다 (BoolQ에서 최대 +10 포인트). 이는 라벨링된 대조 쌍으로부터 유도된 스티어링 벡터와 대등한 수준이다.
• 무작위 탐색 브릿지: 선택된 무작위 가중치 섭동(Best-of-N) 또한 성능을 개선하는 스티어링 벡터로 변환될 수 있지만, 그 효과는 더 노이즈가 많고 태스크 의존적이다.

D. 규모에 따른 저계수(Low-Rank) 기하학

• 합성/LoRA: 태스크 그래디언트에서 명확한 저계수 구조(유효 계수 2–8)가 관찰된다.
• LLM: 십억 단위 파라미터 규모에서는 저계수 주장이 부분적으로만 확인된다. 일부 설정(예: Qwen-3B MLP)은 노이즈와 구별 가능한 계수를 보여주지만, 다른 설정(예: Qwen-7B)은 유효 계수가 샘플링 노이즈와 구별되지 않는 모습을 보여, 이 규모에서 순진한(naive) 계수 추정이 어려움을 시사한다.

4. 의의 및 주장

본 논문은 훈련된 네트워크의 적응에 대한 교정된 기하학적 이해를 제공한다고 주장한다:

1. 정적 태스크 벡터의 반박: 관련 선형 구조는 전역적이고 고정된 태스크 방향이 아니라, 파라미터 및 활성화 공간에 걸쳐 부분적으로 지속되는 진화하는 국소 기하학(크릴로프 형태의 궤적 번들)이다.
2. 방법론의 통합: 이 연구는 그래디언트 업데이트, 무작위 파라미터 탐색, 활성화 스티어링을 단일 미분 기하학적 관점으로 통합한다. 성공적인 파라미터 섭동이 재사용 가능한 활성화 방향을 유도하며, 무작위 탐색이 작동하는 이유는 이러한 국소 선형 영역을 효율적으로 샘플링하기 때문이라고 상정한다.
3. 실질적 시사점:
   • 멀티태스크 학습: 국소 태스크 평면이 표류하기 때문에 순차적 전문화는 취약하다. 동시 스케줄링이 더 견고하다.
   • 탐색 전략: 유용한 방향을 찾으려면 정적인 태스크 서브스페이스가 아니라 적응 경로의 초기 궤적 내에서 탐색해야 한다.
   • 스티어링: 활성화 스티어링 벡터는 가중치 섭동(심지어 단일 그래디언트 스텝)으로부터 유도될 수 있으며, 이는 가중치 공간 편집과 활성화 공간 제어 사이의 간극을 메운다.

저자들은 무작위 탐색이 통제된 환경에서 특정 타겟 태스크에 대해 그래디언트 디센트를 능가할 수 있음에도 불구하고, 그것이 불안정하며 그래디언트 디센트의 대체재는 아니라는 점을 언급하며 신중한 태도를 유지한다. 결과는 국소 선형 구조에 대한 더 깊은 분석을 위한 시작점으로 제시되며, 증거의 규모(합성 및 소규모 LoRA 모델에서 가장 강력함)와 십억 단위 파라미터 모델에서의 부분적인 저계수 발견에 대한 한계를 명시하고 있다.