🤖 machine learning

First-Order Predictable but Pairwise Fragile: Local Task Adaptation in Trained Transformers

이 논문은 9개의 트랜스포머 모델에 걸쳐 8가지 국소 적응 특성을 체계적으로 평가하며, 개별 작업의 섭동은 공유된 유효성 범위 내에서 1차적으로 예측 가능한 상태를 유지하는 반면, 쌍별 작업 구성은 순서 민감성, 부동하는 부분 공간, 그리고 보편적인 가산성 또는 스티어링 대응성의 결여로 인해 매우 취약하다는 것을 발견하였다.

원저자: Irina Piontkovskaia, Sergey Nikolenko

게시일 2026-07-21

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Irina Piontkovskaia, Sergey Nikolenko

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 방금 거대하고 복잡한 스튜를 완성한 숙련된 셰프라고 상상해 보십시오. 스튜는 정말 맛있지만, 당신은 약간의 수정을 가하고 싶습니다. 예를 들어, 풍미를 더하기 위해 소금 한 꼬집을 넣거나, 자극을 주기 위해 후추 한 꼬집을 넣는 식이죠. 인공지능의 세계에서 이 '스튜'는 이미 말하고, 쓰고, 추론하는 법을 배운 거대한 컴퓨터 두뇌(트랜스포머 모델)입니다. 이 '소금 한 꼬집'은 그 내부 설정에 가하는 아주 작은 조정인 '파인튜닝(fine-tuning)'입니다. 과학자들은 만약 이러한 조정을 충분히 작게 만든다면, 그 변화는 예측 가능할 것이라고 오랫동안 믿어 왔습니다. 마치 평평한 들판 위에서 직선으로 걷는 것처럼 말이죠. 그들은 만약 두 가지 다른 맛(예를 들어, 수학도 잘하고 시도 잘 쓰는 AI를 만드는 것)을 섞고 싶다면, '수학 조정값'과 '시 조정값'을 단순히 더하기만 해도 완벽한 혼합물이 될 것이라고 생각했습니다. 이 개념은 '국소 선형성(local linearity)'이라 불리며, 모델을 처음부터 다시 학습시키지 않고도 AI를 맞춤화하는 데 사용되는 현대적 도구들의 기초가 됩니다.

하지만 요리와 마찬가지로, 주방이 생각만큼 평평하지 않을 수도 있습니다. 이 새로운 연구는 우리가 AI의 두뇌에 미세한 조정을 가할 때 실제로 어떤 일이 일나를 미시적이고 심층적으로 들여다봅니다. 과학자들은 알고 싶었습니다: 변화가 예측 가능성을 유지하려면 얼마나 작아야 하는가? 두 가지 변화를 더하는 것이 항상 작동하는가? 그리고 소금을 먼저 넣느냐, 아니면 후추를 먼저 넣느냐에 따라 결과가 달라지는가? 그들은 규모가 작은 것부터 수십억 개의 파라미터를 가진 거대한 모델에 이르기까지 9가지 서로 다른 AI 모델을 대상으로, 단순히 추측하는 것이 아니라 엄격하게 계획된 실험 세트를 사용하여 테스트했습니다.

이 논문이 들려주는 이야기는, 일방통행 도로가 차선을 변경하려고 할 때 갑자기 '교통 체증'으로 변해버리는 상황에 관한 것입니다. 연구진은 만약 당신이 단 하나의 방향(예를 들어, 단일 작업에 더 능숙하게 만드는 것)으로만 밀어붙인다면, 그 결과는 놀라울 정도로 예측 가능하고 안정적이라는 것을 발견했습니다. 당신은 AI가 혼란을 느끼거나 수학적 법칙이 깨지기 전까지 꽤 멀리(그들의 측정 기준으로 $10^{-2}$ 스케일까지) 걸어갈 수 있습니다. 이는 마치 모든 발걸음이 똑같이 느껴지는 길고 곧은 복도를 걷는 것과 같습니다. 이는 단일 작업의 단순한 수정이나 무작위 탐색을 통해 개선점을 찾으려는 사람들에게는 좋은 소식입니다. 왜냐하면 그 '복도'는 넓고 안전하기 때문입니다.

하지만 당신이 동시에 두 가지 일을 하려고 하거나, 특정한 순서로 작업을 수행하려는 순간, 바닥은 미끄러워집니다. 논문은 '가법성(additivity)' 규칙( $A + B = B + A$ )이 취약하다는 사실을 밝혀냈습니다. 만약 두 가지 서로 다른 작업 업데이트를 결합하려고 한다면, 적용하는 순서가 매우 중요해지며, 이 문제는 단일 작업의 안전 구역보다 훨씬 더 빨리 발생할 수 있습니다. 실제로, 측정된 모델과 작업의 조합 중 3분의 1 이상에서, 적용 순서가 중요해지는 지점이 그 안전 영역의 내부에서 시작되었습니다. 이 민감성의 발생 시점은 서로 다른 쌍들 사이에서 **3 자릿수(three orders of magnitude)**에 걸쳐 격렬하게 변하며, 이는 어떤 조합은 거의 즉시 무너지는 반면 다른 조합은 더 오래 버틴다는 것을 의미합니다. 과학자들은 이 혼돈이 '리 브래킷(Lie bracket)'이라고 불리는 현상 때문임을 발견했습니다. 이는 왼쪽으로 돌았다가 오른쪽으로 돌는 것과 오른쪽으로 돌았다가 왼쪽으로 돌는 것 사이에서, AI의 학습 지형의 곡률이 어떻게 뒤틀리는지를 설명하는 세련된 수학적 방식입니다.

연구팀은 또한 다른 연구자들이 사용해 온 몇 가지 인기 있는 지름길들을 테스트했습니다. 그들은 AI의 학습 공간이 '저차원(low-dimensional)'인지(마치 평평한 종이 한 장처럼 말이죠) 확인했는데, 이전의 믿음과는 달리, 그것은 단순한 평평한 종이가 아니었습니다. 그것은 움직임에 따라 계속 모양이 변하는 구겨진 종이 뭉치에 더 가까웠습니다. 또한 새로운 수정의 결과를 작은 데이터 샘플을 바탕으로 예측할 수 있는지 테스트했는데, 예측에 사용한 데이터와 테스트에 사용한 데이터가 정확히 일치할 때는 수학이 완벽하게 작동했지만, 서로 다른 데이터를 사용했을 때는 완전히 실패한다는 것을 발견했습니다. 이는 통제된 동일 데이터 환경에서는 예측이 가능할지라도, 작은 샘플만 보고서 새로운 미지의 데이터에 대해 수정이 어떻게 수행될지를 아직은 신뢰성 있게 예측할 수 없음을 의미합니다.

결론적으로, 이 논문은 파인튜닝이 망가졌다고 말하는 것이 아니라, 우리가 생각했던 것보다 '도로의 규칙'이 더 복잡하다고 말합니다. 단일하고 직선적인 조정을 위한 안전 구역은 존재하지만, 여러 작업을 결합하거나 작업 순서를 바꾸는 순간, 당신은 AI의 내부 기하학이 뒤틀리고 굴곡지는 예측 불가능한 구역에 진입하게 됩니다. 과학자들은 우리가 훨씬 더 주의를 기울여야 한다고 결론짓습니다. 우리는 단순히 두 가지 해결책을 더하는 것이 작동할 것이라거나, 순서가 상관없다고 가정해서는 안 됩니다. 대신, 우리가 특정 AI와 특정 작업의 구체적인 '곡률'을 확인해야 합니다. 왜냐냐 하면 하나의 작업을 위한 안전한 거리가 두 가지 작업을 결합할 때는 재앙이 될 수 있기 때문입니다.

기술 요약: 1차 예측 가능성 및 쌍별 취약성 (First-Order Predictable but Pairwise Fragile)

문제 정의
본 논문은 학습된 트랜스포머 모델의 국소 기하학(local geometry)을 이해하는 데 있어 근본적인 간극을 다룬다. 다양한 모델 편집, 병합, 스티어링 및 경량 적응 방법론(예: Task Arithmetic, LoRA, activation steering, random search)은 학습된 체크포인트 주변의 파라미터 공간이 국소적으로 선형적(linear), 가산적(additive) 또는 저차원적(low-dimensional)이라는 가정하에 작동하지만, 이러한 가정들이 다양한 규모와 모델에 걸쳐 정량적으로 검증된 적은 드물다. 구체적으로 다음과 같은 의문이 남아 있다:

어느 정도의 변위 규모(displacement scale)까지 이러한 국소 근사가 유효한가?
이러한 규모는 서로 다른 모델 아키텍처와 크기에 대해 보편적인가?
단일 업데이트 속성(예: 선형성)이 쌍별 속성(예: 가산성 또는 순서 독립성)을 함의하는가?

저자들은 "선형 영역(linear regime)"을 하나의 스칼라 반경으로 취급하는 것이 자기 곡률(self-curvature), 대칭적 교차 상호작용(symmetric cross-interactions), 그리고 반대칭적 순서 효과(antisymmetric order effects)라는 서로 다른 기하학적 현상을 혼동하는 것이라고 주장한다.

방법론
저자들은 단일 멀티태스크 동작 지점( $\theta^\star$ ) 주변의 8가지 뚜렷한 국소 속성을 측정하기 위해 체계적이고 전향적으로 등록된 경험적 연구("The Atlas")를 수행한다.

동작 지점: 5개의 태스크(SST-2, BoolQ, RTE, ARC-Easy, HellaSwag)의 균등 혼합물에 대해 300 스텝 동안 학습된 LoRA 어댑터(rank 16)를 사용하며, 이는 82M에서 7B 파라미터에 이르는 9개의 모델(7개의 아키텍처 패밀리 포함)을 포괄한다.
좌표계: 모든 측정은 LoRA 인자(optimizer의 관점)의 고정된 유클리드 좌표계에서 수행된다. 이 기하학이 게이지 의존적(gauge-dependent)임을 인정하지만, 본 연구 내에서는 일관되게 유지된다.
8가지 진단 도구:
1. P1 (국소 선형성): 그래디언트를 따른 프로브 손실(probe loss)의 반대칭 비율(antisymmetry ratio).
2. P2 (저차원성): 혼합 그래디언트 공분산(mixture-gradient covariance)의 랭크(rank).
3. P3 (접공간 안정성): 단일 태스크 스텝에 따른 태스크 그래디언트 부공간(subspace)의 회전.
4. P4 (가산성): 태스크 벡터의 활성화 공간 합성 오차(activation-space composition error).
5. P5 (파라미터-활성화 대응성): 가중치 업데이트의 활성화 섀도우(activation shadow)와 대조적 활성화 벡터 사이의 코사인 유사도.
6. P6 (국소 탐색 가능성): 무작위 섭동(perturbations)에 대한 실제 이득(gain)과 1차 그래디언트 투영 사이의 상관관계.
7. P7 (방향성 곡률): 그래디언트 방향의 곡률과 무작위 방향의 곡률 비율.
8. P8 (비가환성): 두 개의 연속적인 그래디언트 스텝에서 발생하는 결함(Lie bracket).
  본 연구는 데이터 수집 전에 임계값과 속성 목록을 등록한 엄격한 개발/테스트 분할 방식을 채택한다. 대조군으로는 원시 사전 학습된 체크포인트 및 태스크별 프로브에서의 측정이 포함된다.

주요 결과

1. 단일 업데이트 예측 가능성 (강건함)

1차 선형성 (P1): 태스크 그래디언트를 따라, 프로브 손실은 모든 모델 중앙값에서 최소 $10^{-2}$ 의 변위 규모까지 1차 예측 가능성(반대칭 비율 < 0.10)을 유지한다. 이 창(window)은 쌍별 상호작용이 실패하는 규모보다 훨씬 넓다.
탐색 가능성 (P6): 이 창 안에서, 무작위 섭동의 효과는 그래디언트로의 투영과 높은 상관관계를 보인다 ( $r \in [0.70, 1.00]$ ). 이는 로컬 랜덤 서치가 유효한 이유가 손실 지형이 제안들을 순위 매길 수 있을 만큼 국소적으로 선형적이기 때문임을 입증한다.
곡률 (P7): 그래디언트 방향의 곡률은 무작위 방향에 비해 수 차수(orders of magnitude) 더 크며, 이는 강한 이방성(anisotropy)을 확인시켜 준다.

2. 쌍별 취약성 (실패)

순서 민감도 (P8): 가장 중요한 발견은 쌍별 상호작용이 취약하다는 것이다. 두 개의 연속적인 업데이트 순서가 중요하며, 이러한 의존성은 종종 단일 업데이트 예측 가능성 창 내부에 있는 규모( $\eta^\dagger$ $η^{†}$ )에서 발생한다.
- 발생 규모는 모델-태스크 쌍에 따라 3개 차수(three orders of magnitude)까지 차이가 난다.
- 결함(defect)은 리 브래킷(Lie bracket) 법칙을 따른다: $c(\eta) = \eta\kappa + O(\eta^2)$ , 여기서 $\kappa = \|H_B g_A - H_A g_B\| / \|g_A + g_B\|$ 이다.
- 동일한 미니배치에서 계산했을 때, 측정된 결함은 이론적 예측과 중앙값 비율 1.002로 일치한다.
가산성 실패 (P4): 여러 모델(보류된 7B 모델 포함)에서 활성화 가산성이 전체 태스크 벡터 규모( $\alpha=1$ )에서 실패한다. 가산성은 작은 분율( $\alpha \lesssim 0.3$ )에서만 유지된다.
부공간 불안정성 (P3): 태스크 그래디언트 부공간은 16~80 스텝 이내에 크게 회전하며, 정적인 태스크 평면(static task plane) 가정을 무효화한다.
무효화된 주장들:
- P2 (저계수 공분산): 혼합 그래디언트 공분산은 $m=256$ 샘플까지 저계수 플래토(low-rank plateau)를 보이지 않는다. 이전에 관찰된 랭크-32 동작은 샘플 수에 의한 인위적 결과(artifact)였다.
- P5 (글로벌 대응성): 어떤 모델 중앙값도 가중치 업데이트와 활성화 스티어링 벡터 사이의 글로벌 평균 벡터 대응에 대한 임계값을 통과하지 못했다.

3. 규모 불일치
본 논문은 적응(adaptation)을 위한 보편적인 반경이 존재하지 않음을 입증한다. "단일 방향" 창(단일 업데이트가 예측 가능한 구간)은 "두 방향" 창(쌍별 순서 효과가 유의미해지는 구간)보다 약 1~2 차수 정도 더 넓다. 테스트된 셀의 1/3 이상에서, 쌍별 순서 민감도는 단일 업데이트 선형 영역 내부의 변위에서 이미 무너진다.

의의 및 주장
본 논문은 질적인 주장을 넘어 측정 가능한 검증 가능한 진술을 제시함으로써, 최초의 정량적이고 교차 모델적인 국소 적응 속성 아틀라스를 제공한다고 주장한다.

연산별 유효성: 저자들은 "선형 영역"이 단일 속성이 아니라고 주장한다. 자기 곡률, 대칭적 합성, 그리고 반대칭적 순서 효과는 서로 다른 텐서와 서로 다른 규모에 의해 지배된다. 가산성에 의존하는 방법(예: 모델 병합)은 1차 탐색에 의존하는 방법과 동일한 유효 규모를 가정할 수 없다.
진단 도구로서의 리 브래킷 (Lie Bracket): 두 태스크 그래디언트의 리 브래킷( $H_B g_A - H_A g_B$ )은 업데이트 순서 민감성에 대한 정밀하고 좌표 특정적인 일관성 사실을 제공한다. 이는 두 개의 헤시안-벡터 곱(HVP)을 통해 추정될 수 있으며, 매칭된 추정기(matched estimator)를 사용할 경우 비가환성 발생 시점( $\eta^\dagger \approx 0.10/\kappa$ )을 매우 정확하게 예측한다.
전이의 한 한계: 매칭된 추정기 기반의 리 브래킷 법칙은 성립하지만, 본 논문은 교차 피팅된 예측(cross-fitted predictions)은 실패함을 명시적으로 보고한다. 한 데이터 샘플에서 브래킷을 추정하는 것이 다른 샘플로 구축된 업데이트의 종착점이나 태스크 효과를 예측하지 못한다. 이는 특정 배치 내에서는 국소 기하학이 일관적이지만, 일반화 가능한 예측을 할 수 있을 만큼 데이터 분포에 대해 안정적이지는 않음을 시사한다.
실무적 지침: 실무자는 보편적인 스텝 사이즈나 반경을 가정해서는 안 된다. 대신, 자신의 특정 연산에 맞는 진단 도구를 맞춰야 한다:
- 단일 방향 탐색의 경우, 선형성은 $\sim 10^{-2}$ 까지 유지된다.
- 순차적 업데이트의 경우, 순서 민감도는 쌍별(pair-specific)로 나타나며 훨씬 작은 규모에서 발생할 수 있으므로 리 브래킷을 확인하는 것이 필수적이다.
- 저계수 혼합 공분산이나 정적 태스크 부공간에 대한 가정은 이 결과에 따라 폐기되어야 한다.

결론적으로, 공유된 1차 창(first-order window)이 국소 랜덤 서치를 예측 가능하게 만들기는 하지만, 쌍별 태스크 상호작용은 훨씬 작은, 쌍별로 특화된 규모에서 취약할 수 있으며, 적응의 국소 미적분(calculus)은 보편적이기보다는 연산별로 특화되어 있다.

기술 요약: 1차 예측 가능성 및 쌍별 취약성 (First-Order Predictable but Pairwise Fragile)

유사한 논문