기술 요약: BiCo – 훈련 없는 태스크 벡터 전이를 위한 이선형 좌표 정렬

문제 정의

현대 기계 학습의 주류 패러다임은 대규모 사전 학습 모델을 미세 조정(fine-tuning)을 통해 특수화된 하위 작업에 적응시키는 것을 포함합니다. 그러나 사전 학습 모델 패밀리가 규모, 사전 학습 데이터, 또는 학습 레시피가 서로 다른 새로운 변형들로 확장됨에 따라, 미세 조정을 통해 습득한 전문 지식은 원래 모델의 특정 매개변수화에 종속되게 됩니다. 그 결과, 새로운 모델 버전이 출시될 때 미세 조정된 지식을 직접 재사용할 수 없게 되어, 비용이 많이 들고 반복적인 미세 조정 과정이 필요하게 됩니다.

이러한 "태스크 벡터" 전문 지식 (매개변수 차이 $\tau = \theta_{ft} - \theta_{pre}$ 로 정의됨) 을 서로 다른 모델 간에 전이하려는 기존 접근법들은 상당한 한계에 직면해 있습니다. 매개변수 공간 정렬 (예: 치환 대칭성을 통한 재-분지) 에 의존하는 방법들은 엄격한 아키텍처 호환성과 일치하는 차원을 요구합니다. 최근 활성화나 기울기와 같은 작업별 신호를 활용하는 훈련 없는 방법들 (예: THESEUS, GradFix) 은 부분적인 대응 관계를 제공하지만, 여전히 대상 모델의 직접적인 미세 조정과 비교하여 상당한 성능 격차를 보입니다. 핵심적인 과제는 추가적인 매개변수 업데이트 없이 서로 다른 너비, 깊이, 그리고 사전 학습 구성을 가진 모델 간에 태스크 벡터를 전이하는 것입니다.

방법론: BiCo

저자들은 BiCo(이선형 좌표 정렬, Bilinear Coordinate alignment) 를 제안합니다. 이는 태스크 벡터 전이를 이중 공간 정렬 문제로 재정의하는 훈련 없는 프레임워크입니다.

1. 이론적 통찰: 태스크 벡터의 이선형 형성

저자들은 태스크 벡터의 기계적 형성을 재검토합니다. 경사 하강법 업데이트 규칙을 분석함으로써, 계층 $l$에 대한 태스크 벡터 $\tau^{(l)}$는 미세 조정 궤적에 걸쳐 입력 측 활성화 ($x_t$) 와 출력 측 기울기 ($g_t$) 간의 이선형 상호작용의 누적임을 입증합니다:
$$\tau^{(l)} = -\sum_{t=1}^{T} \eta_t (g_t^{(l)})^\top x_t^{(l)}$$
이 공식은 태스크 벡터가 단순한 매개변수 오프셋이 아니라, 입력 활성화 공간과 출력 기울기 공간이라는 두 가지 구별된 좌표 공간의 결합임을 시사합니다. 저자들은 성공적인 전이를 위해서는 업데이트의 기하학적 구조를 보존하기 위해 활성화나 매개변수 중 하나만 정렬하는 것이 아니라, 두 공간 모두를 정렬해야 한다고 주장합니다.

2. BiCo 프레임워크

BiCo 는 소량의 보정 세트 ($N$개 샘플) 와 고정된 사전 학습 모델을 통한 단일 순방향 - 역방향 통과를 사용하여 입력 및 출력 공간에 대한 직교 프로크루스테스 (Procrustes) 매핑을 추정합니다. 대상 모델의 매개변수는 업데이트되지 않습니다.

• 입력 측 정렬: 이 방법은 사전 학습 활성화가 궤적 활성화에 대한 효과적인 대리 역할을 한다고 가정합니다. 소스 사전 학습 활성화 ($\bar{X}_{A,pre}$) 와 대상 사전 학습 활성화 ($\bar{X}_{B,pre}$) 간의 교차 공분산을 계산합니다. 관계 기하학 (Centered Kernel Alignment, CKA 로 측정됨) 을 보존하면서 소스 입력 좌표를 대상 입력 공간으로 매핑하기 위해 특이값 분해 (SVD) 를 통해 직교 프로크루스테스 해 ($R_{in}$) 를 유도합니다.
• 출력 측 정렬: 유사하게, 이 방법은 사전 학습 초기화 시의 계층 출력에 대한 기울기 ($\bar{G}_{A,pre}$ 및 $\bar{G}_{B,pre}$) 를 계산합니다. 출력 기울기 좌표를 정렬하기 위해 두 번째 직교 프로크루스테스 해 ($R_{out}$) 를 추정합니다. 이 단계는 소스와 대상 모델 간에 출력 차원이 종종 다르며 "작업 민감" 방향이 서로 다른 기저에 인코딩될 수 있기 때문에 중요합니다.
• 태스크 벡터 전이: 소스 태스크 벡터 $\tau_A^{(l)}$는 이선형 구조의 양쪽에 학습된 매핑을 적용하여 대상 호환 업데이트 $\hat{\tau}_B^{(l)}$로 변환됩니다:
  $$\hat{\tau}_B^{(l)} = (R_{out}^{(l)})^\top \tau_A^{(l)} R_{in}^{(l)}$$
  최종 대상 모델은 $\hat{\theta}_{B,ft} = \theta_{B,pre} + \hat{\tau}_B$로 업데이트됩니다.

3. 구조적 불일치 처리

• 너비 불일치: 프로크루스테스 공식은 입력/출력 차원이 다른 경우 (예: 좁은 것에서 넓은 것으로, 또는 넓은 것에서 좁은 것으로의 전이) 최적의 직교 투영을 찾아 자연스럽게 처리합니다.
• 깊이 불일치: 계층 수가 다른 모델의 경우, 대상 계층 $j$를 가장 가까운 소스 계층 $i(j)$에 매핑하는 간단한 이산 계층 인덱스 매칭 전략이 사용됩니다.

주요 기여

1. 태스크 벡터 형성 재검토: 본 논문은 태스크 벡터가 입력 활성화와 출력 기울기 간의 이선형 상호작용의 누적임을 규명하여, 단일 공간 또는 매개변수 공간 정렬이 아닌 이중 공간 정렬 접근법을 동기화합니다.
2. BiCo 프레임워크: 입력 활성화와 출력 기울기 모두에 직교 프로크루스테스 정렬을 사용하여 태스크 벡터를 전이하는 훈련 없는 방법을 소개합니다. 이는 소량의 보정 세트에서 단일 순방향 - 역방향 통과만 필요로 하며 매개변수 업데이트나 하이퍼파라미터 튜닝이 포함되지 않습니다.
3. 실증적 검증: 컴퓨터 비전 (8-Vision 벤치마크) 과 자연어 처리 (GLUE 스위트) 벤치마크에 걸친 광범위한 실험을 통해, BiCo 가 기존 훈련 없는 베이스라인 (예: THESEUS, GradFix, TransFusion) 보다 일관되게 우월한 성능을 보이며, 너비, 깊이, 사전 학습 분포가 다른 모델 간에도 직접 미세 조정과의 성능 격차를 줄임을 입증했습니다.

결과

• 너비 확장: ViT-B/16 에서 더 넓은 ViT-B/16-plus 로 전이할 때, BiCo 는 단순 패딩과 THESEUS 보다 훨씬 우수한 성능을 보입니다. 100 개의 보정 샘플만으로도 BiCo 는 제로샷 베이스라인 대비 평균 정확도 +18.88% 향상을 달성한 반면, THESEUS 는 +3.81% 에 그쳤습니다.
• 동일 아키텍처: 아키텍처는 일치하지만 사전 학습 데이터가 다른 경우 (Datacomp-XL 에서 LAION-2B 로), 단순 전이는 성능을 저하시킵니다. BiCo 는 클래스당 5 샷으로 제로샷 베이스라인 대비 평균 정확도를 +17.81% 향상시켜 GradFix 와 THESEUS 를 크게 능가합니다.
• 깊이 및 너비 확장: 깊이와 너비 불일치가 모두 포함된 까다로운 시나리오 (ViT-B/16 에서 ViT-L/14 로) 에서 BiCo 는 제로샷 베이스라인을 +12.89% 향상시켜 구조적 일반화 능력을 입증했습니다.
• NLP 일반화: T5 모델 (T5-3B 에서 T5-Large 로) 에 적용된 BiCo 는 GLUE 작업 전반에서 선형 프로빙 정확도에서 견고한 개선을 보이며, 보정 샘플 수에 따라 효과적으로 확장됩니다.
• 애블레이션 연구: 분석은 입력 측 또는 출력 측 중 하나만 정렬하는 것은 불충분함을 확인했습니다. 특히 출력 측에 기울기를 사용하는 두 가지의 조합이 성능에 결정적입니다. 입력 측만 정렬하는 경우 오히려 깊은 계층에서 제로샷 베이스라인 이하로 성능이 저하될 수 있습니다.

중요성 및 주장

본 논문은 BiCo 가 다양한 모델 변형 간에 작업별 전문 지식을 직접 재사용함으로써 모델의 재미세 조정 비효율성을 해결한다고 주장합니다. 태스크 벡터를 이선형 상호작용으로 해석함으로써, 저자들은 효과적인 전이를 위해 입력 활성화 공간과 출력 기울기 공간의 기하학적 구조를 모두 보존하는 것이 필수적이라고 주장합니다.

이 연구의 중요성은 다음과 같은 능력에 있습니다:

• 계산 오버헤드 감소: 대상 모델의 반복적 미세 조정 필요성을 제거하고, 보정을 위한 단일 순방향 - 역방향 통과만 요구합니다.
• 확장 가능한 재사용 촉진: 너비, 깊이, 사전 학습 구성이 다른 모델 간 지식 전이를 용이하게 하여, 기초 모델 패밀리가 진화함에 따라 이를 수행하는 것이 중요합니다.
• 성능 격차 해소: 훈련 없는 전이와 직접 미세 조정 간의 격차를 실질적으로 줄여, 모델 적응을 위한 실용적이고 플러그 앤 플레이 방식의 대안을 제공합니다.

저자들은 한계에 대해 겸손하게 언급하며, 이 방법은 충분히 호환 가능한 내부 구조 (예: 동일한 백본 패밀리 내) 를 가정하며, 직접 미세 조정과의 작은 격차는 여전히 존재한다고 지적합니다. 이는 선형 좌표 정렬만으로는 모든 작업별 정보를 포착하지 못할 수 있음을 시사합니다. 또한 이 방법은 소스 태스크 벡터나 보정 데이터에 내재된 편향을 본질적으로 수정하지는 않는다고 덧붙였습니다.