🤖 machine learning

GD-FPS: Growth-Driven Feedforward Parameter Selection for Efficient Fine-Tuning

본 논문은 기존 경사 기반 방법들에 비해 메모리 사용량과 지연 시간을 크게 줄이면서도 경쟁력 있는 성능을 달성하기 위해 상대적 활성화 증가에 내재적 가중치 크기를 스케일링하여 최적 파인튜닝 서브셋을 효율적으로 식별하는 순수 경사 무방식 순전파 전용 매개변수 선택 방법인 GD-FPS를 제안합니다.

원저자: Kenneth Yang, Wen-Li Wei, Jen-Chun Lin

게시일 2026-05-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kenneth Yang, Wen-Li Wei, Jen-Chun Lin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보십시오. 세상의 거의 모든 책을 읽은 거대하고 지극히 똑똑한 도서관 (사전 훈련된 AI 모델) 이 있다고 가정해 봅시다. 이제 이 도서관에 희귀 조류를 식별하거나 특정 유형의 종양을 진단하는 것과 같이 매우 구체적인 새로운 기술을 가르치고자 합니다.

이 작업을 수행하던 기존 방식은 **풀 파인튜닝 (Full Fine-Tuning)**이었습니다. 이는 새로운 주제에 맞춰 도서관 전체가 모든 책을 다시 읽고 모든 페이지를 다시 쓰도록 강요하는 것이었습니다. 이는 여전히 사람이 거주하고 있는 초고층 빌딩을 개조하려는 것과 같습니다. 시간이 무한히 걸리고, 에너지 (컴퓨팅 파워) 비용이 천문학적으로 들며, 모든 설계도와 메모를 보관하기 위한 막대한 공간 (메모리) 이 필요합니다.

그후 사람들은 추가 기반 방법 (Addition-Based Methods) (어댑터나 LoRA 와 같은) 을 시도했습니다. 도서관 전체를 다시 쓰는 대신, 작은 새로운 '추가' 방이나 선반을 지은 것입니다. 이는 공간을 일부 절약했지만, 건물을 탐색하는 것을 더 복잡하게 만들었으며 (엔지니어링 복잡성), 책을 찾는 속도를 늦추는 (추론 지연) 결과를 낳았습니다.

다음으로 선택 기반 방법 (Selection-Based Methods) (GPS 등) 이 등장했습니다. 아이디어는 현명했습니다. "기존 도서관에서 가장 중요한 페이지들만 골라 다시 쓰고 나머지는 고정해 두자." 그러나 어떤 페이지가 중요한지 파악하기 위해, 기존 방식은 거대하고 지친 '역방향 통과 (backward pass)'를 필요로 했습니다. 이는 사서에게 모든 책을 읽고, 모든 문장에 대한 상세한 비평을 작성한 후, 어떤 문장이 가장 중요한지 확인하기 위해 메모를 검토하라고 요청하는 것과 같았습니다. 이는 여전히 극도로 느렸고, 모든 메모리를 소모했으며, 사서가 먼저 우연히 뽑게 된 책에 따라 결과가 흔들리는 (확률적 노이즈) 문제가 있었습니다.

새로운 해결책: GD-FPS (성장 주도 순방향 매개변수 선택)

이 논문의 저자들은 다시 쓸 페이지를 선택하는 훨씬 더 똑똑한 새로운 방식을 제안합니다. 이를 GD-FPS라고 부릅니다.

간단한 비유를 들어 작동 방식을 설명해 보겠습니다.

1. "전" 스냅샷 (앵커)
표준 책 세트 (사전 훈련 데이터) 를 사용하여 도서관의 현재 상태를 스냅샷으로 찍어 보십시오. 사람들이 이러한 표준 책들을 탐색할 때 각 책장이 얼마나 '시끄럽게' 또는 활발하게 반응하는지 기록합니다. 이것이 바로 앵커입니다. 이는 도서관이 일반적으로 어떻게 작동하는지를 나타냅니다.

2. "후" 스냅샷 (성장)
이제 새로운 구체적인 책들 (하류 작업, 예를 들어 조류 식별) 을 가져옵니다. 도서관을 다시 관찰하여 이 새로운 책들에 대해 책장들이 어떻게 반응하는지 봅니다.

3. "성장" 계산
거대하고 뒤로 향하는 비평을 수행하는 대신, GD-FPS 는 단순히 이렇게 묻습니다. "새로운 책으로 전환했을 때 기존 책들에 비해 어떤 책장이 훨씬 더 시끄럽거나 활발해졌는가?"

마법 같은 공식: 두 가지 요소를 살펴봅니다.
- 고유 강도: 이 책장은 보통 얼마나 중요한가? (가중치 크기).
- 상대적 성장: 새로운 책으로 전환했을 때 기존 책들에 비해 얼마나 더 활발해졌는가? (활성화 성장).

만약 어떤 책장이 기존 책들에서도 시끄러웠고 새로운 책들에서도 여전히 시끄럽다면, 이는 단순히 평소의 업무를 수행하는 것입니다. 하지만 어떤 책장이 이전에는 조용하다가 새로운 책들과 함께 갑자기 매우 시끄러워진다면, 그것은 성장의 신호입니다. 그 책장은 새로운 작업에 결정적입니다.

이것이 왜 중요한가?

이 논문은 이전의 '선택' 방법들에 비해 세 가지 주요 이점을 주장합니다.

마라톤이 아닌 스프린트 (속도): 기존 방식은 중요한 페이지를 찾기 위해 복잡한 역방향 계산 (전체 감사와 같은) 을 수행해야 했습니다. GD-FPS 는 빠른 순방향 통과 (빠른 훑어보기와 같은) 만 수행합니다. 논문은 이 선택 과정을 2.7 배 더 빠르게 만든다고 말합니다.
배낭에 들어감 (메모리): 전체 도서관에 대한 거대한 '감사 메모 (기울기)'를 저장할 필요가 없으므로 메모리를 18 배 더 적게 사용합니다. 이는 훨씬 저렴하고 작은 컴퓨터에서도 이를 실행할 수 있음을 의미합니다.
신뢰성 (결정론적): 기존 방식은 동전 던지기 같았습니다. 시작할 무작위 책 묶음을 다르게 선택하면 다른 페이지를 다시 쓰게 될 수도 있었습니다. GD-FPS 는 결정론적입니다. 누가 실행하든 책을 어떻게 섞든, 무작위 샘플이 아닌 전체 데이터셋의 평균 행동을 보기 때문에 항상 정확히 동일한 중요한 페이지를 선택합니다.

결과

저자들은 특정 꽃과 개의 종류를 식별하는 것부터 의료 스캔에서 종양을 발견하는 것 (시맨틱 분할) 까지 26 가지 다른 시각 작업에서 이를 테스트했습니다.

성능: GD-FPS 는 기존 최상의 방법들 (복잡한 '추가' 방법과 이전의 '선택' 방법 포함) 과 동등하거나 더 나은 성능을 발휘했습니다.
효율성: 설정 단계에서 훨씬 더 빠르고 메모리 사용량이 적으면서 이러한 결과를 달성했습니다.

요약하자면, GD-FPS 는 전체를 다시 읽거나 새로운 방을 지을 필요 없이 새로운 주제에 맞춰 거대한 백과사전의 몇 페이지만 업데이트해야 하는지 즉시 식별할 수 있는 똑똑한 사서와 같습니다. 이는 시간, 비용, 공간을 절약해 줍니다.

기술 요약: GD-FPS

문제 정의

파라미터 효율적 미세 조정 (PEFT) 은 전체 미세 조정의 막대한 메모리 및 연산 비용을 피하면서 대규모 사전 훈련 모델을 하위 작업에 적응시키는 데 필수적입니다. 그러나 기존 PEFT 접근법은 다음과 같은 중대한 한계에 직면해 있습니다:

가산 기반 방법(예: Adapters, LoRA) 은 새로운 학습 가능한 파라미터를 도입하여 모델 저장 공간, 추론 지연 시간, 그리고 최적 모듈 배치에 관한 엔지니어링 복잡성을 증가시킵니다.
선택 기반 방법(예: Gradient-based Parameter Selection, GPS) 은 파라미터 추가를 피하지만, 선택 단계에서 전체 모델의 기울기 (gradient) 계산을 의존합니다. 이 접근법은 전체 미세 조정과 동일한 막대한 메모리 사용량, 역전파로 인한 상당한 연산 지연 시간을 초래하며, 배치 샘플링으로 인한 확률적 노이즈로 인해 선택 과정이 비결정적이며 환경 구성에 민감하게 반응합니다.

핵심 과제는 계산적으로 비용이 많이 드는 기울기 계산에 의존하지 않고 메모리 효율적, 고속, 결정적, 그리고 강건한 미세 조정을 위한 희소 파라미터 부분집합을 식별하는 것입니다.

방법론: 성장 주도 순전파 파라미터 선택 (GD-FPS)

저자들은 역전파 없이 순전파 (forward passes) 를 통해 최적의 파라미터를 완전히 식별하는 엄격한 무기울기 (gradient-free) 방법인 GD-FPS를 제안합니다. 이 방법은 도메인 적응에 중요한 파라미터는 모델의 사전 훈련 행동에 비해 **활성화 성장 (activation growth)**이 현저하게 나타나며, 이는 고유한 가중치 크기에 의해 스케일링된다는 전제에 기반합니다.

이 프레임워크는 두 가지 명확한 단계로 구성됩니다:

1. 사전 고정 (Prior-Anchoring) 단계

목표: 모델의 사전 훈련 상태를 나타내는 행동 기준선 (anchor) 을 확립합니다.
과정: 원래 사전 훈련 데이터 ( $D_{pre}$ ) 의 무작위 샘플링된 부분집합에 대해 순전파를 수행합니다.
출력: 각 가중치에 대한 입력 활성화의 기대 노름 (expected norm) 을 계산합니다: $\mathbb{E}_{x \sim D_{pre}}[|a_k^{(i-1)}(x)|]$ .
효율성: 이는 모든 하위 작업에 걸쳐 공유되는 일회성 절차로, 극히 적은 분산 오버헤드 (예: 단일 GPU 에서 12,800 개의 이미지에 대해 27.38 초) 만 필요합니다.

2. 성장 정량화 (Growth-Quantifying) 단계

목표: 하위 작업 활성화와 사전 훈련 기준선을 비교하여 작업별 적응을 측정합니다.
과정: 하위 작업 데이터셋 ( $D_{down}$ ) 에 대해 순전파를 수행하여 작업별 활성화 기대값을 계산합니다: $\mathbb{E}_{x \sim D_{down}}[|a_k^{(i-1)}(x)|]$ .
점수 매기기: 가중치 $w_{k,j}^{(i)}$ 에 대한 최종 중요도 점수 ( $I_{GD-FPS}$ ) 는 활성화의 상대적 성장으로 고유 크기를 스케일링하여 계산됩니다:
$I_{GD-FPS}(w_{k,j}^{(i)}) = |w_{k,j}^{(i)}| \cdot \left( \frac{\mathbb{E}_{x \sim D_{down}}[|a_k^{(i-1)}(x)|]}{\mathbb{E}_{x \sim D_{pre}}[|a_k^{(i-1)}(x)|]} - 1 \right)$
선택: 각 뉴런당 상위-k 점수를 받은 파라미터들이 미세 조정을 위해 선택됩니다.

이 공식은 작업과 무관하지만 정적 활성화가 높은 파라미터는 우선순위를 낮추고, 새로운 도메인에 특이적인 활성화의 상당한 "급증"을 보이는 파라미터들을 선택하도록 보장합니다.

주요 기여

무기울기 선택: GD-FPS 는 파라미터 선택 단계에서 역전파의 필요성을 제거하여 GPS 와 같은 기울기 기반 선택 방법의 메모리 및 지연 시간 병목 현상을 직접 해결합니다.
결정적 강건성: 확률적 배치 기울기가 아닌 전역 통계적 특성 (기대 활성화 크기) 에 의존함으로써, GD-FPS 는 무작위 시드, 배치 크기, 데이터 샘플링 변동에 불변인 결정적 선택 과정을 보장합니다.
성장 주도 메커니즘: 사전 훈련 기준선에 대한 상대적 성장 지표의 도입은 본질적으로 활성화된 파라미터와 새로운 작업에 진정으로 적응하는 파라미터를 구별할 수 있게 합니다.
종합적 평가: 이 방법은 FGVC 및 VTAB-1k 이미지 분류와 의미론적 분할을 포함한 26 가지 시각 작업에서 검증되었으며, 다양한 아키텍처 (ViT, Swin) 와 작업에 대한 일반화 능력을 입증했습니다.

실험 결과

이 논문은 전체 미세 조정, 가산 기반 방법 (Adapter, LoRA, VPT), 그리고 주요 선택 기반 경쟁자인 GPS 를 포함한 최첨단 베이스라인에 대해 GD-FPS 를 평가합니다.

이미지 분류 (FGVC 및 VTAB-1k):
- FGVC 벤치마크에서 GD-FPS 는 평균 정확도 **92.07%**를 달성하여 GPS(91.78%) 와 SSF(90.72%) 를 능가했습니다.
- 다양한 VTAB-1k 벤치마크에서 GD-FPS 는 **75.04%**의 평균 정확도를 달성하여 GPS(75.18%) 와 동급의 성능을 보였으며, 다른 범용 PEFT 방법들을 크게 능가했습니다.
의미론적 분할 (VOC2012 및 Cityscapes):
- Swin-L 백본을 사용하여 GD-FPS 는 평균 mIoU 83.62% 및 mAcc **89.78%**를 달성했습니다.
- 이는 두 가지 지표 모두에서 전체 미세 조정 베이스라인을 성공적으로 능가했으며, 다른 범용 PEFT 방법들보다 우수하여 전문적이고 엔지니어링이 많이 된 ProPETL 방법에만 뒤처졌습니다.
효율성 향상 (GPS 대비):
- 메모리: 선택 단계 동안 피크 GPU 메모리 사용량을 거의 18 배 감소시켰습니다.
- 지연 시간: 파라미터 선택 실행 속도를 2.7 배 이상 가속화했습니다.
- 연산: 이미지당 계산 비용을 100.9 GFLOPs 에서 16.8 GFLOPs 로 감소시켰습니다.
강건성:
- GD-FPS 는 다양한 무작위 시드, 배치 크기, 데이터 비율에서 97% 이상의 교차 비율 (Intersection Ratio, IR) 을 유지했습니다.
- 반면, GPS 는 유사한 변동 하에서 IR 이 20~30% 감소하여 확률적 요인에 대한 민감성을 드러냈습니다.

중요성 및 주장

이 논문은 GD-FPS 가 대규모 모델을 미세 조정하기 위한 메모리 효율적, 고속, 그리고 강건한 솔루션을 제공한다고 주장합니다. 순전파를 엄격하게 활용함으로써, 선택 기반 효율성과 기울기 계산의 연산 비용 사이의 근본적인 트레이드오프를 해결합니다.

저자들은 GD-FPS 가 선택 기반 PEFT 내에서 고성능, 효율성, 구조적 강건성이 공존할 수 있음을 입증한다고 주장합니다. 이는 자원 제약 환경에서 확장 가능한 대안을 제공하며, 가산 기반 방법의 엔지니어링 복잡성과 기울기 기반 선택의 막대한 메모리/지연 시간 비용을 제거하면서도 결정적 결과를 보장합니다.