💻 computer science

Parameter-Efficient Fine-Tuning of Large Pretrained Models for Instance Segmentation Tasks

본 연구는 변형 가능한 어텐션(deformable attention)에 어댑터(adapters) 및 저차원 적응(LoRA)과 같은 매개변수 효율적 미세 조정(parameter-efficient fine-tuning) 방법을 적용하는 것이, 단 1~6%의 매개변수만을 미세 조정함으로써 트랜스포머 기반 모델이 전통적인 미세 조정에 비해 계산 비용을 크게 줄이면서도 경쟁력 있는 인스턴스 분할 성능을 달성할 수 있게 함을 입증한다.

원저자: Nermeen Abou Baker, David Rohrschneider, Uwe Handmann

게시일 2026-06-02

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Nermeen Abou Baker, David Rohrschneider, Uwe Handmann

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 요약: "과잉 설계된" 셰프

상상해 보세요. 당신에게는 세상의 모든 요리를 만드는 법을 배우기 위해 수년간 노력한 세계적인 셰프(거대 사전 학습 모델)가 있습니다. 이 셰프는 프랑스 제과부터 일본 스시까지 음식에 관한 모든 것을 알고 있습니다.

이제 당신은 이 셰프에게 매우 구체적이고 지역적인 요리인 **인스턴스 분할(Instance Segmentation)**을 가르치고 싶습니다. 컴퓨터 비전 용어로 말하자면, 단순히 "저것은 개다"라고 말하는 것이 아니라, 사진 속의 모든 개 하나하나에 대해 완벽한 외곽선을 그려서 서로를 구분해내는 것을 의미합니다.

문제점:
이 셰프에게 당신의 특정 지역 요리를 가르치기 위해 전통적인 방식은 셰프가 모든 것을 처음부터 다시 배우게 하거나, 적어도 전체 지식 기반의 40~55%를 다시 학습하게 하는 것입니다. 이것은 마치 셰프에게 지난 10년 동안의 훈련 내용을 모두 잊어버리고 처음부터 다시 시작하라고 강요하는 것과 같습니다. 여기에는 엄청난 시간, 에너지, 그리고 비용(컴퓨팅 파워)이 듭니다. 게다가 그 과정에서 셰프가 과거에 유명했던 다른 요리 만드는 법을 잊어버릴 수도 있습니다.

해결책 (PEFT):
이 논문은 **매개변수 효율적 미세 조정(Parameter-Efficient Fine-Tuning, PEFT)**이라는 더 똑똑한 방법을 탐구합니다. 셰프 전체를 재학습시키는 대신, 우리는 그들에게 핵심 지식을 바꾸지 않으면서도 특정 요리에 적응할 수 있도록 돕는 작은, 특화된 "레시피 카드"나 "특수 앞치마"를 제공합니다.

연구진은 이 두 가지 유형의 "레시� 카드"를 테스트했습니다:

어댑터(Adapters): 셰프의 작업 흐름에 추가되는 작고 특화된 모듈.
LoRA (Low-Rank Adaptation): 셰프의 기존 노트를 매우 작고 효율적으로 업데이트하는 방식.

두 가지 "레시피 카드" 설명

1. 어댑터: "사이드 퀘스트" 모듈

어댑터를 셰프의 메인 주방에 추가된 작고 전문적인 사이드 키친(옆 주방)이라고 생각하세요.

작동 방식: 셰프가 주요 단계(예: 재료 손질이나 볶기)를 수행할 때마다, 재료를 이 작은 사이드 키친에 통과시켜 잠시 멈춥니다. 사이드 키친은 요리가 메인 흐름으로 돌아가기 전에 약간의 "지역적인 풍미"를 더해줍니다.
실험: 연구진은 이 사이드 키친을 1개, 2개, 3개 또는 4개를 연속으로 배치하여 실험했습니다.
결과: 연구진은 2개 또는 3개의 사이드 키친을 갖추는 것이 "스위트 스팟(최적의 지점)"이라는 것을 발견했습니다. 이는 주방을 너무 혼잡하게 만들지 않으면서도 최상의 결과를 제공했습니다. 4개를 추가하는 것은 결과에 큰 도움이 되지 않았지만 과정만 더 느리게 만들었습니다.
비용: 이 방법은 기존 방식에서 필요했던 40~55%의 매개변수(셰프가 배워야 할 "재료")와 비교했을 때, 전체의 약 **1%에서 6%**만을 학습하는 데 필요했습니다.

2. LoRA: "형광펜"

LoRA를 특별한 형광펜이라고 생각하세요. 셰프의 요리책 전체를 다시 쓰는 대신, 기존 텍스트의 특정 문장에 형광펜을 칠해 의미를 약간 바꾸는 것입니다.

작동 방식: 연구진은 이 형광펜을 모델의 "어텐션(Attention)" 부분(셰프가 이미지의 어디를 볼지 결정하는 부분)에 구체적으로 적용했습니다. 그들은 심지어 이 맥hell context에서 "디포머블 어텐션(Deformable Attention)"이라는 복잡한 유형의 어텐션에도 이를 처음으로 적용해 보았습니다.
결격 사항: LoRA는 믿을 수 없을 정도로 효율적이었습니다. 단 **0.3%에서 1%**의 매개변수만을 학습했습니다.
주의점: LoRA는 매우 빠르고 가벼웠지만, 항상 승리하는 것은 아니었습니다. 매우 지저하고 어려운 작업(예: 쓰레기 X-ray 이미지)에서는 "사이드 키친"(어댑터)이 더 나은 성능을 보였는데, 이는 어댑터가 복잡성을 처리할 수 있는 조금 더 많은 용량을 가지고 있었기 때문입니다. 일상적이고 단순한 작업(예: 도시 거리 장면)에서는 LoRA가 빛을 발했습니다.

테스트 드라이브: 네 가지 다른 "주방"

연구진은 이 방법들이 얼마나 잘 작동하는지 확인하기 위해 네 가지 매우 다른 데이터셋(이미지 유형)을 테스트했습니다.

돌고래 (NDD20): 물 위와 아래에 있는 돌고래의 선명한 이미지.
- 결과: 두 방법 모두 잘 작동했지만, 어댑터(더 많은 사이드 키친을 가진)가 돌고래의 구체적인 디테일을 포착하는 데 약간 더 뛰어났습니다.
컨베이어 벨트 위의 쓰레기 (ZeroWaste): 플라스틱, 금속, 종이 상자가 뒤섞인 지저로운 더미.
- 결과: 이는 매우 복잡하고 어지러운 작업이었습니다. 여기서 어댑터가 승리했습니다. 어댑터는 구겨진 비닐봉지와 금속 조각의 차이를 구별해내는 데 더 뛰어났습니다.
X-ray 폐기물 (WIXray): X-ray를 통해 쓰레기 속의 배터리나 유리를 찾아내는 것.
- 결과: 이것이 가장 어려운 작업이었습니다. 어댑터가 다시 한번 LoRA를 앞질렀습니다. "사이드 키친"은 셰프가 이전에 본 적 없는 X-ray 이미지의 낯설고 새로운 패턴을 학습하는 데 더 적합했습니다.
도시 거리 (Cityscapes): 도시의 자동차, 사람, 건물.
- 결과: 이는 셰프가 원래 배웠던 것과 유사한 매우 일반적인 유형의 이미지입니다. 여기서 LoRA가 슈퍼스타였습니다. LoRA는 매우 효율적이어서 거의 메모리를 사용하지 않고도 전통적인 방식과 어댑터를 능가했습니다.

결론: 무엇을 배웠는가?

효율성이 핵심이다: 모델 전체를 재학습시킬 필요가 없습니다. 모델의 1~~6%만 학습함으로써 90~~95%의 성능을 얻을 수 있습니다.
모두에게 맞는 정답은 없다:
- 만약 작업이 복잡하고, 지저분하거나, 모델이 원래 배웠던 것과 매우 다르다면(예: X-ray), 어댑터(특히 2개 또는 3개)를 사용하세요. 이들이 더 유연합니다.
- 만약 작업이 일상생활과 유사하다면(예: 도시 거리), LoRA를 사용하세요. 이것이 가장 효율적이고 빠릅니다.
속도 vs 성능: 어댑터는 프로세스에 약간의 시간(사이드 키친을 추가하는 데 몇 초가 더 걸리는 것과 같음)을 더하지만, LoRA는 기존 노트를 수정하는 것이기에 즉각적입니다.

요약

이 논문은 거대한 AI 모델에게 새로운 특정 작업을 가르치기 위해 거대하고 비싼 컴퓨터가 필요하지 않다는 것을 증명합니다. 작고 스마트한 추가 기능(어댑터)이나 효율적인 수정(LoRA)을 사용함으로써, 우리는 사진 속 사물을 찾는 것과 같은 특정 작업을 위해 이 거대한 모델들을 맞춤화할 수 있으며, 이를 통해 훌륭한 결과를 얻으면서도 엄청난 시간과 비용을 절약할 수 있습니다. 핵심은 당신이 하려는 특정 작업에 맞는 올바른 도구를 선택하는 것입니다.

기술 요약: 인스턴스 분할 작업을 위한 대규모 사전 학습된 모델의 매개변수 효율적 미세 조정

문제 정의
컴퓨터 비전 분야에서 대규모 사전 학습된 모델(LPM)의 급격한 발전은 다양한 작업에 걸쳐 최첨단 결과를 전달해 왔습니다. 그러나 모델 매개 Parameters의 상당한 증가는 다운스트림 적응에 있어 큰 장벽을 형성합니다. 전통적인 전체 미세 조정(Full fine-tuning)은 새로운 작업마다 모든 가중치 또는 그 중 상당 부분을 업데이트해야 하므로 높은 계산 및 메모리 비용, 파괴적 망각(catastrophic forgetting)의 위험, 그리고 작은 타겟 데이터셋에 대한 과적합 문제를 야기합니다. 어댑터(Adapters) 및 저차원 적응(LoRA)과 같은 매개변수 효율적 미세 조정(PEFT) 방법론이 자연어 처리(NLP) 분야에서는 주목받고 있으나, 복잡한 컴퓨터 비전(CV) 작업, 특히 트랜스포머 기반 아키텍처를 사용하는 인스턴스 분할 작업에 대한 적용은 여전히 미개척 영역으로 남아 있습니다. 또한, 기존의 PEFT 방법들은 확장성 측면에서 한계가 있으며, 정밀한 픽셀 수준 예측 및 객체 인스턴스 구별과 같은 인스턴스 분할의 고유한 요구 사항에 최적화되어 있지 않습니다. 특히 현대적인 DETR(Detection Transformer)의 핵심인 변형 주의 메커니즘(deformable attention modules) 내에 이러한 기술들을 통합하는 것과 관련하여 문헌상에 주목할 만한 공백이 존재합니다.

방법론
본 연구는 두 가지 PEFT 전략인 순차적으로 배치된 어댑터(Adapters)와 LoRA를 두 가지 대규모 사전 학습된 인스턴스 분할 모델인 SEEM(Segment Everything Everywhere Model)과 Mask DINO에 적용하여 그 효과를 조사합니다. 본 연구는 네 가지의 다양한 복잡도를 가진 벤치마크 데이터셋(NDD20(돌고래 분할), ZeroWaste(컨베이어 벨트 폐기물), WIXray(X-선 폐기물 검사), Cityscapes(도시 거리 장면))을 통해 모델을 적응시키는 데 집중합니다.

어댑터(Adapters): 저자들은 새로운 방식의 순차적 어댑터 모듈 통합을 제안합니다. 단일 어댑터를 레이어당 하나씩 배치하는 표준 구현과 달리, 본 연구는 각 트랜스포머 블록 내에 여러 개의 어댑터 블록( $I$ )을 순차적으로 삽입합니다. 이 어댑터들은 교차 주의(cross-attention) 및 자기 주의(self-attention) 레이어 다음에 배치됩니다. 아키텍처는 선형 다운 프로젝션(linear down-projection), ReLU 활성화 함수, 선형 업 프로젝션(linear up-projection) 및 잔차 연결(residual connection)을 포함합니다. 본 연구는 최적의 신호 흐름을 결정하기 위해 다양한 잔차 연결 구성( $\kappa$ , $\lambda$ , $\kappa + \lambda$ )을 탐구합니다.
변형 주의에서의 LoRA(LoRA in Deformable Attention): 주요 방법론적 기여는 다중 스케일 변형 주의 메커니즘에 LoRA를 적용한 것입니다. LoRA는 일반적으로 표준 주의 레이어(Query 및 Value 프로젝션을 수정)에 적용되지만, 본 연구는 이 기술을 변형 주의로 확장합니다. 여기서 LoRA 행렬은 오프셋을 예측하는 가중치 행렬( $W_{offset}$ )과 가치 프로젝션( $W_V$ )에 적용되어, 핵심 사전 학습 가중치를 변경하지 않고도 모델이 작업 특화된 샘플링 위치와 가치 해석을 학습할 수 있도록 합니다.
실험 설정: 실험은 NVIDIA Quadro RTX 8000 GPU를 사용하여 수행되었습니다. 본 연구는 PEFT 구성들을 전통적인 미세 조정 설정(전체 분할 헤드, 디코더 전용, 임베딩 전용)과 비교합니다. LoRA 랭크( $r = \{2, 4, 8, 16\}$ )와 어댑터 개수( $I = \{1, 2, 3, 4\}$ )에 대한 매개변수 스윕(parameter sweep)이 수행되었습니다.

주요 기여

변형 주의에 대한 최초의 LoRA 적용: 본 논문은 다중 스케일 변형 주의 레이어를 위한 특정 LoRA 접근 방식을 도입하여, 이러한 특수화된 주의 메커니즘 내에서 저차원 행렬만을 업데이트함으로써 매개변수 효율성을 달성했습니다.
순차적 어댑터 통합: 본 연구는 대규모 사전 학습된 인스턴스 분할 모델을 위해 순차적으로 배치된 어댑터 모듈의 첫 번째 구현을 제시하며, 트랜스포머 레이어당 여러 개의 어댑터 블록을 추가하는 확장성을 탐구합니다.
포괄적인 벤치마킹: 본 연구는 SEEM 및 Mask DINO 아키텍처에 대해 성능, 매개변수 효율성 및 추론 속도를 평가하며 네 가지 다양한 데이터셋에 걸친 PEFT 방법론의 비교 분석을 제공합니다.

결과
본 연구는 PEFT 방법들이 모델 매개변수의 아주 적은 부분만을 미세 조정하면서도 경쟁력 있는 성능을 달-성할 수 있음을 입증합니다:

매개변수 효율성: 어댑터 구성은 SEEM의 경우 1.23% ~ 3.88%, Mask DINO의 경우 **0.5% ~ 6.35%**의 매개변수를 필요로 했습니다. LoRA는 훨씬 더 효율적이어서 SEEM의 경우 약 0.34% ~ 0.54%, Mask DINO(ResNet-50 백본)의 경우 **0.73% ~ 1.39%**를 사용했습니다. 반면, 전체 헤드 미세 조정(full-head fine-tuning)은 각각 39.55%(SEEM)와 54.91%(Mask DINO)의 매개변수를 필요로 했습니다.
성능 트레이드오프(Performance Trade-offs):
- 어댑터(Adapters): 어댑터의 수가 증가할수록 일반적으로 성능이 향 향상되었으며, 블록당 2~3개의 어댑터가 정확도와 매개변수 수 사이의 최적의 균형을 제공했습니다. ZeroWaste 데이터셋의 경우, Mask DINO의 4-어댑터 구성은 심지어 SOTA(최첨단) 전체 헤드 튜닝 성능을 능가했습니다.
- LoRA: LoRA는 강력한 효율성을 보였으나, 데이터셋과 아키텍처에 따라 가변적인 성능을 보였습니다. Cityscapes 데이터셋에서는 뛰어난 효율성을 보였으며(Mask DINO의 경우 단 0.24%의 매개변수로 전체 헤드 튜닝을 능가), WIXray(X-선 이미지) 및 ZeroWaste와 같이 도메인 변화가 큰 복잡한 작업에서는 어댑터에 비해 성능이 낮았습니다.
- 아키텍처 의존성: Mask DINO(변형 주의 기반)는 종종 더 큰 SEEM 모델과 대등하거나 더 우수한 결과를 얻었으며, 이는 변형 주의 메커니즘이 대비적 노이징(contrastive denoising)과 결려 인스턴스 위치 파악에 매우 효과적임을 시사합니다.
추론 속도: 어댑터는 추가된 어댑터 블록당 반복당 1~2ms의 약간의 계산 오버헤드를 발생시킵니다. 그러나 LoRA는 가중치가 추론 전에 기본 모델과 재구성 및 병합되므로 무시할 수 있는 수준의 추론 오버헤드만을 부과합니다.

의의 및 주장
본 논문은 PEFT가 인스턴스 분할을 위한 확장 가능하고 맞춤 설정 가능하며 계산 효율적인 전이 학습을 가능하게 할 잠재력을 보여준다고 주장합니다. 저자들은 PEFT가 항상 전체 미세 조정의 절대적인 최고 성능에는 미치지 못할 수도 있지만, 자원이 제한된 환경을 위한 실행 가능한 대안을 제공한다는 점을 강조합니다. 본 연구는 어댑터와 LoRA 사이의 선택이 맥락 의존적임을 강조합니다: 상당한 도메인 적응이나 복잡한 변형 객체를 다루는 작업에는 어댑터가 더 유리할 수 있는 반면, 사전 학습 분포에 가까운 작업에는 LoRA가 매우 효과적입니다.

저자들은 자신들의 결과가 유망하지만, 최적화의 여지가 남아 있다고 겸허히 언급합니다. 그들은 특정 복잡한 시나리오(예: WIXray)에서의 성능 격차와 어댑터의 증가된 추론 시간이 실시간 애플리케이션 사용을 제한할 수 있음을 인정합니다. 본 연구는 하이브리드 전략에 대한 추가 연구, 다양한 비전 작업에 대한 광범대한 벤치마킹, 그리고 특화된 컴퓨터 비전 애플리케이션을 위한 새로운 어댑터 변형 개발을 촉구하며 마무리됩니다.