🤖 machine learning

WeightCLIP: Aligning Datasets and Models for Weight Space Learning

WeightCLIP은 대조 학습 프레임워크를 통해 신경망 가중치 표현을 데이터셋 정보와 정렬함으로써 모델 검색, 생성 및 정제와 같은 다운스트림 작업에서의 성능을 향상시키는 새로운 방법이다.

원저자: Aron Asefaw, Konstantinos Tzevelekakis, Damian Falk, Léo Meynent, Damian Borth

게시일 2026-07-07

📖 3 분 읽기☕ 가벼운 읽기

원저자: Aron Asefaw, Konstantinos Tzevelekakis, Damian Falk, Léo Meynent, Damian Borth

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

수천 개의 서로 다른 신경망(AI의 '두뇌' 역할을 하는 것들)이 담긴 거대한 도서관을 상상해 보세요. 각 두뇌는 고양이를 인식하거나, X-ray에서 종양을 찾아내거나, 교통 표지판을 식별하는 것과 같이 특정 퍼즐을 풀도록 훈련되었습니다.

과거에는 새로운 퍼즐에 적합한 두뇌를 찾으려면 무작정 도서관을 뒤지거나 처음부터 새로운 두뇌를 만들어야 했는데, 이는 많은 시간과 컴퓨팅 자원을 소모하는 일이었습니다.

WeightCLIP은 특정 퍼즐(데이터셋)을 그 일에 완벽하게 적합한 두뇌(신경망)와 즉시 연결해 줄 수 있는 스마트한 사서와 같은 새로운 방법입니다. 이 기술이 어떻게 작동하는지 쉬운 비유를 통해 설명해 드리겠습니다.

1. 문제점: 엉망진창인 다락방

이 모든 신경망의 내부 코드인 '가중치 공간(weight space)'을 거대하고 지저분한 다락방이라고 생각해 보세요.

과거의 방식: 특정 작업을 위한 도구를 찾고 싶다면 단순히 모양을 보고 도구를 찾았습니다. 하지만 다락방이 너무나 엉망이라, 못을 박기 위한 망치가 나무를 위한 망치처럼 보였습니다. 도구의 생김새만 보고는 그 도구가 어떤 작업에 속하는지 구분하기가 어려웠습니다.
한계점: 기존 방식들은 도구를 묘사할 수는 있었지만, "이 도구는 못을 위한 것이다"라거나 "저 도구는 나사를 위한 것이다"라고 쉽게 말할 수는 없었습니다. 왜냐하면 도구와 작업 사이의 연결 고리가 약했기 때문입니다.

2. 해결책: WeightCLIP (스마트한 라벨러)

저자들은 WeightCLIP을 만들었습니다. 이것은 두 가지 요소를 가져와서 다락방 안의 특정 위치에 나란히 세우는 시스템이라고 상상해 보세요.

두뇌: 신경망의 가중치.
퍼즐: 그 두뇌가 훈련된 실제 데이터 (예: 고양이 사진 몇 장).

이들은 **대조 학습(Contrastive Learning)**이라는 기술을 사용합니다. 이것은 "짝 맞추기 게임"과 같습니다.

시스템은 "고양이 퍼즐"과 "고양이 두뇌"를 보여주며 "이 둘은 서로 속해 있다!"라고 말합니다.
또한 "고양이 퍼즐"과 "자동차 두뇌"를 보여주며 "안 돼! 이 둘은 맞지 않아!"라고 말합니다.
이 게임을 수백만 번 반복함으로써, 시스템은 전체 다락방을 재정리합니다. 이제 모든 "고양이 두뇌"는 한 구석에 모여 있고, "자동차 두뇌"는 다른 구석에 모여 있습니다. "고양이 퍼즐"은 바로 그 고양이 구석의 한가운데에 놓이게 됩니다.

3. 이것으로 무엇을 할 수 있을까요?

다락방이 정리되면, 여러분은 세 가지 멋진 일을 할 수 있습니다.

"내 짝 찾기" (검색/Retrieval):
새로운 퍼즐(예: "나는 꿀벌을 식별해야 해")이 생기면, 시스템에 벌 사진 몇 장을 보여주기만 하면 됩니다. 다락방이 정리되어 있기 때문에, 시스템은 설령 이전에 본 적 없는 벌이라 할지라도 유사한 데이터로 훈련된 두뇌를 즉시 찾아낼 수 있습니다. 이는 마치 사서에게 "벌 퍼즐을 가지고 있어요"라고 말하면, 사서가 당신에게 딱 맞는 도구를 건네주는 것과 같습니다.
"마법의 설계도" (생성/Generation):
이것이 가장 강력한 부분입니다. 단순히 기존의 두뇌를 찾는 것을 넘어, 여러분은 완전히 새로운 두뇌를 만들어낼 수 있습니다.
- 여러분이 "프롬프트"(새로운 작업에 대한 몇 장의 이미지)를 제공하면,
- 시스템은 그 이미지들을 해당 작업에 완벽한 두뇌를 나타내는 "설계도"(숫자의 배열)로 변환합니다.
- 그런 다음, 그 설계도를 바탕으로 바닥부터 두뇌를 구축합니다.
- 비유: 이는 요리사에게 특정 요리의 사진 몇 장을 보여주면, 요리사가 미리 만들어진 음식을 건네주는 대신, 새로운 요리사가 따를 수 있는 완벽한 레시피를 즉석에서 써 내려가는 것과 같습니다.
"미세 조정" (정교화/Fine-Tuning):
때로는 새로운 두뇌가 아직 완벽하지 않을 수도 있습니다. 과거에는 두뇌 전체를 다시 훈련시켜야 했기에 매우 느렸습니다.
- WeightCLIP을 사용하면, 전체 두뇌를 다시 만드는 대신 "설계도" 자체에 아주 작고 정밀한 조정을 가할 수 있습니다(숨겨진 공간 내에서).
- 비유: 지붕이 새는 것을 고치기 위해 집 전체를 다시 짓는 대신, 설계도를 살짝 수정하여 집이 스스로 교정되도록 만드는 것과 같습니다. 논문은 이 방식이 표준적인 재훈련보다 빠르고 종종 더 효과적이라고 주장합니다.

4. 이것이 왜 중요한가요?

이 논문은 데이터(퍼즐)와 모델(두뇌) 사이의 관계를 시스템에 명시적으로 가르침으로써 다음과 같은 성과를 얻을 수 있음을 보여줍니다.

적절한 AI를 훨씬 빠르게 찾을 수 있습니다.
특정 작업에 대해 이미 "준비가 된" 새로운 AI 모델을 생성하여, 엄청난 시간과 에너지를 절약할 수 있습니다.
아주 적은 노력만으로도 이러한 모델들을 개선할 수 있습니다.

요약하자면, WeightCLIP은 혼란스러운 AI 두뇌 더미를, 모든 두뇌가 자신이 어떤 일에 가장 적합한지 정확히 알고 있으며 우리가 원할 때마다 새로운 직무 기술서를 써서 새로운 두뇌를 만들어낼 수 있는 잘 정리된 도서관으로 바꿔줍니다.

기술 요약: WeightCLIP

문제 정의

가중치 공간 학습(Weight space learning, WSL)은 신경망(NN) 파라미터를 표현 학습을 위한 데이터 모달리티로 취급하여, 가중치로부터 모델의 속성을 예측하거나 새로운 모델을 합성하는 등의 작업을 가능하게 합니다. 기존 방식들은 유망한 결과를 보여주었으나, 결정적인 한계점을 가지고 있습니다. 즉, 학습된 가중치 공간 표현이 명시적인 의미론적 참조 프레임을 결여하고 있다는 점입니다. 결과적으로 재구성(reconstruction)이나 속성 예측만을 위해 학습된 잠재 공간(latent space)은 탐색하기 어렵습니다. 잠재 공간에서의 근접성이 반드시 데이터셋 수준의 변이와 일치하지 않으며, "탐색(navigation)"이 특정 데이터 분포와 직관적으로 매핑되지 않습니다. 이는 고차원 가중치 공간에서의 비용이 많이 드는 샘플링 없이 제로샷 전이(zero-shot transfer), 제어 가능한 가중치 생성, 또는 효과적인 정교화(refinement)를 수행하는 능력을 제한합니다.

저자들은 학습된 모델이 암묵적인 "캡션(caption)"인 '학습된 데이터셋'을 보유하고 있다고 가정합니다. 해결하고자 하는 핵심 문제는 텍스트가 시각-언어 모델을 가이드하는 것과 유사하게, 이 데이터셋 정보를 활용하여 가중치 공간 표현을 재구성함으로써 공유된 잠재 공간을 만드는 방법입니다.

방법론: WeightCLIP

WeightCLIP은 대조 학습 목적 함수(contrastive learning objective)를 사용하여 데이터셋 표현과 모델 가중치 표현을 정렬하는 방법을 제안합니다. 이 프레임워크는 세 가지 주요 구성 요소로 이루어집니다:

가중치 공간 오토인코더(Weight-Space Autoencoder): 선행 연구(Schürholt et al., 2024)를 따라, 신경망은 "가중치 토큰"(레이어 파라미터의 평탄화된 부분 집합)의 시퀀스로 표현됩니다. 인코더 $g_\phi$ 는 이러한 토큰들을 잠재 표현으로 압축하고, 디코더 $h_\psi$ 는 가중치를 재구성합니다.
데이터셋 인코더(Dataset Encoder): 데이터셋 인코더 $d_\theta$ (DeepSets 아키텍처 기반)는 데이터셋에서 추출한 작은 이미지 서브셋을 데이터셋 임베딩 $e_D$ 로 매핑합니다.
대조적 정렬(Contrastive Alignment): 핵심 혁신은 모델 가중치의 토큰 표현과 데이터셋 임베딩 간을 정렬하는 토큰 수준의 대조 손실(contrastive loss)입니다. 별도의 투영 공간을 학습하는 방법들과 달리, WeightCLIP은 오토인코더의 잠재 공간을 직접 재구성합니다. 손실 함수는 재구성 항( $L_{recon}$ )과 양방향 대조 정렬 항( $L_{align}$ )을 포함하며, $L_{align}$ 은 모델의 토큰 표현과 해당 훈련 데이터셋 임베딩 사이의 유사성을 최대화하는 동시에 다른 데이터셋과의 유사성은 최소화합니다.

다운스트림 구성 요소

잠재 공간이 정렬되면, WeightCLIP은 두 가지 다운스트림 작업을 위한 메커니즘을 도입합니다:

데이터셋-모델 매핑(Dataset-to-Model Mapping): 새로운 데이터셋 프롬프트로부터 모델을 생성하기 위해, 경량 매퍼(mapper)는 데이터셋 임베딩 $e_D$ $e_{D}$ 를 모델 토큰 표현 시퀀스 $Z$ $Z$ 로 변환합니다. 저자들은 두 가지 매퍼를 제안합니다:
- 선형 매퍼(Linear Mapper): 데이터셋 임베딩으로부터 토큰 시퀀스를 회귀하는 단순 아핀 변환(affine transformation).
- 메모리 뱅크 매퍼(Memory-Bank Mapper): 부드러운 이웃 분포에 의해 가중치가 부여된 저장된 훈련 토큰 표현들의 볼록 조합(convex combination)을 통해 토큰을 합성함으로써, 실제 훈련 모델의 매니폴드(manifold) 쪽으로 예측을 편향시키는 방법.
잠재 정교화(Latent Refinement): 생성 후 발생하는 불일치(예: 분류기 헤드 차이)를 해결하기 위해, 저자들은 가중치를 미세 조정하는 대신 잠재 공간에서 직접 모델을 정교화하는 방법을 제안합니다. 이 과정은 다음을 포함합니다:
1. 전역 사전 확률(Global Prior): 초기 잠재 토큰을 (훈련 데이터로부터 추정된) 초구형 껍질(hyperspherical shell) 위로 투영하여, 이들이 유효한 모델 매니폴드 상에 존재하도록 보장합니다.
2. 국소 최적화(Local Optimization): 학습된 매니폴드 근처에서 업데이트를 유지하는 제약 조건과 함께, 타겟 데이터셋에 대한 태스크 손실을 최소화하도록 잠재 토큰 $Z$ 를 최적화합니다. 이는 표준적인 가중치 공간 미세 조정과는 구조적으로 다릅니다.

주요 기여

본 논문은 세 가지 주요 기여를 합니다:

데이터셋 정렬된 잠재 공간: 대조 정렬을 통해 데이터셋을 참조점으로 사용함으로써 가중치 공간 잠재 공간을 조직화할 수 있음을 입증했습니다. 이를 통해 모델들이 유사한 데이터셋에 의해 함께 클러스터링되는 직관적인 탐색이 가능해집니다.
데이터셋 가이드 가중치 생성: 데이터 임베딩(데이터 프롬프트)을 모델 임베딩 시퀀스로 직접 매핑하여 신경망 가중치로 디코딩할 수 있는 방법을 도입했습니다. 이를 통해 타겟 데이터셋에 특화된 모델(OOD 데이터셋 포함)을 생성할 수 있습니다.
잠재 매니폴드 정교화: 초구형 껍질과 국소 이웃 내로 잠재 변수를 제약하면서 태스크 손실을 최적화하는 정교화 절차를 제안합니다. 이는 생성된 가중치의 표준 미세 조정보다 종종 더 효과적인 테스트 타임 적응(test-time adaptation)을 가능하게 합니다.

실험 결과

저자들은 10,000개의 CNN 체크포인트와 1,000개의 ResNet-18 체크포인트로 구성된 대규모 모델 주(zoo)를 대상으로 WeightCLIP을 평가했습니다.

잠재 공간 조직화: t-SNE 시각화와 k-NN 분류 결과, 정렬(alignment)이 모델 표현을 훈련 데이터셋별로 유의미하게 클러스터링함을 보여주었습니다(비정렬 베이스라인 대비 분류 정확도가 77%에서 98%로 향상). 데이터셋 프롬프트 간의 보간(interpolation)은 모델 성능의 매끄러운 트레이드오프를 보여주며 탐색 가능성을 확인시켜 주었습니다.
검색(Retrieval): WeightCLIP은 데이터셋-모델 검색 성능을 크게 향상시켰습니다. 인-디스트리뷰션(in-distribution) 설정에서 95%의 Recall@1을 달려 비정렬 훈련 및 TANS 베이스라인을 능가했습니다. OOD 설정에서도 검색된 모델들은 베이스라인보다 높은 제로샷 및 미세 조정 정확도를 보였습니다.
생성(Generation): 데이터셋 프롬프로 모델을 생성할 때, WeightCLIP은 처음부터 학습하기, TANS, 하이퍼네트워크 베이스라인(Text2Model)보다 우수한 성능을 보였습니다. 초기 단계(0 에포크 미세 조정)에서도 생성된 모델은 타겟 태스크와 강력한 정렬을 보였습니다. 메모리 뱅크 매퍼가 일반적으로 가장 좋은 초기 성능을 제공했으며, 선형 매퍼 또한 경쟁력 있는 성능을 유지했습니다.
정교화(Refinement): 잠재 정교화는 동일한 계산 예산 내에서 표준 가중치 공간 미세 조정과 대등하거나 더 우수한 성능을 달성했습니다. 어블레이션(ablation) 연구를 통해 초구형 제약과 초기 정렬 모두가 이러한 이득을 위해 필수적임을 확인했습니다.

의의 및 주장

본 논문은 데이터셋 정보를 명시적으로 포함하여 가중치 공간 표현을 재구성함으로써 기존 WSL 방식의 핵심적인 한계를 해결한다고 주장합니다. 데이터셋을 의미론적 참조 프레임으로 취급함으로써 다음과 같은 기능을 가능하게 합니다:

구조화된 탐색: 잠재 공간이 데이터셋의 의미론에 따라 쿼리 가능하고 탐색 가능해집니다.
효율적인 모델 합성: 값비싼 샘플링이나 처음부터 다시 학습할 필요 없이 새로운 데이터셋을 위한 강력한 모델 초기화를 생성할 수 있습니다.
개선된 적응: 제안된 잠재 정교화는 표준 미세 조정과 구조적으로 다르며 종종 더 효과적인 대안을 제공합니다.

저자들은 본 연구가 알려진 아키텍처에 대해 새로운 데이터셋을 다룰 때 신경망 학습을 더 시간 및 계산 효율적으로 만드는 단계라고 위치시킵니다. 현재 범위가 컴퓨터 비전 데이터셋과 동종의 모델 아키텍처로 제한되어 있으며, 가중치 공간의 대칭성을 명시적으로 강제하기보다는 훈련 증강(training augmentations)에 의존한다는 점을 언급하며 한계를 인정합니다.