🤖 machine learning

WARP: Weight-Space Analysis for Recovering Training Data Portfolios

이 논문은 개별 데이터 샘플만을 탐지할 수 있는 기존 방법들의 한계를 극복하기 위해, 파운데이션 모델의 가중치 공간 내 기하학적 특징을 분석함으로써 학습에 사용된 특정 도메인 혼합 가중치를 복구하는 프레임워크인 WARP를 소개한다.

원저자: Tzu-Heng Huang, Aditya Goyal, John Cooper, Frederic Sala

게시일 2026-07-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tzu-Heng Huang, Aditya Goyal, John Cooper, Frederic Sala

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 유명한 베이커리에서 맛있고 복잡한 케이크를 샀다고 상상해 보세요. 베이커리는 완성된 케이크는 주지만, 밀가루, 설탕, 또는 바닐라를 얼마나 사용했는지, 혹은 그 비율이 어떻게 되는지 등의 레시피는 알려주기를 거부합니다. 그들은 그저 "여기 케이크가 있습니다. 맛있게 드세요"라고 말할 뿐입니다.

AI의 세계에서 이러한 "케이크"는 파운데이션 모델(온라인에서 볼 수 있는 챗봇이나 텍스트 생성기 같은 것들)입니다. 이 "레시피"는 데이터 혼합물(data mixture), 즉 다양한 유형의 정보(뉴스, 코드, 과학 논문, 또는 소셜 미디어 게시물 등)를 어떻게 섞어서 모델을 학습시켰는지에 대한 구체적인 배합을 의미합니다. 보통 이 레시피는 비밀로 유지됩니다.

이는 문제를 일으킵니다. 연구자들은 케이크(모델)를 연구할 수는 있지만, 그 케이크를 만든 재료(데이터)는 볼 수 없기 때문입니다. 이로 인해 모델이 좋은 출처로부터 배웠는지, 아니면 실수로 먹어서는 안 될 무언가를 "먹어버렸는지" 알기가 어려워집니다.

문제점: 사라진 경로

보통 레시 recipe를 알아내려면, 제빵사가 재료를 섞는 단계를 하나하나 관찰해야 합니다. AI 용어로 이는 모델의 "두뇌"가 학습하면서 어떻게 변하는지를 기록한 **학습 궤적(training trajectory)**을 보는 것을 의미합니다. 하지만 대부분 출시된 모델의 경우, 우리는 오직 두 개의 스냅샷만을 얻을 수 있습니다:

베이스 모델(Base Model): 가공되지 않은, 학습 전의 반죽 상태.
파인튜닝된 모델(Fine-Tuned Model): 완성된 케이크.

둘 사이의 경로는 사라졌습니다. 이전의 방법들은 개별적인 "부스러기"(특정 데이터 포인트)를 살펴보고 그것이 혼합물 안에 들어있는지 확인하여 레시피를 추측하려 했습니다. 하지만 이는 단 하나의 스프링클 맛을 보고 전체 케이크 레시피를 추측하려는 것과 같습니다. 이는 전체적인 그림을 보여주지 못합니다.

해결책: WARP ("시간 여행" 케이크)

저자들은 WARP(Weight-Space Analysis for Recovering Training Data Portfolios)라고 불리는 새로운 도구를 소개합니다. 이것이 어떻게 작동하는지 쉬운 비유를 통해 설명하겠습니다.

1. 사라진 경로 재구축하기 (궤적 시뮬레이션)
우리가 실제 제빵사가 걸었던 경로를 볼 수 없기 때문에, WARP는 "모델 병합(model merging)"이라는 기술을 사용하여 가짜 경로를 만듭니다. 원재료 반죽과 완성된 케이크가 있다고 상상해 보세요. WARP는 수학적으로 반죽과 케이크를 작은 단계로 블렌딩하여 그 사이에 존재하는 일련의 "의사(pseudo) 케이크"들을 만듭니다.

1단계: 반죽 90%, 케이크 10%.
2단계: 반죽 80%, 케이크 20%.
...이런 식으로 계속하여 100% 케이크에 도달할 때까지 진행합니다.

이 가짜 단계들은 실제 학습 과정을 대신하는 대역 역할을 하며, 연구자들이 연구할 수 있는 "로드맵"을 제공합니다.

2. 기하학적 "발자국" 남기기 (미믹 점수/Mimic Score)
이제 WARP는 작고 알려진 테스트 재료 세트("프로빙 데이터셋")를 가져와서 다음과 같이 질문합니다: "만약 우리가 이 특정 재료를 우리의 가짜 경로에 추가한다면, 그것이 최종 결과물을 향해 경로를 얼마나 강하게 밀어붙일까?"

이것은 **정렬(alignment)**을 측정합니다. 만약 최종 케이크가 주로 "뉴스" 데이터로 만들어졌다면, "뉴스" 재료는 가짜 경로를 최종 케이크 쪽으로 강하게 밀어붙일 것입니다. 반면 "과학" 재료는 약하게 밀어붙이거나 잘못된 방향으로 밀어붙일 수 있습니다. 이것은 **기하학적 발자국(geometric footprint)**을 만들어냅니다. 즉, 어떤 재료가 지배적이었는지를 드러내는 모델의 "두뇌" 속 고유한 형태입니다.

3. 레시피 읽기 (디코더)
마지막으로, WARP는 이 발자국을 보고 이를 다시 레시피로 번역합니다. 여기에는 두 가지 방법이 있습니다:

빠른 추측 (비지도 학습 방식): 단순한 수학 공식(softmax)을 사용하여 그 형태를 보고 "이것은 뉴스 40%, 코드 30%, 과학 30%처럼 보인다"라고 말합니다.
훈련된 전문가 (지도 학습 방식): 이미 알려진 레시피를 가진 가짜 케이크들로 미리 학습된 작은 AI(MLP)를 사용합니다. 이 AI는 발자국을 보고 "내가 배운 바에 따르면, 이것은 확실히 뉴스 40%, 코드 30%, 과학 30%이다"라고 말합니다.

결과: 얼마나 잘 작동했는가?

연구진은 두 가지 다른 "베이커리"(BERT와 GPT-2)를 대상으로 다양한 유형의 데이터(뉴스, 리뷰 등)를 사용하여 테스트했습니다.

추측하는 것보다 훨씬 뛰어납니다: 무작위로 추측하거나 단일 부스러기를 보는 것(이전 방법들)은 종종 틀렸습니다.
놀라울 정도로 정확합니다: WARP는 매우 높은 정밀도로 레시피를 맞혔습니다. BERT 모델의 경우 평균 오차는 0.046에 불격하여 거의 완벽에 가까웠습니다. GPT-2의 경우 오차는 0.104였습니다.
제빵사가 일찍 멈췄거나 너무 오래 구웠더라도 작동합니다: 모델이 딱 적당히 학습되었든, 완벽하게 학습되었든, 혹은 과하게 학습되었든 상관없이 WARP는 여전히 레시피를 찾아낼 수 있었습니다.
가짜 경로가 실제 경로보다 더 좋았습니다: 놀랍게도, 가짜 경로(병합된 모델들)를 사용하는 것이 실제 학습 단계(만약 그것들이 있다면)를 사용하는 것보다 더 효과적이었습니다. 이는 실제 학습 경로는 "노이즈"가 많고 지저кси스러울 수 있는 반면, 가짜 경로는 매끄럽고 깨끗하여 레시피를 읽기가 더 쉽기 때문입니다.

핵심 요약

WARP는 완성된 AI 모델과 원래의 베이스 모델만 있다면, 그 모델을 학습시키는 데 사용된 데이터의 "레시피"를 역설계할 수 있다는 것을 증명합니다. 두 모델 사이의 가짜 여정을 만들고 그 여정의 기하학적 형태를 측정함으로써, 모델을 구축한 데이터의 숨겨진 비율을 밝혀내고, 이 강력한 도구들이 어떻게 만들어지는지에 대한 꼭 필요한 투명성을 제공합니다.

기술 요약: WARP – 훈련 데이터 포트폴리오 복구를 위한 가중치 공간 분석

문제 정의

파운데이션 모델들이 점점 더 대중에게 공개되고 있지만, 특정 "데이터 레시피"—특히 다양한 소스(예: 웹 텍스트, 코드, 과학 문헌)가 훈련 중에 어떻게 샘플링되는지를 결정하는 도메인 혼합 가중치—는 여전히 독점적이고 불투명합니다. 이는 심각한 접근 비대칭을 초elle를 만듭니다. 연구자들은 결과물인 모델 가중치는 연구할 수 있지만, 그 모델을 생성한 훈련 분포에 대한 가시성은 결여되어 있습니다.

특정 샘들이 훈련 세트에 포함되었는지 감지하는 멤버십 추론(Membership Inference, MI)과 같은 기존의 훈련 데이터 추론 방식은 개별 샘플 수준에서 작동합니다. 그러나 MI는 훈련 코퍼스의 전역적인 구성이나 도메인 비율을 특징화할 수는 없습니다. 또한, 기존의 훈련 궤적(training trajectories) 복구 방법들은 대개 중간 체크포인트에 대한 접근을 요구하는데, 공개된 모델(일반적으로 베이스 모델과 최종 미세 조정된 가중치만 공개됨)의 경우 이러한 중간 단계는 거의 제공되지 않습니다. 이 연구가 다루는 핵심 과제는 **역문제(inverse problem)**입니다. 즉, 공개된 베이스 모델( $\theta_{base}$ ), 미세 조정된 모델( $\theta_{ref}$ ), 그리고 작은 프로빙 데이터셋만을 가지고, 훈련 경로(trajectory)나 중간 체크포인트에 대한 접근 없이 어떻게 미지의 도메인 혼합 비율( $\pi^*$ )을 복구할 것인가 하는 점입니다.

방법론: WARP 프레임워크

저자들은 가중치 공간의 기하학적 구조를 활용하여 모델 가중치로부터 직접 도메인 혼합을 복구하는 프레임워크인 WARP(Weight-space Analysis for Recovering Training Data Portfolios)를 제안합니다. 이 방법론은 세 단계로 진행됩니다.

1. 훈련 궤적 시뮬레이션

$\theta_{base}$ 에서 $\theta_{ref}$ 로 가는 실제 경로는 관찰되지 않으므로, WARP는 모델 병합(model merging) 기술을 사용하여 두 종단점 사이를 보간(interpolate)합니다. 혼합 계수 $\alpha_t \in (0,1)$ 를 갖는 스케줄에 따라 병합 연산자(Linear Interpolation/LERP, Spherical Interpolation/SLERP, 또는 TIES와 같은 방식)를 적용함으로써, 프레임워크는 일련의 의사 체크포인트(pseudo-checkpoints)( $\tilde{\theta}_t$ )를 생성합니다. 이 의사 체크포인트들은 관찰되지 않은 파라미터 진화의 대리물(proxy) 역할을 하며, 효과적으로 "시뮬레이션된" 훈련 궤적을 재구성합니다.

2. 기하학적 지문 추출

이러한 의사 체크포인트들로부터, WARP는 Mimic Score에서 변형된 메트릭을 사용하여 도메인 수준의 신호를 추출합니다. 각 의사 체크포인트 $\tilde{\theta}_t$ 에 대해, 방법론은 타겟 모델을 향하는 방향 벡터 $v_t = \theta_{ref} - \tilde{\theta}_t$ 를 정의합니다.

샘플 정렬(Sample Alignment): 훈련 데이터와 동일한 소스 도메인에서 샘플링된 작은 프로빙 데이터셋 $D_{probe}$ 에 대해, 이 방법은 $\tilde{\theta}_t$ 에서의 각 샘플에 대한 음의 그래디언트(negative gradient)를 계산합니다.
투영(Projection): Mimic Score( $m_{i,t}$ )는 이 음의 그래디언트를 단위 벡터 $v_t$ 위로 투영하여 계산됩니다. 이 점수는 해당 샘플이 미세 조정 과정 중 모델이 실제로 나아간 방향과 얼마나 강력하게 정렬되는지를 측정합니다.
풀링(Pooling): 이 점수들은 각 단계 $t$ 에서 각 도메인 $k$ 내에서 정규화 및 평균화되어, 행렬 $M \in \mathbb{R}^{K \times T}$ 를 생성합니다. 이 행렬은 모델이 진화함에 따라 각 도메인이 미세 조정 방향과 얼마나 강력하게 정렬되는지를 추적하는 "기하학적 지문(geometric footprint)"을 나타냅니다.

3. 기하학을 혼합으로 매핑

마지막 단계는 기하학적 지문 $M$ 을 예측된 도메인 혼합 $\hat{\pi}$ 로 변환하는 것입니다. 저자들은 두 가지 변형을 제안합니다.

비지도 판독(Unsupervised Readout): 파라미터가 없는 접근 방식으로, 시간 단계에 걸쳐 풀링된 점수를 평균하고 소프트맥스(softmax) 함수를 적용하여 혼합을 추정합니다.
지도 투영(Supervised Projection): 합성 데이터로 학습된 MLP 프로젝터입니다. 저자들은 무작위 혼합을 통해 베이스 모델을 미세 조정하여 정답 라벨을 생성하는 합성 쌍(synthetic pairs)을 만들고, 이후 MLP가 기하학적 지문 $M$ 을 알려진 혼합 $\pi$ 로 매핑하도록 학습시킵니다. 이를 통해 모델은 시뮬레이션된 궤적의 서로 다른 단계를 적응적으로 가중치 할 수 있게 됩니다.

주요 기여

접근 비대칭 해소: WARP는 대부분의 공개된 모델에서 사용 가능한 산출물(베이스 및 최종 가중치)만을 사용하여 미세 조정된 모델의 도메인 혼합을 복구하는 것을 공식화하며, 독점적인 데이터나 중간 체크포인트의 필요성을 우회합니다.
시뮬레이션된 훈련 궤적: 이 프레임워크는 모델 병합을 단순한 능력 융합(capability fusion)이 아니라, 가중치 공간 내에서 사용 가능한 기하학적 구조를 드러내기 위해 관찰되지 않은 훈련 경로를 시뮬레이션하는 데 사용하는 새로운 용도를 도입했습니다.
강력한 실증적 성능: 통제된 실험에서 WARP는 샘플 수준의 멤버십 추론(MI) 베이스라인을 능가했을 뿐만 {만 실제 중간 체크포인트에 접근할 수 있는 "오라클(oracle)" 변형보다도 뛰어난 성능을 보였습니다.
강건성(Robustness): 이 방법은 조기 종료(early-stopped), 수렴(converged), 과적합(overtrained) 체크포인트를 포함한 다양한 훈련 환경에서도 정확도를 유지합니다.

실험 결과

프레임워크는 알려진 정답 혼합을 가진 네 가지 텍스트 데이터셋(SNLI, AGNews, Yelp, Yahoo)으로 미세 조정된 BERT 및 GPT-2 모델을 대상으로 평가되었습니다.

정확도: WARP는 BERT에서 0.046, GPT-2에서 0.104만큼 낮은 평균 절대 오차(MAE)를 달성했습니다(TIES 병합을 사용하는 지도 학습 MLP 변형 기준).
비교: 이러한 결과는 다음을 유의미하게 능가했습니다:
- Random Guess 및 Centroid Guess 베이스라인.
- 샘플 수준 멤버십 추론(MI): MI는 더 높은 오차(예: BERT에서 WARP의 0.046 대비 0.063 MAE)를 기록했습니다.
- 오라클 변형: 놀랍게도, 시뮬레이션된 궤적(LERP/TIES)을 사용하는 WARP는 실제 중간 체크포인트를 사용하는 변형보다 더 나은 성능을 보이는 경우가 많았습니다. 저자들은 이를 "매끄러움 격차(smoothness gap)" 때문이라고 설명합니다. 실제 훈련 경로는 노이즈(확률적 미니 배치, 학습률 웜업 등)를 포함하는 반면, 보간된 경로는 더 깨끗하고 단조로운 궤적을 제공하여 기하학적 지문을 디코딩하기 더 쉽게 만들기 때문입니다.
비지도 vs 지도: 파라미터가 없는 비지도 소프트맥스 판독 방식은 모든 베이스라인을 능가하며 지도 학습 변형과의 격차를 대부분 좁혔으며, 이는 학습된 프로젝터 없이도 기하학적 신호가 강력함을 입증합니다.

의의 및 주장

본 논문은 WARP가 모델의 가중치 공간 기하학만으로 모델의 훈련 분포를 역공학(reverse-engineering)하는 것이 가능하다는 것을 보여준다고 주장합니다. 베이스 모델과 미세 조정된 모델 사이의 "경로"가 훈련 데이터의 분포적 지문을 인코딩한다는 것을 보여줌으로써, 이 연구는 다음과 같은 새로운 도구를 제공합니다:

감사(Auditing): 데이터 오염을 탐지하거나 모델 훈련의 출처를 검증합니다.
해석 가능성(Interpretability): 모델이 특정 행동을 보이는 이유를 훈련 혼합물을 바탕으로 이해합니다.
투명성(Transparency): 데이터 레시피는 공유되지 않지만 가중치는 공유되는 프런티어 모델 개발의 불투명성 문제를 해결합니다.

저자들은 이 접근 방식이 도메인 혼합 최적화의 전통적인 순방향(forward-only) 패러다임을 깨뜨리며, 오직 "최종 요리"(가중치)만 사용 가능한 상황에서 모델의 "재료"를 추론하는 실질적인 방법을 제공한다고 강조합니다.