🤖 machine learning

Efficient Estimation of Kernel Surrogate Models for Task Attribution

본 논문은 확장 가능한 작업 귀인을 위해 비선형 작업 상호작용을 정확하게 포착하기 위한 효율적인 기울기 기반 추정 절차를 갖춘 커널 대리 모델을 소개하며, 이는 선형 대리 모델 및 영향 함수보다 실제 값과의 상관관계 및 하류 데이터 선택 성능 측면에서 현저히 우수한 성과를 보입니다.

원저자: Zhenshuo Zhang, Minxuan Duan, Hongyang R. Zhang

게시일 2026-05-12

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhenshuo Zhang, Minxuan Duan, Hongyang R. Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 세계적으로 유명한 요리를 만든 셰프라고 상상해 보세요. 이 요리는 단일 재료로 만들어진 것이 아닙니다. 다섯 개 다른 나라의 향신료, 세 곳의 정원에서 채취한 채소, 그리고 비밀 소스를 결합한 복잡한 레시피로 만들어졌습니다.

이제 한 음식 평론가가 질문합니다: "이 요리를 이렇게 맛있게 만든 구체적인 재료는 무엇입니까? 인도의 사프란일까요, 이탈리아의 토마토일까요, 아니면 비밀 소스일까요?"

이것이 바로 작업 귀속 (Task Attribution) 문제입니다. 인공지능 (AI) 세계에서는 모델이 언어 번역, 코드 작성, 수학 문제 해결 등 수천 가지 다른 "작업"으로 훈련됩니다. 연구자들은 궁금해합니다: 어떤 구체적인 훈련 작업이 실제로 AI 가 특정 업무에서 더 잘하도록 도왔을까요?

구식 방법: "맛보기" 악몽

이를 해결하는 가장 명백한 방법은 "Leave-One-Out(한 가지 제외)" 방법입니다. 사프란이 중요한지 확인하려면 사프란 없이 요리를 만들어 맛이 더 나빠지는지 확인합니다. 토마토가 중요한지 확인하려면 토마토 없이 요리합니다.

인간 셰프에게는 이 방법이 성가실 뿐입니다. 하지만 AI 에게는 불가능합니다. AI 가 1,000 가지 다른 작업으로 훈련되었다면, 누락된 재료 하나하나마다 전체 AI 를 1,000 번 다시 훈련시켜야 합니다. 이는 시간과 컴퓨팅 파워를 너무 많이 소모합니다. 마치 어떤 향신료가 중요한지 확인하기 위해 요리를 1,000 번 다시 만들어 맛보는 것과 같습니다.

이전의 단축키: "선형" 추측

과학자들은 단축키를 만들려고 시도했습니다. 그들은 "대리 모델 (surrogate model)"을 개발했는데, 이는 재료에 기반하여 결과를 추측하는 간단하고 빠른 계산기입니다.

그러나 이전의 계산기들은 **선형 (Linear)**적이었습니다. 그들은 재료가 독립적으로 작용한다고 가정했습니다. 그들은 이렇게 생각했습니다:

"사프란은 맛에 5 점을 더한다."
"토마토는 맛에 3 점을 더한다."
"총 맛 = 8 점."

하지만 요리 (그리고 AI) 는 그렇게 단순하지 않습니다. 때로는 재료가 기이한 방식으로 상호작용합니다. 아마도 사프란은 토마토가 있을 때만 작동할지도 모릅니다. 아마도 사프란과 토마토는 서로 상쇄될지도 모릅니다 (기름과 물을 섞는 것처럼). 이러한 것들이 바로 **비선형 상호작용 (synergy 또는 antagonism)**입니다. 이전의 선형 계산기들은 작업 간의 이러한 "화학 반응"을 놓쳤습니다.

새로운 해결책: "커널" 대리 모델

이 논문은 **KERNELSM(커널 대리 모델)**이라는 새로운 방법을 소개합니다.

이 새로운 방법은 요리 화학을 이해하는 초지능 음식 평론가라고 생각하세요. 단순히 점수를 더하는 대신, 재료가 어떻게 서로 "춤추는지" 살펴봅니다.

"사프란 + 토마토"는 어느 하나만 있을 때보다 마법 같은 맛을 만들어낸다는 것을 압니다.
"사프란 + 마늘"은 요리를 망칠 수 있다는 것을 압니다.

이는 커널(구체적으로 방사형 기저 함수, RBF)이라는 것을 사용합니다. 이는 서로 다른 재료 조합 간의 "거리"를 측정하는 지도라고 상상해 보세요. 두 가지 작업 조합이 유사하면, 모델은 유사한 결과를 생성할 것이라고 가정합니다. 매우 다르면 이를 구별된 것으로 취급합니다. 이를 통해 모델은 작업 간의 복잡하고 비선형적인 "춤"을 포착할 수 있습니다.

마법 같은 트릭: 재요리 불필요

질문하실 수 있습니다: "이 새로운 모델이 그렇게 똑똑하다면, 이러한 상호작용을 학습하기 위해 AI 를 수천 번 다시 훈련시켜야 하지 않나요?"

논문에 따르면 아닙니다. 그들은 "기반 추정 (gradient-based estimation)"이라는 교묘한 트릭을 개발했습니다.

매우 무겁고 비싼 냄비 (사전 훈련된 AI) 가 있다고 상상해 보세요. 냄비 전체를 들어 올려 변화를 확인하는 대신, 손잡이(기울기)만 살펴보세요.

연구자들은 AI 의 "손잡이"(현재 상태와 작은 자극에 대한 반응) 를 스냅샷으로 찍습니다.
그들은 수학적 단축키 (1 차 근사) 를 사용하여, 실제로 재훈련하지 않고도 작업을 제거하거나 추가했을 때 AI 가 어떻게 행동할지 예측합니다.
그들은 이러한 예측을 "초지능 평론가"(커널 모델) 에게 입력합니다.

결과: 그들은 2% 미만의 오차로 어떤 작업이 중요한지에 대한 매우 정확한 지도를 얻으며, AI 를 한 번도 재훈련하지 않고 이를 달성했습니다.

그들이 발견한 것

이 팀은 세 가지 매우 다른 "부엌"에서 이 방법을 테스트했습니다:

수학 추론: AI 에게 모듈러 산술 (시계 수학) 을 가르치는 것.
맥락 학습 (In-Context Learning): AI 에게 예시를 기반으로 다음 단어를 추측하도록 가르치는 것 (챗봇과 유사).
로보틱스: 로봇 팔에게 다양한 작업 (서랍 열기 또는 버튼 누르기 등) 을 가르치는 것.

발견 사항:

정확도: 새로운 "커널" 방법은 작업의 중요성을 예측하는 데 있어 이전의 선형 방법보다 25% 더 정확했습니다. 이는 불가능한 재훈련에 해당하는 "실제 진실 (ground truth)"과 훨씬 더 잘 일치했습니다.
시너지: 이전 방법들이 완전히 놓쳤던 작업들이 서로 협력 (시너지) 하거나 서로 경쟁 (antagonism) 하는 경우를 성공적으로 식별했습니다.
하류 성공: 이 방법을 사용하여 AI 에게 보여줄 최고의 예시를 선택했을 때 (예: 챗봇이 문제를 해결하도록 돕기 위해 어떤 4 개의 예시를 보여줄지), AI 는 이전 방법을 사용했을 때보다 40% 더 잘 수행했습니다.

결론

이 논문은 AI 가 어떻게 학습하는지 이해하는 더 빠르고 지능적인 방법을 제공합니다. 이는 단순한 "부분 합산" 논리를 넘어 서로 다른 훈련 작업 간의 복잡한 "화학"을 이해하는 단계로 나아갑니다. 그리고 가장 좋은 점은 무엇일까요? AI 를 반복적으로 재훈련하는 막대한 컴퓨팅 비용 없이 이를 수행한다는 것입니다. 마치 수프를 1,000 번 요리하지 않고도 수프에 어떤 향신료를 넣어야 할지 정확히 아는 것과 같습니다.

기술 요약: 작업 귀속을 위한 커널 대리 모델의 효율적 추정

문제 제기
현대 AI 시스템, 특히 대규모 언어 모델 (LLM) 과 다중 작업 학습기는 번역, 코드 생성, 추론 등 다양한 작업 세트로 훈련됩니다. 해석 가능성의 근본적인 과제는 **작업 귀속 (task attribution)**입니다. 즉, 특정 목표 작업에서 모델의 성능에 각 개별 훈련 작업이 미치는 영향을 정량화하는 것입니다. 이에 대한 기준 지표는 Leave-One-Out (LOO) 재훈련으로, 특정 작업을 훈련에서 제외했을 때의 성능 변화를 측정합니다. 그러나 LOO 는 규모가 커질 경우 계산 비용이 prohibitive 하여, K 개의 작업을 위해 K+1 번의 전체 훈련 실행이 필요합니다.

기존의 효율적인 대안으로는 영향 함수 (influence functions)(Hessian-벡터 곱을 통해 미소 데이터 교란의 효과를 추정) 와 선형 대리 모델 (linear surrogate models)(작업 포함 지시 변수에서 성능으로의 선형 매핑을 학습) 이 있습니다. 선형 대리 모델은 확장성이 뛰어나지만, 1 차적이고 가법적인 관계만 포착할 수 있습니다. 복잡한 학습 지형에서 흔히 발생하는 시너지, 길항, XOR 유형의 효과와 같은 작업 간의 비선형 상호작용을 모델링하지 못한다는 한계가 있습니다.

방법론
본 논문은 KERNELSM(Kernel Surrogate Models) 을 제안합니다. 이는 훈련 작업 간의 2 차 및 고차 비선형 상호작용을 포착하도록 작업 귀속을 확장하는 프레임워크입니다.

선형 대리 모델의 이론적 분석:
저자들은 먼저 통일된 작업 가중치 프레임워크를 수립합니다. 균일 가중치 벡터 $s^* = [1]^K$ 주변의 성능 함수 $F(s)$ 에 대한 2 차 테일러 전개를 통해 선형 대리 모델을 분석합니다.
- 선형 대리 모델 계수 ( $\hat{\beta}$ ) 가 샘플링 분포와 2 차 상호작용 효과에 의해 유도된 항까지 성능 지형의 기울기 ( $\nabla_s F(s^*)$ ) 를 근사함을 증명합니다.
- 특히, 2 차 상호작용이 작다는 가정 하에 (즉, 거의 선형인 지형), 선형 대리 모델이 영향 함수와 거의 동등함을 보여줍니다. 이는 선형 방법이 일부 설정에서는 잘 작동하지만, 작업 상호작용이 가법적이지 않을 때는 실패하는 이유를 설명합니다.
커널 대리 모델링:
비가법성을 해결하기 위해 저자들은 선형 매핑을 재현 커널 힐베르트 공간 (RKHS) 에서 **커널 릿지 회귀 (KRR)**를 통해 학습된 비선형 함수로 대체합니다.
- 커널 선택: 방사 기저 함수 (RBF) 커널( $k(s^{(a)}, s^{(b)}) = \exp(-\gamma \|s^{(a)} - s^{(b)}\|^2)$ ) 을 사용합니다. 이 선택은 이진 부분집합 공간 $\{0, 1\}^K$ 의 기하학적 구조에 영감을 받았으며, RBF 커널은 해밍 거리에 기반한 국소성을 자연스럽게 인코딩하여 작업 조합 간의 복잡한 종속성을 모델이 포착할 수 있게 합니다.
- 목적: 대리 함수 $g_\theta$ 는 관측된 성능 $F(s^{(i)})$ 과 예측치 간의 경험적 손실을 RKHS 노름으로 정규화하여 최소화합니다.
효율적인 기울기 기반 추정:
대리 모델링의 주요 병목 현상은 $m$ 개의 샘플링된 부분집합에 대한 성능 값 $F(s^{(i)})$ 을 얻기 위해 $m$ 개의 별도 모델을 훈련해야 한다는 점입니다. 저자들은 반복적인 훈련을 피하기 위한 효율적인 추정 절차를 도입합니다.
- 1 차 근사: 사전 훈련된 초기화 $W_0$ 주변의 모델 출력 $f_W(x)$ 에 대한 1 차 테일러 전개를 활용합니다: $f_W(x) \approx f_{W_0}(x) + \langle \nabla f_{W_0}(x), W - W_0 \rangle$ .
- 기울기 특징: 재훈련 대신, 사전 훈련된 모델의 기울기( $\nabla f_{W_0}$ ) 를 특징으로 하는 정규화 회귀 문제를 풀어 부분집합 $s$ 에 대한 최적 매개변수 교란 $Z^*_s$ 를 추정합니다.
- 차원 축소: 고차원 기울기를 처리하기 위해 가우시안 무작위 투영 (Johnson-Lindenstrauss 보조정리) 을 적용하여 특징 공간을 압축함으로써 CPU 에서 빠른 계산을 가능하게 합니다.
- 정확도: 실험 결과, 이 1 차 근사는 다양한 데이터셋과 모델 크기 (최대 34B 파라미터) 에서 2% 미만의 상대 오차를 발생시킵니다.

주요 기여

이론적 통합: 선형 대리 모델과 영향 함수 간의 공식적인 연결을 수립하여, 2 차 작업 상호작용이 무시할 수 있을 정도로 작을 때 두 방법이 동등함을 보입니다.
커널 대리 모델 (KERNELSM): 선형 모델이 놓치는 비선형 작업 상호작용 (시너지/길항) 을 효과적으로 포착하는 커널 기반 접근법 (특히 RBF) 을 도입했습니다.
확장 가능한 추정 알고리즘: 단일 사전 훈련된 모델의 기울기를 사용하여 임의의 작업 부분집합의 성능을 근사하는 기울기 기반 추정 절차로, 반복적인 재훈련 없이도 높은 정확도를 유지합니다.
실험적 검증: 모듈러 산술 추론, 인-컨텍스트 학습 (ICL), 다목적 강화 학습 (RL) 전반에 걸친 포괄적인 평가.

실험 결과
저자들은 영향 함수, TracIn, TRAK, SOURCE, 선형 대리 모델을 포함하는 베이스라인에 대해 KERNELSM 을 평가했습니다.

귀속 정확도: KERNELSM 은 베이스라인보다 일관되게 우수한 성과를 냅니다. XOR 및 2 차 구조를 포함하는 모듈러 산술 작업에서 기존 방법 대비 최대 **42%**까지 귀속 정확도를 향상시킵니다. 모든 도메인에서 LOO 기준 지표와의 상관관계가 선형 대리 모델 및 영향 함수보다 25% 더 높습니다.
하류 작업 선택: 하류 작업을 위해 최적 부분집합을 선택할 때:
- 인-컨텍스트 학습: KERNELSM 은 선형 대리 모델 대비 데모 선택에서 40% 낮은 손실을 보입니다.
- 다목적 강화 학습: Meta-World MT10 벤치마크에서 목표 보상을 15% 향상시킵니다.
확장성: 이 방법은 성능 저하 없이 많은 수의 작업 (예: 500 개의 프롬프트) 으로 확장 가능하며 CPU 에서 효율적으로 실행됩니다.
강건성: 커널 접근법은 다양한 최적화 알고리즘 (SGD, SAM, NSO) 과 Hessian 정규화 하에서도 강건하게 유지되는 반면, 손실 지형이 매우 곡선적일 때 (높은 Hessian trace) 선형 대리 모델은 크게 저하됩니다.

의의 및 주장
본 논문은 KERNELSM 이 블랙박스 시스템에서 작업 귀속을 위한 확장 가능하고 유연한 솔루션을 제공한다고 주장합니다. 선형 모델의 가법적 가정을 넘어섬으로써 훈련 작업 간의 복잡한 비선형 상호작용이 모델 행동을 어떻게 형성하는지에 대한 더 정확한 이해를 가능하게 합니다. 저자들은 이 접근법이 사전 훈련된 모델의 1 차 근사 이상으로 훈련 과정에 대한 특정 가정에 의존하지 않으며, 인-컨텍스트 학습 및 강화 학습과 같은 신흥 패러다임에 광범위하게 적용 가능하다고 강조합니다. 이 연구는 이론적 영향 함수와 현대 대규모 AI 시스템을 위한 실용적이고 확장 가능한 데이터 귀속 간의 간극을 메웁니다.