기술 요약: KV-Skill

1. 문제 정의

대규모 언어 모델(LLM)의 태스크 지식은 현재 수명 주기상의 딜레마에 직면해 있습니다. 태스크 지식은 일반적으로 프롬프트 내의 텍스트 또는 모델 가중치에 대한 업데이트 중 하나로 저장됩니다.

• **텍스트 기반 기술(Text-based skills)**은 모듈화되어 있고 공유가 가능하지만, 모델이 매 사용 시마다 지침을 해석하고 내부 연산으로 변환하는 과정을 거쳐야 하므로, 절차가 올바르더라도 실행 실패가 빈번하게 발생합니다.
• 가중치 기반 적응(Weight-based adaptation)(예: 파인튜닝, LoRA)은 실행 능력은 향상시키지만, 능력을 모델 가중치 내부에 내재화하여 독립적으로 로드, 제거 또는 공유하기 어렵게 만듭니다.
• 연속 프롬프트(Continuous prompts)(예: prefix tuning)는 외부 상태로 남아 있지만, 모델의 어텐션 상태를 점유하며 주로 모방 학습을 통해 훈련되므로, 모듈성과 효과성을 완전히 분리하는 데 한계가 있습니다.

본 논문은 다음과 같은 질문을 던집니다: 태스크 지식을 모델 네이티브(model-native) 형태로 표현하여, 프롬프트 위치를 차지하거나 백본 가중치를 변경하지 않고도 필요할 때 즉시 로드하고 경험으로부터 직접 개발할 수 있는 방법은 없는가?

2. 방법론: KV-Skill 디자인 공간

저자들은 고정된 언어 모델이 경량 인터페이스를 통해 읽어 들일 수 있는 **외부 인수 분해된 연관 연산자(external factorized associative operators)**로서의 KV-Skill 디자인 공간을 소개합니다.

핵심 아키텍처

• 외부 연산자 ($M_s$): 태스크 지식은 프롬프트나 백본 외부에서 $M_s = W_s U_s^\top$로 정의된 인수 분해된 연산자로 저장됩니다.
  • 키 (Keys, $U_s$): 현재 잔차 상태(residual state)를 기반으로 특정 "기술 슬롯"을 지정합니다.
  • 값 (Values, $W_s$): 쿼리에 의존적인 응답을 반환합니다.
  • 메커니즘: 연산자는 모델의 셀프 어텐션 KV 캐시와 구별되는 별도의 잔차 브랜치를 통해 주입 레이어(injection layers)에서 적용됩니다. 이는 프롬프트 위치를 차지하지 않으며 대화 길이에 따라 증가하지 않습니다.
• 경량 인터페이스 ($I$): 학습 가능한 공유 인터페이스가 고정된 백본과 외부 연산자를 연결합니다. 이 인터페이스는 잔차 상태로부터 쿼리를 구성하고, 연산자를 읽어 들인 후, 게이팅된 응답을 모델에 다시 주입합니다.

두 가지 구축 경로

이 디자인 공간은 연산자를 획득하기 위한 두 가지 상호 보완적인 경로를 지원합니다.

1. 등록 (Registration, 텍스트 유도 방식):

   • 작성된 텍스트 기술을 고해상도의 고정된 연산자로 변환합니다.
   • 과정: 텍스트 기술을 단 한 번의 고정된 프리필(prefill)로 실행하여 잔차 상태($\bar{H}_s$)를 기록합니다. 연산자 인수는 $U_s = W_s = \bar{H}_s$로 설정됩니다.
   • 훈련: 이 고정된 연산자에 접근하기 위해 오직 공유 인터페이스만을 훈련하며, 이때 교사 매칭(KL divergence)과 정답(gold-answer) 감독을 결합하여 사용합니다.
   • 결과: 텍스트 기술이 모델 네이티브 연산자로 "컴파일"됩니다.

2. 보상 학습 (Reward Learning, 잠재적 발견 방식):

   • 초기 텍스트 기술의 유무와 상관없이, 태스크 결과(검증기 보상)로부터 직접 압축된 잠재 연산자를 개발합니다.
   • 과정: 백본을 고정한 채로 압축된 인수 쌍($U_s, W_s$)과 태스크 인터페이스를 공동으로 최적화합니다.
   • 초기화: 처음부터 시작하거나 텍스트 기반 초기화로부터 시작할 수 있습니다.
   • 결과: 명시적인 텍스트 절차 없이도 압축된 절차적 능력을 발견합니다.

3. 주요 기여

• 외부 연산자 디자인 공간: KV-Skill을 단순한 어텐션 캐시나 고정된 텐서 레이아웃이 아니라, 경량 인터페이스를 통해 로드되는 외부 인수 분해된 연관 연산자로 정의하였습니다. 이는 프롬프트 위치를 추가로 점유하지 않습니다.
• 이중 획득 경로: 태스크 지식을 텍스트 기술을 컴파일(Registration)하거나 경험으로부터 발견(Reward Learning)함으로써 획득할 수 있음을 입증하였으며, 두 방식 모두 로드 가능한 외부 능력으로 귀결됩니다.
• 통제된 평가: 10개의 벤치마크와 4개의 백본에 대해 비교 실험을 수행하여, 학습 가능한 기질(trainable substrate, KV-Skill)과 최적화 목적 함수를 분리하여 검증하였습니다.
• 기계론적 통찰: 텍스트 유도 연산자는 성능 손실을 최소화하면서 각 레이어당 하나의 태스크 정렬 방향으로 압축될 수 있음을 보여주었으며, 단일 공유 인터페이스가 여러 개의 독립적으로 로드 가능한 KV-Skill을 망각 없이 유지할 수 있음을 보여주었습니다.

4. 실험 결과

본 논문은 추론, 검색, QA 태스크에 대해 KV-Skill을 텍스트 기술, SkillOpt, SoftSkill, soft prefixes, prefix tuning, LoRA와 비교 평가했습니다.

• 등록(Registration)을 통한 성능 향상:

  • Qwen3.5-4B LiveMath에서 Registration은 77.2%의 정확도를 달성하여, 원본 텍스트 기술(23.4%), SkillOpt(52.0%), SoftSkill(64.5%)을 크게 상회했습니다.
  • SearchQA 및 구조화된 지식 검색(STaRK-Prime/MAG)에서도 유사한 개선이 관찰되었습니다.
  • 메커니즘: 이러한 이득은 단순히 지식 자체 때문이 아니라, 액세스 경로(모델이 지식을 사용하는 방식)에서 기인합니다.

• 보상 학습(Reward Learning)의 효과:

  • 보상을 통해 학습된 KV-Skill은 8개 중 7개의 매칭된 설정에서 soft prefixes, prefix tuning, LoRA보다 우수한 성능을 보였습니다(동일한 보상 목적, 훈련 예산 및 파라미터 수 기준).
  • 처음부터 시작하는 RL(Reinforcement Learning)이 텍스트 기반 기술으로부터 시작하는 RL만큼 혹은 그보다 더 나은 성능을 낼 수 있음을 보여주며, 검증 가능한 보상이 사전 텍스트 절차 없이도 효과적인 연산자를 발견할 수 있음을 입증했습니다.

• 압축 및 방향성:

  • 랭크 분석(Rank Analysis): 등록 후, 토큰 레벨 연산자는 (SVD를 통해) 거의 성능 저하 없이 각 주입 레이어당 하나의 태스크 정렬 방향으로 축소될 수 있습니다 (LiveMath, SearchQA, STaRK-Prime 기준).
  • 무작위 베이스라인: 매칭된 무작위 방향은 기본 성능으로 회귀하였는데, 이는 이점이 규모가 아닌 태스크 특화 구조에서 온다는 것을 확인시켜 줍니다.
  • 쿼리 의존성: 방향을 균일하게 적용하는 것(고정 스티어링)은 쿼리 의존형 KV-Skill보다 열등한 성능을 보였으며, 이는 현재 잔차 상태에 따라 스티어링 강도를 조절하는 조건부 메커니즘의 중요성을 강조합니다.

• 모듈성 및 유지력:

  • 태스크 정체성: 인터페이스를 고정하고 로드된 연산자를 교체했을 때 성능이 즉각 변화하는 것을 통해, 태스크의 정체성이 인터페이스가 아닌 연산자($M_s$)에 존재함을 확인했습니다.
  • 다중 기술 유지: 단일 공유 인터페이스를 통해 세 가지 독립적인 KV-Skill(SearchQA, LiveMath, STaRK-Prime)을 순차적으로 등록할 수 있으며, 훈련 중 리플레이(replay)를 사용한다면 측정 가능한 망각 없이 유지가 가능합니다.

5. 의의 및 주장

본 논문은 KV-Skill이 태스크 지식에 대한 새로운 패러다임을 제시한다고 주장합니다:

1. 분리(Decoupling): 지식의 획득(텍스트 또는 경험으로부터)과 배포(외부 연산자로서)를 분리합니다.
2. 효율성(Efficiency): 절차적 지식을 프롬프트 컨텍스트를 소비하거나 가중치 업데이트를 요구하지 않는 압축되고 로드 가능한 형태로 압축할 수 있게 합니다.
3. 유연성(Flexibility): 기존 텍스트 절차의 "컴파일"과 보상을 통한 능력의 "발견"을 모두 지원하여, 재사용 가능한 외부 능력을 위한 통합된 디자인 공간을 제공합니다.

저자들은 태스크 지식이 반드시 획득된 형태 그대로 머물 필요는 없다고 결론짓습니다. 지식은 백본과 분리되어 획득, 압축, 배포될 수 있으며, KV-Skill은 단순한 어댑터를 넘어 재사용 가능한 외부 능력을 위한 디자인 공간으로서 기능합니다.