🤖 machine learning

Skill Neologisms: Towards Skill-based Continual Learning

본 논문은 가중치 업데이트나 파국적 망각 없이 모델이 새로운 기술을 습득하고 조합할 수 있도록 하는 확장 가능한 지속 학습 솔루션으로, LLM 의 어휘에 통합된 최적화된 소프트 토큰인"기술 신조어"를 제안한다.

원저자: Antonin Berthon, Nicolas Astorga, Mihaela van der Schaar

게시일 2026-05-07

📖 4 분 읽기☕ 가벼운 읽기

원저자: Antonin Berthon, Nicolas Astorga, Mihaela van der Schaar

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 수많은 일을 할 줄 아는 천재적이고 독서광인 사서 (대형 언어 모델) 가 있다고 상상해 보세요. 책을 분류하고, 숫자를 계산하고, 시를 쓰고, 언어를 번역하는 것 말입니다. 그런데 이 사서에게 "색깔별로 책을 정리하는 법"과 같은 완전히 새로운 기술을 가르치고 싶다면 어떨까요? 물론 저자별로 분류하거나 숫자를 계산하는 법은 잊어버리지 않게 하면서요.

이 논문이 다루는 문제가 바로 이것입니다. 일반적으로 새로운 기술을 가르치려면 사서의 전체 두뇌를 다시 훈련시켜야 하는데, 이는 기존 기술을 잊어버리게 하거나 (이를 '파괴적 망각'이라고 합니다) 혼란을 초래할 위험이 있습니다.

저자들은 **"기술 신조어 (Skill Neologisms)"**라는 기발한 해결책을 제안합니다.

다음은 이를 단순한 개념으로 분해한 작동 원리입니다:

1. 문제: "전부 아니면 전무"의 함정

구식 방법 (파인튜닝): 사서의 전체 백과사전을 다시 써서 새로운 기술을 가르치는 것을 상상해 보세요. 작동은 하지만, 실수로 "저자별 분류"에 관한 페이지를 지워버릴 수도 있습니다.
"프롬프트" 방식: 사서가 작업을 시작하기 전에 "색깔별로 정리해 주세요"라고 속삭이는 것을 상상해 보세요. 이는 특정 작업에는 작동하지만, 지시사항이 그 특정 작업에 묶여 있습니다. 두 가지 다른 것을 동시에 속삭인다고 해서 "색깔별 정리"와 "숫자 계산"을 쉽게 섞을 수는 없습니다.

2. 해결책: "기술 신조어" (새로운 마법 단어)

저자들은 사서에게 마법 스위치처럼 작용하는 **새로운 어휘 (신조어)**를 제공하기를 제안합니다.

개념: 사서의 두뇌를 다시 쓰는 대신, 사전에 새로운 보이지 않는 "소프트 토큰 (특수한 디지털 단어)"을 추가합니다.
학습 방식: 사서에게 이 새로운 단어가 학습시키고자 하는 작업 (예: "ColorSort") 과 함께 등장하는 수천 개의 예시를 보여줍니다. 사서의 원래 두뇌는 완전히 동결된 채로 남겨두고, 오직 이 새로운 단어만 해당 작업을 이해하도록 훈련시킵니다.
결과: 프롬프트에서 "ColorSort"라는 단어를 사용하면, 사서는 다른 어떤 것도 다시 배울 필요 없이 즉시 해당 특정 작업을 수행하는 법을 알게 됩니다.

3. 초능력: 섞고 맞추기 (조합)

진정한 마법은 이러한 새로운 단어들을 결합할 때 발생합니다.

비유: 사서가 레고 블록 세트를 가지고 있다고 상상해 보세요. 일부 블록은 오래된 것들 (이미 알고 있는 기술) 입니다. 저자들은 새로운 기술을 위해 새로운 맞춤형 레고 블록 (신조어) 을 만듭니다.
주장: 이 논문은 사서에게 두 가지 새로운 기술을 따로따로 가르쳤다면 (예: "ColorSort"와 "SizeSort"), 나중에 두 단어 모두가 포함된 프롬프트 ("ColorSort" + "SizeSort") 를 주면, 사서는 그 특정 조합으로 훈련받은 적이 없음에도 불구하고 두 작업을 동시에 수행하는 방법을 알아낼 수 있음을 보여줍니다.
중요성: 이는 기술 라이브러리를 구축할 수 있음을 의미합니다. 오늘 새로운 기술을 배우고, 내일은 다른 기술을 배운 뒤 나중에 이를 결합할 수 있으며, 전체 시스템을 다시 훈련시킬 필요가 없습니다.

4. 그들이 실제로 증명한 것

연구진들은 이 아이디어를 통제된, "수학 같은" 환경 (아직은 실제 인간 대화는 아님) 에서 테스트했습니다. 그들은 디지털 사서를 만들어 숫자를 조작하는 새로운 방법을 가르쳤습니다.

그들이 발견한 사실:
- 잊지 않음: 사서는 새로운 것을 배울 때 기존 기술을 잊지 않았습니다.
- 섞기 작동: 사서는 새로 배운 기술과 이전에 결합된 적이 없는 기존 기술을 결합할 수 있었습니다.
- 제로샷 (Zero-Shot) 섞기: 기술 A 와 기술 B 를 따로따로 가르친 후, 추가 훈련 없이 즉시 결합할 수 있었습니다.
- "최적의 지점": 새로운 "마법 단어"는 너무 길거나 복잡해서는 안 된다는 것을 발견했습니다. 단어가 너무 크면 사서가 혼란을 겪고 다른 기술과 섞는 법을 잊어버립니다. 작고 집중된 단어가 가장 잘 작동합니다.

5. 주의점 (한계)

이 논문은 이것이 아직 무엇을 하지 못하는지 솔직하게 밝히고 있습니다:

아직은 프로토타입: 그들은 실제 소설을 쓰거나 질병을 진단하는 것이 아니라, 작은 합성 수학 작업에서 이를 테스트했습니다.
올바른 데이터 필요: 새로운 기술을 가르치려면 단 하나의 예시조차 그 특정 기술을 요구하는 데이터 세트가 필요합니다. 데이터가 엉망이면 새로운 "마법 단어"가 제대로 학습되지 않습니다.
무료가 아님: 전체 두뇌를 다시 쓰는 것에 비해 메모리를 절약하지만, 이러한 새로운 단어들을 훈련시키는 데에는 여전히 상당한 컴퓨팅 파워가 필요합니다.

요약

기술 신조어를 TV 에 추가된 새로운 전용 "리모컨 버튼"으로 생각하세요. 새로운 채널을 추가하기 위해 TV 를 다시 짓는 대신, 누르면 TV 가 이미 가지고 있는 특정 회로를 활성화하는 버튼만 추가하면 됩니다. 가장 좋은 점은 두 개의 버튼을 동시에 누를 수 있으며, TV 가 두 채널을 동시에 처리하는 방법을 알아낸다는 것입니다. 이 논문은 이 "버튼" 접근 방식이 AI 에도 작동하여, 기존 기술을 잊지 않고 지속적으로 새로운 기술을 학습할 수 있음을 보여줍니다.

기술 요약: 기술 신조어: 기술 기반 지속적 학습을 향해

1. 문제 제기

현대 대규모 언어 모델 (LLM) 은 다양한 기술을 숙달하고 이를 유연하게 조합하는 능력을 보여줍니다. 그러나 이러한 능력을 새로운 기술로 확장하는 것은 여전히 해결되지 않은 과제로 남아 있습니다. 기존 접근법들은 다음과 같은 중대한 한계에 직면해 있습니다:

파인튜닝 및 파라미터 효율적 파인튜닝 (PEFT): LoRA 와 같은 방법은 이전에 습득한 능력을 완전히 망각 (catastrophic forgetting) 할 위험이 있으며, 안전성 위험을 초래할 수 있습니다.
컨텍스트 기반 접근법: 인-컨텍스트 학습 (ICL) 은 표현력이 제한적이며 모델의 유효 컨텍스트 윈도우에 의해 제약받습니다.
프롬프트 튜닝: 작업 적응에는 효과적이지만, 학습된 접두사는 일반적으로 기술별이 아닌 작업별입니다. 재학습 없이 새로운 설정에 적용되거나 조합될 수 없어, 독립적으로 학습된 기술들의 제로샷 조합을 지원하지 못합니다.

본 논문은 모델 파라미터를 수정하지 않고 새로운 조합 가능한 기술을 학습하는 것을 목표로 하는 기술 기반 지속적 학습을 정의합니다. 실용적이고 확장 가능하려면 이 접근법은 다음 세 가지 속성을 충족해야 합니다:

가중치 업데이트 없음: 새로운 기술은 고정된 모델 파라미터를 변경하지 않고 학습됩니다.
조합적 전이: 학습된 기술은 훈련 세트에서 분포 외 (OOD) 인 기존 기술을 포함한 기존 기술들과 조합되어야 합니다.
다중 기술 조합: 독립적으로 학습된 여러 기술은 특정 조합에 대한 공동 학습 없이 제로샷으로 결합 가능해야 합니다.

2. 방법론: 기술 신조어

저자들은 특정 절차적 지식을 나타내기 위해 모델의 어휘에 소프트 토큰을 직접 통합하는 기술 신조어 (Skill Neologisms) 라는 방법을 제안합니다.

핵심 구성 요소

기술 중심 학습: 다양한 기술에 암묵적으로 의존하는 샘플로 구성된 작업 중심 데이터셋과 달리, 기술 신조어는 모든 샘플이 목표 기술을 필요로 하되 모델이 이미 숙달한 다른 기술들과 혼합된 데이터셋에서 학습됩니다. 이는 일반적으로 조합 가능한 표현의 학습을 장려합니다.
어휘 수준 통합: 기술 신조어는 모델의 임베딩 행렬과 어휘에 추가되는 학습 가능한 소프트 토큰 집합 ("기술 토큰") 으로 구성됩니다. 이러한 토큰은 기술 중심 데이터셋에서 최적화되며, 나머지 모델 파라미터는 고정된 상태로 유지됩니다.
삽입 함수: 기술 토큰은 $\phi_S$ 함수를 통해 프롬프트에 삽입되어 (예: 키워드 교체 또는 지시문 추가) 추론 시 특정 기술을 활성화합니다.

학습 절차

초기화: 소프트 토큰 집합이 초기화됩니다 (예: 기존 연산 토큰의 평균 임베딩에서) 그리고 어휘에 추가됩니다.
최적화: 토큰은 고정된 모델을 통해 기술 중심 데이터셋에서 역전파를 사용하여 학습됩니다. 손실 함수 (예: 교차 엔트로피) 는 토큰 임베딩에 대해서만 최소화됩니다.
평가: 성능은 분포 내 (ID) 조합 (목표 기술 + 훈련 기술) 과 분포 외 (OOD) 조합 (목표 기술 + 홀드아웃 기술) 에서 측정됩니다.

3. 주요 기여

기술 신조어 제안: 본 논문은 사전 훈련된 LLM 이 절차적 지식과 관련된 어휘 토큰을 자연스럽게 보유하고 있다는 경험적 증거 (예, "XOR" 토큰이 텍스트 설명보다 XOR 연산을 더 잘 인코딩함) 에 영감을 받아, 기술 기반 지속적 학습을 위한 경로로서 기술 신조어를 소개합니다.
조합 속성 입증: 통제된 알고리즘 환경에서 저자들은 기술 신조어가 다음 세 가지 필수 속성을 만족함을 보여줍니다:
- 가중치 업데이트 없이 학습됩니다.
- 훈련 중에는 보지 못한 OOD 기술과 성공적으로 조합됩니다.
- 독립적으로 훈련된 기술 신조어는 제로샷으로 조합될 수 있습니다.
어블레이션 분석: 본 논문은 기술 신조어의 성공 배경에 있는 메커니즘을 분석하며, 특히 토큰 용량 (길이) 의 영향과 훈련 데이터 내 기술 조합의 복잡성을 조사합니다.

4. 실험 결과

저자들은 파인튜닝된 Qwen2.5-0.5B 모델을 사용하여 숫자 시퀀스 변환 작업 (예: 정렬, 덧셈, 이동) 이 포함된 합성 데이터셋에서 이 방법을 평가했습니다.

기선 비교: 기술 신조어는 LoRA 및 프롬프트 튜닝과 비교되었습니다.
- 조합적 전이 (속성 2): LoRA 와 프롬프트 튜닝은 ID 조합에서 높은 정확도를 달성했으나, OOD 조합으로 일반화하지는 못했습니다. 오직 기술 신조어만이 홀드아웃 기술과 새로운 기술을 일관되게 조합하는 데 성공했습니다.
- 다중 기술 조합 (속성 3): "SHIFT"와 "INV-POL"에 대해 독립적으로 훈련된 기술 신조어가 제로샷으로 결합되었습니다. 기술 신조어는 다양한 시퀀스 길이에 걸쳐 인-컨텍스트 학습 (ICL) 기선보다 훨씬 우수한 성능을 보였으며, 이는 토큰이 예시에서의 패턴 추출에 의존하는 것이 아니라 재사용 가능한 절차적 지식을 포착함을 시사합니다.
어블레이션 발견:
- 토큰 용량: 토큰 길이에는 트레이드오프가 존재합니다. 더 큰 용량은 학습에 도움이 되지만, 과도한 용량 (예, 길이 > 20) 은 OOD 일반화를 저하시켰으며, 이는 제한된 용량이 조합 가능한 표현을 위한 귀납적 편향으로 작용함을 시사합니다.
- 훈련 복잡성: 더 복잡한 조합 (예, 3-기술 조합) 으로 훈련하는 것은 OOD 2-기술 및 3-기술 조합에 대한 일반화를 향상시켰습니다.
- 초기화: 사전 훈련된 기술 임베딩으로부터 초기화하는 것은 미미한 개선을 제공했으나, 무작위 초기화에서도 여전히 강력한 OOD 조합 능력을 보여주었습니다.

5. 중요성 및 주장

본 논문은 기술 신조어가 기술 기반 지속적 학습을 위한 확장 가능한 경로를 제공한다고 주장합니다. 모델의 기존 조합 능력을 활용하고 어휘 수준에서 소프트 토큰을 통합함으로써, 이 접근법은 완전한 망각이나 공동 재학습의 필요성 없이 새로운 기술을 점진적으로 추가할 수 있게 합니다.

저자들은 이 작업을 통제된 실험 환경에서의 개념 증명 (proof-of-concept) 으로 위치시킵니다. 그들은 다양한 기술 중심 데이터셋 구축의 필요성, 소프트 토큰 학습의 고유한 최적화 불안정성, 그리고 훈련 중 전체 모델을 통한 역전파의 계산 비용 등 한계를 인정합니다. 그러나 결과는 어휘 수준의 개입이 절차적 지식을 효과적으로 인코딩할 수 있음을 시사하며, 이는 LLM 이 통제되고 조합 가능한 방식으로 그 능력을 확장할 수 있게 합니다.