💬 NLP

Compositional Steering of Large Language Models with Steering Tokens

이 논문은 자연어 지시를 전용 토큰으로 변환하고 조합 토큰을 학습하여, 기존 방법들보다 다양한 LLM 아키텍처에서 여러 행동 (길이, 형식, 구조 등) 을 동시에 제어하는 '컴포지셔널 스티어링 토큰'을 제안하고 그 우수성을 입증합니다.

원저자: Gorjan Radevski, Kiril Gashteovski, Giwon Hong, Carolin Lawrence, Goran Glavaš

게시일 2026-04-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Gorjan Radevski, Kiril Gashteovski, Giwon Hong, Carolin Lawrence, Goran Glavaš

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"거대 언어 모델 (LLM) 을 한 번에 여러 가지 규칙에 맞춰 조종하는 새로운 방법"**을 소개합니다.

기존의 AI 는 한 번에 하나의 지시만 잘 따르거나, 여러 지시를 동시에 받으면 헷갈려서 엉뚱한 답을 내놓는 경우가 많았습니다. 이 논문은 이를 해결하기 위해 **'조종 토큰 (Steering Tokens)'**이라는 새로운 기술을 개발했습니다.

이 기술을 쉽게 이해할 수 있도록 요리사와 레시피에 비유해 설명해 드리겠습니다.

🍳 비유: 요리사와 새로운 레시피 카드

1. 문제 상황: 요리사의 혼란
지금까지 AI(요리사) 에게 "매운맛으로 해줘"라고 하면 매운 요리를 하고, "작은 접시에 담아줘"라고 하면 작은 접시에 담았습니다. 하지만 **"매운맛으로 하고, 작은 접시에 담아줘"**라고 동시에 말하면, 요리사는 두 지시를 동시에 처리하는 데 어려움을 겪습니다.

기존 방법 (자연어 지시): 요리사에게 긴 설명을 해주는 것. ("매운맛으로 하고, 작은 접시에 담아줘.") → 요리사가 지시를 놓치거나, 매운맛은 잘 내는데 접시 크기를 잊어버리는 등 불안정합니다.
기존 방법 (모델 수정): 요리사 자체를 훈련시켜서 두 가지 지시를 모두 기억하게 하는 것. → 너무 비싸고, 다른 요리를 할 때 그 기억이 방해가 될 수 있습니다.

2. 새로운 해결책: '조종 토큰'이라는 마법 카드
이 논문은 요리사 (AI) 를 다시 가르치지 않고, **특수한 '마법 카드' (조종 토큰)**를 레시피 옆에 붙이는 방식을 제안합니다.

행동 토큰 (Steering Token): 각 행동 (매운맛, 작은 접시 등) 을 하나의 작은 카드로 압축합니다.
- <매운맛> 카드
- <작은접시> 카드
- 이 카드들은 AI 가 이미 알고 있는 지식을 건드리지 않고, 입력 단계에 붙여주기만 하면 됩니다.

3. 핵심 혁신: '그리고 ()'라는 연결 고리
가장 중요한 부분은 이 두 카드를 어떻게 합칠까 하는 점입니다.

기존에는 단순히 카드를 나란히 놓으면 (<매운맛> <작은접시>) AI 가 두 가지를 섞어서 이해하지 못했습니다.
이 논문은 <그리고> 라는 특별한 연결 카드를 새로 학습시켰습니다.
- <매운맛> <그리고> <작은접시>
- 이 <그리고> 카드는 **"이 두 가지를 동시에 만족시켜라"**는 개념을 AI 에게 가르칩니다.

4. 놀라운 능력: 본 적 없는 조합도 해냄 (Composition)
이 기술의 가장 큰 장점은 유연성입니다.

AI 는 <매운맛>과 <작은접시>를 합치는 법을 배웠습니다.
그런데 테스트할 때 <매운맛>과 <달콤한맛>을 합치라고 하면?
AI 는 <그리고> 카드가 가진 '두 가지를 동시에 만족시키는 능력'을 기억해내서, 본 적 없는 <매운맛> + <달콤한맛> 조합도 성공적으로 만들어냅니다.
마치 요리사가 "매운맛과 작은 접시"를 합치는 법을 배웠다면, "매운맛과 단맛"을 합치는 법도 스스로 추론해내는 것과 같습니다.

🌟 이 기술이 가져온 변화

더 정확한 제어: AI 가 여러 가지 규칙 (언어, 길이, 형식 등) 을 동시에 지킬 때, 기존 방법보다 훨씬 정확하게 따릅니다.
모델을 건드리지 않음: AI 의 두뇌 (파라미터) 를 고치지 않아도 되므로, 계산 비용이 적게 들고 원래 AI 의 능력을 해치지 않습니다.
혼합 사용 시 최고 성능: AI 에게 마법 카드 (<조종 토큰>) 만 주는 것보다, 카드와 함께 간단한 설명 (자연어 지시) 을 같이 주는 것이 가장 좋습니다. 마치 "매운맛으로 해줘"라고 말하면서 <매운맛> 카드를 보여주는 것과 같습니다.

💡 요약

이 논문은 AI 를 조종할 때, 긴 설명을 늘어놓는 대신 '행동 카드'와 '연결 카드'를 사용하면, AI 가 여러 가지 복잡한 규칙을 동시에 잘 지키고, 본 적 없는 새로운 규칙 조합도 잘 처리할 수 있게 된다는 것을 증명했습니다.

이는 마치 AI 에게 특수한 조종 장치를 달아주어, 우리가 원하는 대로 정교하게 조종할 수 있게 만든 혁신적인 기술입니다.

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 을 실제 애플리케이션에 배포할 때는 단일 행동이 아닌 여러 가지 요구사항 (Desiderata) 을 동시에 만족하는 제어 가능한 출력이 필요합니다. 예를 들어, "프랑스어로 (언어), 10~50 단어로 (길이), 제목 형식으로 (서식)" 답변을 생성해야 하는 경우입니다.

기존의 접근 방식에는 다음과 같은 한계가 있었습니다:

파인튜닝 (Fine-tuning): 모델 파라미터를 업데이트해야 하므로 계산 비용이 크고, 기존 지식의 망각 (Catastrophic Forgetting) 이나 부정적인 간섭 (Negative Interference) 이 발생할 수 있습니다. 또한 $N$ 개의 행동을 임의 조합하려면 $2^N$ 개의 별도 파인튜닝이 필요하여 비실용적입니다.
프롬프트 지시 (Prompting/Instruction): 자연어 지시를 사용하여 행동을 제어하는 것은 유연하지만, 의미적으로 동일한 지시라도 모델의 출력이 일관되지 않아 **취약 (Brittle)**합니다.
기존 행동 조종 (Behavior Steering): 활성화 공간 (Activation Space) 에서 벡터를 조작하거나 (Activation Steering), 프롬프트를 압축하는 (Gist Tokens) 방법들은 단일 행동에는 효과적이지만, 여러 행동을 조합 (Compositional Steering) 할 때 일반화 능력이 부족하거나 성능이 급격히 저하되는 문제가 있었습니다.

2. 방법론 (Methodology)

이 논문은 **Steering Tokens (조종 토큰)**을 도입하여 입력 토큰 공간에서 행동을 제어하고, 이를 효과적으로 조합하는 새로운 프레임워크를 제안합니다.

핵심 아이디어

입력 공간 제어: 기존 방법들이 모델의 내부 활성화 (Activation) 에 개입하는 것과 달리, 제안된 방법은 모델의 입력 임베딩 공간에서 작동합니다. 모델의 내부 파라미터는 고정 (Frozen) 된 채로, 학습 가능한 토큰 벡터만 추가합니다.
자기 증류 (Self-Distillation): 자연어 지시 (Instruction) 를 가진 'Teacher' 모델과 토큰을 가진 'Student' 모델 (동일한 고정된 LLM) 간의 KL 발산을 최소화하여, 지시 내용을 단일 토큰 벡터로 압축합니다.

학습 단계

개별 행동 토큰 학습 (): 각 행동 (예: 언어, 길이) 을 나타내는 자연어 지시를 입력으로 하여, 해당 행동을 수행하는 전용 토큰 벡터 <b> 를 학습합니다.

조합 토큰 학습 (): 두 개 이상의 행동 토큰을 조합할 때 사용하는 전용 **조합 토큰 <and>**를 학습합니다.

Teacher: 두 행동의 자연어 지시가 모두 포함된 프롬프트.

Student: 두 행동 토큰과 <and> 토큰이 포함된 프롬프트 ([x, <b1>, <and>, <b2>]).

정규화 (Orthogonality Regularization): <and> 토큰이 기존 행동 토큰과 유사해지거나 붕괴되는 것을 방지하기 위해, <and> 벡터가 모든 고정된 행동 벡터와 직교 (Orthogonal) 하도록 손실 함수에 항을 추가합니다.

추론 (Inference)

모델의 파라미터를 변경하지 않고, 입력 프롬프트 뒤에 학습된 행동 토큰과 조합 토큰을 붙여주면 됩니다.

예시: [질문, <spanish>, <and>, <words_10_50>]

3. 주요 기여 (Key Contributions)

Compositional Steering Tokens 제안: 입력 토큰 공간에서 작동하는 전용 토큰을 통해 다중 행동 제어를 가능하게 함.

Zero-Shot 조합 일반화: 학습 시 2 개 행동 조합만 학습했음에도, **보이지 않은 행동 (Unseen behaviors)**이나 **보이지 않은 행동 개수 (예: 3 개 조합)**에 대해서도 뛰어난 일반화 성능을 보임.

학습된 조합 연산자 (): 단순히 토큰을 나열하는 것이 아니라, 행동을 조합하는 개념 자체를 학습한 전용 토큰이 조합 일반화의 핵심임을 증명.

자연어 지시와의 상호 보완성: 학습된 토큰과 자연어 지시를 결합 (Hybrid) 했을 때 가장 높은 정확도와 견고성 (Robustness) 을 달성함.

4. 실험 결과 (Results)

다양한 아키텍처 (Qwen, Llama, Gemma 등) 와 모델 크기 (3B~14B) 를 대상으로 실험하였습니다.

성능 우위: 제안된 방법은 기존 지시 (Instruction), 활성화 조종 (Activation Steering), LoRA 병합 (LoRA Merging) 등 경쟁 방법론보다 **보이지 않은 조합 (Unseen Compositions)**에서 훨씬 높은 정확도를 기록했습니다.

예: Qwen3-8B 기준, 보이지 않는 3 행동 조합에서 지시 기반 방법은 54.0% 정확도인 반면, 제안된 방법은 59.5% 를 기록했습니다.

모델 크기 스케일링: 모델 크기가 커질수록 (8B → 14B) 조합 정확도와 견고성이 향상되었습니다. 특히 14B 모델에서는 2 개 행동 조합만 학습해도 3 개 행동 조합에 대한 일반화가 잘 이루어졌습니다.

정렬 불변성 (Order Invariance): 토큰의 순서가 바뀌어도 성능이 크게 변하지 않도록 설계되었으며, 하이브리드 방식 (토큰 + 지시) 이 순서 변화에 가장 강건했습니다.

응답 품질: 행동 제약 조건을 만족하면서도 답변의 의미적 정확성과 일관성 (Response Quality) 은 기존 방법들과 비슷하거나 더 우수하게 유지되었습니다.

5. 의의 및 결론 (Significance)

이 연구는 LLM 의 행동을 제어하는 데 있어 **파라미터 효율성 (Parameter Efficiency)**과 **조합 일반화 (Compositional Generalization)**를 동시에 해결하는 강력한 메커니즘을 제시합니다.

실용성: 모델의 내부 파라미터를 수정하지 않으므로, 다양한 행동 조합을 실시간으로 적용할 수 있어 실제 애플리케이션 배포에 매우 유리합니다.

확장성: 학습된 조합 토큰 (<and>) 은 새로운 행동이나 더 많은 행동 조합에도 적용 가능하여, 복잡한 제약 조건을 가진 다중 태스크 환경에서 LLM 의 활용도를 높여줍니다.

미래 방향: 주관적인 행동 (톤, 스타일 등) 으로의 확장 및 더 많은 제약 조건 (4 개 이상) 에 대한 연구가 필요하지만, 현재 제안된 방법은 다중 행동 제어의 새로운 표준을 제시합니다.

요약하자면, 이 논문은 자연어 지시의 취약점과 파인튜닝의 비효율성을 극복하고, 학습된 토큰을 통해 유연하고 견고한 다중 행동 제어를 가능하게 한 획기적인 방법론을 제시했습니다.

🍳 비유: 요리사와 새로운 레시피 카드

🌟 이 기술이 가져온 변화

💡 요약

1. 문제 정의 (Problem)

2. 방법론 (Methodology)

핵심 아이디어

학습 단계

추론 (Inference)

3. 주요 기여 (Key Contributions)

4. 실험 결과 (Results)

5. 의의 및 결론 (Significance)

유사한 논문