Enhancing Instruction Following of LLMs via Activation Steering with Dynamic Rejection

이 논문은 과도한 조향으로 인한 품질 저하를 방지하기 위해 가중치 조정과 가능성 기반 디코딩 루프를 결합하여 동적으로 조향 강도를 조절하는 새로운 방법인 DIRECTER 를 제안함으로써 대규모 언어 모델의 지시 따르기 능력을 향상시킵니다.

핵심

DIRECTER: AI 의 '지시'를 잘 듣게 만드는 똑똑한 조종사

이 논문은 최근 큰 인기를 끌고 있는 '거대 언어 모델 (LLM, AI)'이 사용자의 복잡한 지시를 잘 따르지 못하거나, 오히려 지시를 너무 맹목적으로 따르다가 엉뚱한 답변을 내놓는 문제를 해결한 새로운 방법, DIRECTER를 소개합니다.

이 기술을 쉽게 이해하기 위해 비행기 조종사와 항공 관제탑의 비유를 들어보겠습니다.

---

1. 문제: AI 는 왜 지시를 잘 안 듣거나, 너무 잘 들어서 망칠까?

기존의 AI 는 사용자의 지시 (예: "문장 끝에 마침표를 쓰지 마세요") 를 들으면, 그 지시를 따르려고 안간힘을 씁니다. 하지만 여기서 두 가지 문제가 발생합니다.

• 지시 무시 (Instruction Ignoring): AI 가 원래 습관대로 "안녕하세요."라고 말하려다, 지시를 잊어버리고 마침표를 찍어버리는 경우입니다.
• 지시 과잉 (Oversteering): 반대로 지시를 너무 맹목적으로 따릅니다. "문장에 쉼표 (,) 를 쓰지 마세요"라고 하면, AI 가 쉼표 대신에 문법적으로 어색한 문장을 만들거나, 심지어 "나는 쉼표를 쓰지 않겠다"라고 반복해서 말하며 본래의 질문 (여행 일정 짜기) 을 망쳐버리는 경우입니다.

기존 기술들은 이 균형을 맞추기 위해 "지시를 얼마나 강하게 강조할까?"라는 설정값을 수동으로 조절해야 했습니다. 하지만 이는 마치 조종사가 비행 중에도 조종간을 고정해두고 날리는 것과 같습니다. 상황에 따라 강하게 당겨야 할 때도 있고, 살짝만 건드려야 할 때도 있는데, 고정된 설정으로는 불가능합니다.

2. 해결책: DIRECTER (다이나믹 리젝션 스티어링)

이 논문에서 제안한 DIRECTER는 **"상황에 따라 실시간으로 조종력을 조절하는 똑똑한 자동 조종 장치"**입니다.

핵심 비유: "잠시 멈추고 확인하기" (Plausibility-Guided Decoding)

DIRECTER 는 AI 가 한 마디를 내뱉기 직전, 다음과 같은 과정을 거칩니다.

1. 원래 생각 (Raw Distribution): AI 가 지시 없이 자연스럽게 생각한 답변을 먼저 봅니다.
2. 지시 적용 (Steered Output): 사용자의 지시 (예: "쉼표 금지") 를 강력하게 적용해서 AI 가 생각한 답변을 바꿉니다.
3. 현실성 체크 (Plausibility Check): "이제 바뀐 답변이 너무 어색하지는 않은가?"를 확인합니다.
   • 만약 너무 어색하다면 (Implausible): "아, 지시를 너무 강하게 적용했구나!"라고 판단하고, 지시 적용 강도를 약하게 줄입니다. (예: 모든 층의 신경망을 건드리지 않고, 가장 중요한 층만 살짝 건드림)
   • 만약 자연스럽다면 (Plausible): "좋아, 이 정도면 지시도 지키고 문장도 자연스러우네!"라고 판단하고, 그 답변을 최종 출력합니다.

이 과정은 AI 가 한 마디를 말할 때마다 수백 번 반복되어, 매 순간 가장 적절한 강도로 지시를 따르도록 만듭니다.

3. DIRECTER 의 두 가지 비밀 무기

이 시스템이 어떻게 그렇게 똑똑하게 작동할까요? 두 가지 핵심 기술이 있습니다.

① "어떤 층을 건드릴지 미리 정하기" (Layer Ranking)

AI 는 여러 개의 층 (Layer) 으로 이루어진 거대한 건물과 같습니다. 모든 층을 다 건드리면 건물이 무너질 수 있습니다. DIRECTER 는 실험을 통해 "어떤 층을 건드리면 지시 효과가 가장 잘 전달되는지" 미리 분석해 둡니다.

• 비유: 건물의 엘리베이터를 고칠 때, 모든 층의 전선을 다 끊는 게 아니라, 가장 중요한 메인 전선만 건드리는 것과 같습니다. 이렇게 하면 효율적이고 정확합니다.

② "불필요한 시도는 건너뛰기" (Gating Mechanism)

매번 지시를 적용해서 확인하는 건 시간이 걸립니다. DIRECTER 는 AI 가 이미 매우 확신 있는 답변을 내놓을 때는 (예: "1+1=2"라고 확신할 때) 굳이 지시를 적용해볼 필요 없이 원래 답변을 그대로 내보냅니다.

• 비유: 관제탑이 "비행기 A 는 지금 정상 비행 중이야"라고 말하면, 조종사는 굳이 "비행기 A, 지금 방향을 틀어봐!"라고 명령하지 않습니다. 이미 잘 가고 있으면 간섭하지 않는 것이 효율적이기 때문입니다.

4. 왜 이것이 중요한가요? (결과)

이 방법을 적용한 결과, AI 는 다음과 같은 놀라운 변화를 보였습니다.

• 정확도 향상: 복잡한 지시 (예: "쉼표 금지", "특정 형식 준수") 를 따르는 정확도가 기존 방법보다 6.5% 이상 높아졌습니다.
• 품질 유지: 지시를 잘 따르면서도, 문장의 자연스러움이나 논리적 정확함은 떨어지지 않았습니다. (기존 방법들은 지시를 따르다 보니 문장이 엉망이 되는 경우가 많았습니다.)
• 빠른 속도: 추가적인 계산 비용이 거의 들지 않아, AI 가 느려지지 않습니다.

5. 요약

DIRECTER는 AI 에게 "지시를 무조건 강하게 따르라"고 외치는 것이 아니라, **"지시를 따르되, 문장이 이상해지면 즉시 강도를 줄여라"**라고 가르치는 현명한 조종사입니다.

이 기술은 AI 가 사용자의 복잡한 요구사항을 정확히 이해하면서도, 여전히 자연스럽고 유용한 답변을 내놓을 수 있게 도와줍니다. 앞으로 우리가 AI 와 대화할 때, 더 이상 "지시 무시"나 "엉뚱한 답변"에 실망하지 않아도 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 지시 튜닝 (Instruction Tuning) 을 통해 발전했으나, 여전히 복잡한 사용자 지시를 따르는 데 실패하는 경우가 많습니다. 이를 해결하기 위해 제안된 활성화 조향 (Activation Steering) 기술은 모델의 내부 상태를 조작하여 지시 준수 능력을 향상시키려 합니다. 그러나 기존 방법론 (예: PASTA, SpotLight) 은 다음과 같은 치명적인 한계를 가집니다.

• 과도한 조향 (Oversteering): 지시에 대한 과도한 강조가 오히려 작업 정확도 (Task Accuracy) 를 떨어뜨리고 생성된 텍스트의 품질을 저하시킵니다.
• 정적 구성 (Static Configuration): 대부분의 방법은 고정된 하이퍼파라미터 (레이어 선택, 조향 강도 등) 에 의존합니다. 이는 생성 단계마다 변화하는 최적의 조향 정도를 동적으로 적응하지 못하게 하여, 지시와 텍스트 품질 간의 균형을 깨뜨립니다.
• 수동 튜닝 비용: 최적의 설정을 찾기 위해 방대한 검증 데이터와 그리드 서치가 필요하며, 이는 훈련 수준의 계산 비용을 요구합니다.

2. 방법론 (Methodology)

저자들은 DIRECTER (Dynamic Rejection Steering) 라는 새로운 조향 방법을 제안합니다. 이는 추가적인 데이터셋 없이 KV 캐시 (Key-Value Cache) 를 스케일링하여 조향 강도를 동적으로 조절하는 지시 가능성 (Plausibility) 기반 디코딩 루프를 핵심으로 합니다.

2.1. 핵심 메커니즘

1. KV 캐시 조향 (KV Cache Steering):

   • 지시 토큰에 해당하는 키 (Key) 벡터에 스케일링 인자 ($\alpha$) 를 곱하여 KV 캐시를 변형합니다.
   • 값 (Value) 스케일링 대신 키 스케일링에 집중하여 효율성을 높였습니다.

2. 지시 가능성 기반 디코딩 루프 (Plausibility-guided Decoding Loop):

   • 각 디코딩 단계에서 **원래의 출력 분포 ($p_t$)**와 **조향된 출력 분포 ($\tilde{p}_t$)**를 비교합니다.
   • 수용 조건: 조향된 분포에서 선택된 최상위 토큰 ($\tilde{i}^*_t$) 이 원래 분포에서 충분히 높은 확률 ($p_{t, \tilde{i}^*_t} \ge \beta \cdot p_{t, i^*_t}$) 을 가질 때만 조향을 수용합니다.
   • 동적 거부 (Dynamic Rejection): 만약 조향된 결과가 지시 가능성 (Plausibility) 기준을 충족하지 않으면 (즉, 텍스트 품질이나 작업 정확도가 떨어질 가능성이 높으면), 조향 강도를 점진적으로 약화시킵니다. 이는 후보 레이어 집합을 반으로 줄이는 방식으로 수행됩니다.

3. 주의 민감도 기반 레이어 순위 (Attention Sensitivity-based Layer Ranking):

   • 어떤 레이어를 조향할지 결정하기 위해 한 번만 수행되는 일회성 분석을 도입합니다.
   • 각 레이어를 개별적으로 조향했을 때, 모델의 표현 공간 (Representation) 에 미치는 **교란 점수 (Disturbance Score)**를 계산합니다.
   • 이 점수는 직접적인 영향과 하위 레이어로 전파되는 영향을 모두 고려하여 계산되며, 이를 통해 가장 영향력 있는 레이어 순위를 매깁니다.
   • 순위가 높은 레이어부터 순차적으로 조향에 포함시켜 정밀한 강도 조절을 가능하게 합니다.

4. 효율성 최적화 (Gating Mechanism):

   • 불필요한 조향 시도를 방지하기 위해, 원래 분포의 상위 2 개 토큰 확률 차이를 기반으로 조향 시도 자체를 생략하는 게이트 메커니즘을 도입하여 지연 시간을 줄였습니다.

3. 주요 기여 (Key Contributions)

• 동적 조향 제어: 고정된 설정이 아닌, 생성 단계마다 지시 가능성에 기반하여 조향 강도를 동적으로 조절하는 메커니즘을 제안하여 '과도한 조향' 문제를 해결했습니다.
• 데이터 불필요: 별도의 튜닝 데이터셋이나 사전 계산 (Pre-computation) 이 필요하지 않으며, 오직 한 번의 민감도 분석으로 모든 레이어의 순위를 결정합니다.
• 범용성: 제안된 지시 가능성 필터는 기존 다른 조향 방법론 (PASTA, SpotLight 등) 에도 적용 가능하여, 다른 방법론들의 성능을 향상시키는 '안전 게이트 (Safety Gate)' 역할을 합니다.

4. 실험 결과 (Results)

다양한 벤치마크 (IFEval, LIFBench, GSM8K-Format) 와 모델 (Llama-3, Qwen-2.5 등) 에서 광범위한 평가를 수행했습니다.

• 성능 향상:
  • IFEval: 베이스라인 (Zero-shot) 대비 평균 정확도 6.5% 향상, 기존 조향 방법론 대비 약 4% 향상.
  • GSM8K-Format: 지시 준수 (포맷팅) 와 작업 정확도 (수학 문제 해결) 를 동시에 달성하여, 기존 방법론이 지시 준수 시 작업 정확도가 급격히 떨어지는 (Oversteering) 현상을 해결했습니다.
  • 모델 일반화: 1B 에서 14B 파라미터까지 다양한 크기의 모델에서 일관된 성능 향상을 보였습니다.
• 품질 유지:
  • 텍스트 품질 (Fluency, Coherence) 은 비개입 베이스라인과 유사하게 유지되었으며, 다른 조향 방법론들 (PASTA 등) 보다 높은 점수를 기록했습니다.
  • 작업 충실도 (Task Fidelity) 는 약 **92%**로 가장 높았습니다.
• 효율성:
  • 처리량 (Throughput) 은 Zero-shot 대비 약 16% 감소했으나, 기존 방법론인 SpotLight 보다 2 배 이상 빠릅니다.
  • 메모리 오버헤드는 무시할 수준 (Negligible) 입니다.

5. 의의 (Significance)

DIRECTER 는 LLM 의 지시 준수 능력을 향상시키는 동시에 생성 품질과 작업 정확도를 희생하지 않는 실용적이고 기계적인 (Mechanistic) 해결책을 제시합니다.

• 동적 제어의 중요성 증명: 고정된 조향 설정의 한계를 극복하고, 생성 과정의 동적 특성에 맞춰 실시간으로 강도를 조절하는 것이 과조향을 방지하는 핵심임을 입증했습니다.
• 신뢰성 있는 LLM 제어: 복잡한 제약 조건 하에서도 모델이 의도한 대로 작동하도록 보장하며, 안전하고 제어 가능한 LLM 생성을 위한 새로운 표준을 제시합니다.
• 확장성: 제안된 메커니즘은 다양한 모델 아키텍처와 작업 유형에 적용 가능하며, 기존 방법론을 보완하는 모듈로 활용될 수 있습니다.

이 논문은 LLM 의 추론 시간 (Inference-time) 개입 기술이 단순한 튜닝을 넘어, 모델의 내부 메커니즘을 이해하고 동적으로 제어함으로써 더 신뢰할 수 있는 AI 시스템을 구축할 수 있음을 보여줍니다.