Instruction Following by Principled Boosting Attention of Large Language Models

1. 문제 정의 (Problem)

대형 언어 모델은 시스템 프롬프트, 거부 경계 (refusal boundaries), 개인정보 보호 제약, 도구 사용 규칙 등 추론 시 준수해야 하는 다양한 지시 사항에 의해 행동이 형성됩니다. 그러나 실제 적용 시 다음과 같은 문제들이 발생합니다.

• 지시 사항 위반: 긴 컨텍스트나 사용자의 입력이 지시 사항과 충돌할 때 모델이 지시 사항을 무시하거나 위반하는 경우가 빈번합니다.
• 신뢰성 및 안전성 위험: 이러한 위반은 모델의 신뢰성을 떨어뜨리고 안전 사고로 이어질 수 있습니다.
• 기존 방법의 한계:
  • 잠재적 조향 (Latent Steering): 내부 표현을 수정하는 방식은 지시 사항 준수율을 높일 수 있지만, 과도한 조향 시 생성물의 유창성 (fluency) 이 급격히 떨어지거나 (fluency collapse) 의미 없는 반복을 초래합니다.
  • 기존 어텐션 조향 (Attention Steering): PASTA 나 SpotLight 와 같은 기존 어텐션 기반 방법은 지시 사항에 대한 어텐션을 높이지만, 지나치게 경직되어 작업에 필요한 맥락 (context) 정보를 억제하거나 (over-focus), 계산 비용이 많이 드는 헤드 선택 과정을 필요로 합니다.

2. 방법론 및 이론적 배경 (Methodology & Theory)

저자들은 Logicbreaks 추상화를 기반으로 한 새로운 이론적 프레임워크를 제시하며, 이를 통해 어텐션 조향의 메커니즘을 설명하고 새로운 방법론을 제안합니다.

가. 이론적 프레임워크: 규칙 기반 경쟁 (Rule-based Competition)

• 지시 사항 추론의 재정의: 지시 사항 따르기를 '지시 규칙 (Instruction Rules)'과 '맥락에서 유도된 규칙 (Context-derived Rules)' 간의 경쟁으로 정의합니다.
• 어텐션의 역할: 어텐션은 어떤 규칙이 지배적인지 결정하는 중재자 역할을 합니다.
• 첨가적 어텐션 부스팅 (Additive Attention Boosting): 지시 토큰에 대한 어텐션 로짓 (logits) 에 상수 $B$를 더하면, 지시 규칙의 영향력이 지수적으로 증가하여 경쟁하는 맥락 규칙이 지시 사항을 덮어쓰기 (override) 하기가 기하급수적으로 어려워진다는 것을 수학적으로 증명했습니다.
• 트레이드오프: 과도한 부스팅 ($B$가 너무 큼) 은 지시 사항과 양립 가능한 유익한 맥락 정보까지 억제하여 생성물의 관련성 (relevance) 을 떨어뜨리는 '지시 사항 과집중 (instruction over-focus)' 실패 모드를 유발합니다.

나. 제안된 방법: INSTABOOST

이론적 통찰에 기반하여 제안된 **INSTABOOST (Instruction Attention Boosting)**는 다음과 같은 간단한 메커니즘을 사용합니다.

• 동작 원리: 모든 Transformer 레이어와 모든 어텐션 헤드에서 지시 토큰에 해당하는 키 (key) 의 어텐션 로짓에 일정한 상수 ($B$) 를 덧셈 (additive bias) 으로 더합니다.
• 특징:
  • 단순성: PASTA 와 달리 특정 헤드를 선택하는 복잡한 오프라인 프로파일링이 필요 없습니다.
  • 유연성: SpotLight 와 달리 상태 의존적인 동적 바이어스를 강제하지 않아, 맥락 손실을 방지하면서도 지시 사항 준수율을 높입니다.
  • 제어 가능성: 부스팅 강도 ($B$ 또는 승수 $M$) 를 조절하여 지시 사항 준수와 맥락 보존 사이의 균형을 쉽게 조정할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. 통일된 이론적 프레임워크: 지시 사항 따르기를 규칙 기반 경쟁으로 형식화하고, 어텐션 부스팅이 이 경쟁을 어떻게 조절하는지 이론적으로 증명했습니다.
2. INSTABOOST 제안: 계산 비용이 적고 구현이 간단한 상수 덧셈 기반 어텐션 부스팅 방법을 제시했습니다.
3. 광범위한 평가: 15 가지 다양한 작업 (감정, AI 페르소나, 재일브레이킹, 독성 감소, 진실성, 일반 QA 등) 에서 기존 방법론 (프롬프팅, 잠재적 조향, PASTA, SpotLight) 과 비교 평가했습니다.

4. 실험 결과 (Results)

Meta-Llama-3-8B-Instruct 및 Gemma-7b-it 모델을 사용하여 평가한 결과는 다음과 같습니다.

• 성능 우위: INSTABOOST 는 대부분의 작업에서 기존 어텐션 방법 (PASTA, SpotLight) 과 잠재적 조향 방법 (Latent Steering) 보다 우수하거나 경쟁력 있는 지시 사항 준수율 (Steering Success) 을 달성했습니다. 특히 재일브레이킹 (Jailbreaking) 작업과 같은 민감한 영역에서 기존 어텐션 방법이 실패한 반면 INSTABOOST 는 높은 성공률을 보였습니다.
• 유창성 및 관련성 보존:
  • 유창성 (Fluency): 잠재적 조향 방법들은 조향 강도가 높아질수록 유창성이 급격히 떨어지는 반면, INSTABOOST 는 높은 강도에서도 유창성을 잘 유지했습니다.
  • 관련성 (Relevance): SpotLight 는 지시 사항에 너무 집중하여 사용자의 질문 자체를 무시하는 경향이 있었으나, INSTABOOST 는 지시 사항을 따르면서도 사용자의 질문을 적절히 답변하는 관련성을 유지했습니다.
• 안정성: INSTABOOST 는 작업 간 성능 편차가 적어 (robustness) 다양한 시나리오에서 일관된 성능을 발휘했습니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 의 행동을 제어하는 데 있어 어텐션 메커니즘을 직접 조작하는 것이 내부 표현을 수정하는 것보다 더 효율적이고 안전한 대안임을 보여줍니다.

• 실용성: 재학습 (retraining) 없이 추론 시 (inference-time) 간단히 적용 가능하며, 계산 오버헤드가 적습니다.
• 안전성: 모델이 유해한 지시 사항이나 공격에 저항하도록 하거나, 반대로 안전 정책을 준수하도록 유도하는 데 효과적입니다.
• 미래 방향: 단순한 규칙 기반 지시 사항뿐만 아니라 더 추상적인 작업이나 복잡한 규칙 추론으로 확장 가능한 이론적 기반을 제공했습니다.

결론적으로, INSTABOOST 는 LLM 의 신뢰성과 안전성을 높이기 위한 강력하고 실용적인 도구로, 생성 품질을 해치지 않으면서도 모델의 행동을 정밀하게 제어할 수 있는 새로운 패러다임을 제시합니다.