How Controllable Are Large Language Models? A Unified Evaluation across Behavioral Granularities

이 논문은 언어적 특징, 감정, 성격이라는 세 가지 도메인과 세 가지 지정 수준 (L1~L3) 으로 구성된 계층적 벤치마크 'SteerEval'을 제안하여 대규모 언어 모델의 행동 제어 가능성을 체계적으로 평가하고, 세밀한 수준일수록 제어 성능이 저하된다는 사실을 규명합니다.

핵심

이 논문은 **"거대 언어 모델 (LLM, 예: 챗봇이나 AI 비서) 을 우리가 원하는 대로 얼마나 잘 조종할 수 있을까?"**라는 질문에서 시작합니다.

AI 가 점점 똑똑해지면서 교육, 의료, 의사결정 등 중요한 곳에 쓰이지만, 때로는 AI 가 의도하지 않은 말을 하거나 성격을 갑자기 바꾸는 등 예측 불가능한 행동을 할 수 있어 위험할 수 있습니다. 이 논문은 바로 그 AI 의 행동을 얼마나 정밀하게 통제할 수 있는지를 측정하는 새로운 도구인 **'SteerEval(스티어-에벌)'**을 소개합니다.

이 내용을 쉽게 이해하기 위해 **'마술사 (AI)'와 '지휘자 (사용자)'**의 비유를 들어 설명해 드리겠습니다.

---

🎩 1. 핵심 아이디어: "원하는 대로 마술을 부리게 하려면?"

지금까지 AI 를 조종하는 연구들은 대략적인 방향만 잡았습니다. 예를 들어 "기분 좋은 말을 해줘"라고 하면 AI 는 기분이 좋은 말을 합니다. 하지만 **"기분 좋은 말을 하되, '축하'라는 단어를 꼭 3 번 쓰고, 문장은 짧게 끊어서, 마지막에 느낌표를 붙여줘"**라고 구체적으로 지시하면 AI 는 종종 망칩니다.

이 논문은 AI 의 행동을 통제하는 능력을 **3 단계의 정밀도 (Granularity)**로 나누어 측정합니다.

📏 3 단계 통제 수준 (조작의 정밀도)

1. 1 단계 (L1): "무엇을 말할지" (큰 방향)

   • 비유: 지휘자가 오케스트라에게 "행진곡을 연주해"라고 지시하는 것.
   • 내용: AI 에게 "자율적인 태도를 보여줘"라고만 말합니다. 구체적인 표현은 AI 가 알아서 합니다.
   • 결과: 대부분의 AI 는 이 정도는 잘 따라옵니다.

2. 2 단계 (L2): "어떻게 말할지" (방식)

   • 비유: 지휘자가 "행진곡을 연주하되, 강한 드럼 소리로 리듬을 타며 연주해"라고 지시하는 것.
   • 내용: "자율적인 태도를 보여줘" + "남의 도움을 받기보다 스스로 결정한다는 뉘앙스로 말해줘"라고 구체화합니다.
   • 결과: AI 는 이때부터 조금 헷갈리기 시작합니다.

3. 3 단계 (L3): "구체적인 단어/기호" (최종 실행)

   • 비유: 지휘자가 "행진곡을 연주하되, '자율'이라는 단어를 2 번 쓰고, 마침표 대신 느낌표 (!) 를 3 개 붙여줘"라고 지시하는 것.
   • 내용: "자율적인 태도를 보여줘" + "반드시 '자율'이라는 단어를 포함하고, 문장 끝에 느낌표를 써줘"라고 아주 구체적인 규칙을 정합니다.
   • 결과: 여기서 대부분의 AI 조종 기술이 실패합니다. AI 는 규칙을 지키느라 말의 흐름이 깨지거나, 아예 지시를 무시해버립니다.

---

🔍 2. 실험 결과: "조종 기술의 한계"

연구진은 다양한 AI 모델 (Gemma, Qwen, Llama 등) 과 다양한 조종 기술 (프롬프트로 지시하기, 내부 신경망 신호를 직접 조작하기 등) 을 테스트했습니다.

• 결론 1: "조금만 구체적으로 지시하면 AI 는 무너집니다."
  • AI 는 큰 방향 (L1) 을 잡는 것은 잘하지만, 구체적인 규칙 (L2, L3) 이 들어오면 성능이 급격히 떨어집니다. 마치 "노래를 불러줘"는 잘하지만 "노래를 부르되 3 박자마다 숨을 쉬고, '사랑'이라는 단어를 꼭 넣어서 불러줘"라고 하면 노래를 망치는 것과 같습니다.
• 결론 2: "단순한 지시 (프롬프트) 가 더 나을 때도 있습니다."
  • AI 의 내부 신호를 직접 건드리는 복잡한 기술 (Activation Steering) 은 큰 방향에서는 잘 작동하지만, 구체적인 규칙이 필요할 때는 오히려 단순한 "지시문"보다 못 할 때가 많았습니다.
• 결론 3: "성격, 감정, 말투는 다릅니다."
  • AI 의 성격을 바꾸는 것은 비교적 쉽지만, 감정을 조절하거나 특정 문장 구조를 강제하는 것은 훨씬 어렵습니다.

---

💡 3. 왜 이 연구가 중요한가요?

이 논문은 단순히 "AI 가 못한다"고 비판하는 것이 아니라, "AI 를 어디까지, 어떻게 통제할 수 있는지"의 한계를 명확히 보여주는 지도를 제공했습니다.

• 안전한 AI 만들기: AI 가 위험한 행동을 하지 않도록 막거나, 필요한 상황에서만 정확한 태도를 보이게 하려면, 우리가 AI 를 얼마나 정밀하게 조종할 수 있는지 알아야 합니다.
• 미래의 기준: 앞으로 AI 개발자들은 이 'SteerEval'이라는 도구를 이용해, AI 가 복잡한 규칙을 얼마나 잘 따르는지 테스트해야 합니다.

🏁 요약

이 논문은 **"AI 를 조종하는 기술은 아직 초보 단계"**라고 말합니다. 우리는 AI 에게 "무엇을 할지"는 잘 지시하지만, **"정확하게 어떻게 할지"**까지 통제하는 것은 여전히 어렵습니다. 이 연구는 그 한계를 정확히 측정하는 자를 만들어, 앞으로 더 안전하고 믿을 수 있는 AI 를 만드는 발판을 마련했습니다.

한 줄 요약:

"AI 에게 "기분 좋게 말해"는 잘 시키지만, "기분 좋게 말하되 '행복'이라는 단어를 3 번 써"라고 하면 AI 는 당황합니다. 이 논문은 AI 가 어디까지 지시를 잘 따르는지 측정하는 새로운 자를 만들었습니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 교육, 의료, 의사결정 지원 등 사회적으로 민감한 분야에서 널리 배포되고 있습니다. 그러나 LLM 은 사용자의 의도와 불일치하거나, 감정이 의도치 않게 변하거나, 성격이 일관되지 않는 등 예측 불가능하고 바람직하지 않은 행동을 보일 수 있습니다. 이러한 실패는 실제 환경에서 심각한 위험을 초래합니다.

기존의 연구들은 특정 행동 (예: 감정, 안전성) 이나 특정 작업에 국한된 벤치마크를 사용하거나, 개념 정의와 데이터 형식이 불일치하여 방법론 간 비교가 어렵다는 한계가 있었습니다. 또한, 모델의 제어 (Steering) 가 **어떤 수준 (Granularity)**에서 작동하는지, 그리고 제어 강도가 세밀해질수록 성능이 어떻게 변화하는지에 대한 체계적인 분석이 부족했습니다.

2. 제안 방법론: SteerEval (Methodology)

저자들은 LLM 의 행동 제어 능력을 평가하기 위해 SteerEval이라는 계층적 (Hierarchical) 벤치마크를 제안했습니다. 이 벤치마크는 Marr 의 분석 3 단계 (계산, 알고리즘, 구현) 와 인지 제어 이론에 영감을 받아 설계되었습니다.

A. 계층적 구조 (Hierarchical Structure)

SteerEval 은 3 개의 행동 도메인과 **3 개의 명세 수준 (Specification Levels)**으로 구성됩니다.

1. 3 개 도메인 (Domains):

   • 언어 특징 (Language Features): 중복성, 간결성 등 텍스트의 표면적 특성.
   • 감정 (Sentiment): 긍정, 부정, 중립 등 정서적 태도.
   • 성격 (Personality): 자율성 (Autonomy) vs 의존성 (Dependency) 등 행동 양식.

2. 3 개 명세 수준 (Granularity Levels):

   • Level 1 (L1 - 계산 수준, What to express): 고수준의 의도만 정의 (예: "자율성을 보여라"). 표면적 실현을 제한하지 않음.
   • Level 2 (L2 - 알고리즘 수준, How to express): 의도를 전달하는 전략을 정의 (예: "자주적인 선택을 강조하여 표현하라").
   • Level 3 (L3 - 구현 수준, How to instantiate): 검증 가능한 원자적 (Atomic) 표면 제약 조건을 부과 (예: "반드시 '자신만의'라는 단어를 포함하라").

B. 데이터 생성 파이프라인

고품질의 정렬 데이터 (Preference Data) 를 확보하기 위해 자동화 파이프라인을 구축했습니다.

1. 개념 합성: 도메인 설명을 기반으로 L1~L3 계층 구조의 개념을 생성.
2. 질문 생성 및 정제: 개념과 관련된 질문을 생성한 후, 질문 자체가 정답을 유추하지 않도록 (Concept Leakage 방지) 관련되지만 다른 개념으로 질문을 재구성 (Pivot) 함.
3. 쌍별 답변 생성: 목표 개념을 만족하는 답변 (Matching) 과 반대 행동을 보이는 답변 (Not-matching) 을 생성. 두 답변은 구조는 유사하지만 핵심 어휘만 다르게 하여 개념적 차이만 분리되도록 함.
4. 품질 보증: 자동 검증과 전문가 수동 검수를 통해 데이터의 신뢰성을 확보.

C. 평가 지표

모델 응답은 다음 3 가지 차원에서 0~4 점 척도로 평가됩니다.

• Concept Score (CS): 의도된 개념이 얼마나 정확하게 표현되었는가?
• Instruction Score (IS): 지시사항을 얼마나 잘 따랐는가?
• Fluency Score (FS): 언어의 유창성과 자연스러움.
• Harmonic Mean (HM): 세 점수의 조화평균으로 종합 성능을 측정 (어느 한 차원의 저조한 성능이 전체 점수를 크게 낮추도록 설계).

3. 주요 실험 결과 (Results)

Gemma-2-9B, Qwen-2.5-7B, Llama-3.1-8B 등 3 개의 최신 모델에 대해 프롬프트 기반 (Prompt-based) 과 활성화 기반 (Activation-based) 제어 방법 (PCA, DiffMean, RePS 등) 을 비교 평가했습니다.

1. 프롬프트 기반 제어의 우세성: 전체적으로 프롬프트 기반 방법 (0-shot, few-shot) 이 활성화 기반 방법보다 우수한 성능을 보였습니다. 특히 Few-shot 프롬프팅은 성능을 더욱 향상시켰습니다.
2. 세밀화 (Granularity) 에 따른 성능 저하:
   • L1 (고수준): 활성화 기반 방법도 프롬프트 기반과 유사하거나 더 나은 성능을 보일 수 있었습니다.
   • L2~L3 (저수준/세밀한 제약): 제어 목표가 세밀해질수록 (L1→L3) 활성화 기반 방법의 성능이 급격히 저하되었습니다. 반면 프롬프트 기반 방법은 모든 수준에서 안정적으로 높은 성능을 유지했습니다.
   • 이는 활성화 기반 제어가 모델 내부의 고수준 추상화에는 효과적이지만, 구체적인 토큰 수준의 제어를 수행하는 데는 한계가 있음을 시사합니다.
3. 도메인 의존성: 활성화 기반 방법은 도메인에 따라 성능 편차가 컸습니다 (예: 성격 도메인 > 감정 도메인 > 언어 특징 도메인). 프롬프트 기반은 도메인 간 일관된 성능을 보였습니다.
4. 강도 (Steering Strength) 의 영향: 활성화 기반 방법에서 제어 강도를 높이면 개념 점수는 올라가지만, 지시 따르기 (Instruction Following) 와 유창성이 급격히 떨어지는 트레이드오프가 발생했습니다.

4. 주요 기여 (Key Contributions)

1. SteerEval 벤치마크 출시: 행동 도메인과 개념의 세밀함 (Granularity) 을 모두 고려한 최초의 계층적 벤치마크를 제안하고, 공개된 데이터셋 (MIT 라이선스) 을 제공합니다.
2. 계층적 제어 프레임워크: LLM 의 행동 제어를 Marr 의 분석 수준에 맞춰 L1~L3 로 체계화하여, 제어의 한계와 실패 모드를 명확히 규명했습니다.
3. 실증적 통찰: 기존 방법론들이 고수준 제어에는 효과적이지만, 세밀한 표면적 제약 (L3) 하에서는 성능이 크게 떨어진다는 사실을 발견했습니다. 이는 향후 더 정교한 제어 기술 개발의 방향성을 제시합니다.
4. 공정하고 체계적인 비교: 다양한 제어 방법론을 동일한 데이터셋과 평가 프로토콜 하에서 비교할 수 있는 표준을 마련했습니다.

5. 의의 및 결론 (Significance)

이 연구는 LLM 의 제어 가능성에 대한 "어디까지 가능한가"에 대한 명확한 기준을 제시합니다. 특히, 제어의 세밀함이 증가할수록 기존 방법론의 한계가 드러난다는 발견은 안전하고 신뢰할 수 있는 LLM 을 개발하기 위해 단순한 프롬프트 엔지니어링을 넘어, 모델 내부 메커니즘을 더 정교하게 이해하고 제어하는 새로운 접근법이 필요함을 시사합니다. SteerEval 은 향후 LLM 의 예측 가능성, 제어 가능성, 사회적 안전성을 보장하기 위한 연구의 기초가 될 것입니다.