Steerable Chatbots: Exploring Personalization Control Interfaces via LLM Activation Steering

기술 요약: LLM 활성화 스티어링(Activation Steering)을 통한 조종 가능한 챗봇

문제 정의
대규모 언어 모델(LLM)의 응답을 개인화하기 위한 현재의 패러다임은 사용자가 자연어 프롬프트를 통해 선호도를 명시적으로 표현하는 방식에 크게 의존하고 있습니다. 이러한 접근 방식은 두 가지 주요 장벽을 제시합니다: (1) 사용자가 모델이 선호도를 검색할 수 있는 대화 이력이 없는 "콜드 스타트(cold-start)" 문제, (2) 많은 일반 사용자들이 갖추기 어려운, 복잡한 선호도를 효과적인 프롬프트로 구조화해야 하는 인지적 부담입니다. RAG(검색 증강 생성)나 모델 미세 조정(fine-tuning)과 같은 기존의 기술적 솔루션은 계산 집약적이며 상당한 사용자 데이터를 필요로 하기에, 즉각적이고 세밀한 개인화를 구현하기에는 부적합합니다. 저자들은 프롬프트 기반의 명시적 지정에서 벗어나, LLM 출력의 잠재적 사용자 선호도와 정렬하기 위해 모델의 행동을 직접 조작하는 방식으로의 전환을 제안합니다.

방법론
본 논문은 사용자가 선형 스칼라 계수를 조작하여 LLM 출력 내 특정 선호 차원의 강도와 방향을 제어하는 패러다임인 "조종 가능한 챗봇(Steerable Chatbots)"을 소개합니다. 이는 추론 과정 중 모델의 잔차 스트림(residual stream)에 사전 계산된 "스티어링 벡터(steering vectors)"를 주입하는 기술인 **활성화 스티어링(activation steering)**을 통해 달성됩니다.

1. 기술적 구현:

   • 스티어링 벡터: 저자들은 긍정적 및 부정적 데이터 샘형을 사용하여 바람직한 표현과 바람직하지 않은 표현(예: "럭셔리" vs "저가형")의 표현을 대조함으로써 벡터를 계산하며, 이는 양의 데이터와 음의 데이터 샘플에 대해 훈련된 레이어별 선형 프로브(linear probes)를 사용합니다.
   • 스티어링 메커니즘: 추론 중에 스티어링 벡터($v$)는 사용자 정의 강도 계수($d$)에 의해 스케일링되어 LLM의 중간 표현($h$)에 더해집니다: $h_{steered} \leftarrow h + d \cdot v$.
   • 평가 지표: 선호도 표현은 LLM 출력 임베딩과 특정 선호 특성(비용, 분위기, 연령, 시간, 요리)을 나타내는 참조 데이터셋(Yelp 리뷰) 간의 상대적 코사인 유사도로 정량화됩니다.

2. 인터페이스 디자인:
   저자들은 에이전시(Agency)(사용자 주도형 vs 시스템 주도형)와 유동성(Fluidity)(정적 vs 적응형)이라는 두 축에 걸쳐 세 가지 distinct한 인터페이스 디자인을 탐구합니다:

   • SELECT (높은 에이전시, 중간 유동성): 사용자가 실시간으로 슬라이더(-100에서 100)를 조작하여 스티어링 계수를 직접 조정합니다. 이를 통해 특정 선호 차원에 대한 즉각적이고 명시적인 제어가 가능합니다.
   • CALIBRATE (중간 에이전시, 낮은 유동성): 대화 전, 사용자는 서로 다른 스티어링 강도로 생성된 응답 쌍에서 선호하는 출력을 반복적으로 선택하는 보정 과정을 거칩니다. 시스템은 세션 동안 고정된 선호 값을 찾아 수렴합니다.
   • LEARN (낮은 에이전시, 높은 유동성): 시스템이 대화의 감성을 통해 사용자의 선호도를 암묵적으로 추론하고, 명시적인 사용자 입력 없이 백그라운드에서 스티어링 계수를 업데이트하며, 투명성을 위해 추론된 강도를 표시합니다.

3. 실험 설정:

   • 계산 실험: 스티어링의 신뢰성(E1)과 사용자 프롬프트와의 결합 가능성(E2)을 보장하기 위해 1.6B에서 9B 파라미터에 이르는 5개의 오픈 소스 LLM을 통해 검증되었습니다.
   • 사용자 연구: 콜드 스타트 라이프스타일 계획 작업(선물 쇼핑, 여행, 외식, 레시피)을 포함한 피험자 내 설계(within-subjects study, $n=14$)를 수행했습니다. 참가자들은 세 가지 스티어링 인터페이스와 프롬프트 전용 베이스라인(PROMPT)을 상호작로 활용했습니다.

주요 결과

• 계산적 타당성: 활성화 스티어링은 테스트된 모든 모델에서 스티어링 강도와 표현된 선호도 사이에 강력하고 거의 선형적인 상관관계를 보여주었습니다. 결정적으로, 이 방법은 사용자 프롬프트와 호환되는 것으로 나타났습니다. 즉, 프롬프트는 스티어링 효과를 강화하거나 감소시킬 수 있어, 스티어링된 선호 프로필 내에서의 맥락적 가변성을 허용했습니다.
• 선호도 정렬 (U1):
  • SELECT와 CALIBRATE는 챗봇의 출력과 사용자의 실제 선호도 사이에서 각각 유의미한 중간 수준의 상관관계($r=0.46$ 및 $r=0.59$)를 보였으며, 프롬프트 전용 베이스라인($r=0.11$)을 크게 상회했습니다.
  • LEARN은 더 낮은 상관관계($r=0.26$)를 보였으며, 이는 감성 기반 업데이트 알고리즘이 짧은 시간 내에 다양한 사용자의 의도를 포착하는 데 덜 견고함을 시사합니다.
  • 전반적으로, 조종 가능한 챗봇은 잠재적 선호도와 중간 정도의 상관관계($r=0.44$)를 달성하여 콜드 스타트 시나리오에서의 접근 방식을 검증했습니다.
• 주관적 인식 (U2):
  • 인터페이스 간에 "사용 의향", "만족도", "인지된 통제력" 측면에서 직접 비교했을 때 유의미한 차이는 없었습니다.
  • 그러나 모든 조종 가능한 인터페이스는 베이스라인보다 **인지된 지속성(Perceived Persistency)**에서 유의미하게 높게 평가되었으며, 이는 사용자들이 자신의 선호도가 세션 전반에 걸쳐 더 잘 기억된다고 느꼈음을 나타냅니다.
  • 가치의 이질성: 질적 분석 결과 뚜렷한 사용자 선호 차이가 드러났습니다. 일부 사용자는 SELECT의 명시적 제어를 가치 있게 여긴 반면, 다른 사용자들은 LEARN의 원활하고 인지 부하가 낮은 경험을 선호했습니다. CALIBRATE는 정밀함과 시간 절약 측면에서 높게 평가되었으나, 보정 단계가 미묘한 선호도를 포착하지 못할 경우 발생할 수 있는 불일치에 대한 비판을 받았습니다.

의의 및 주장
본 논문은 선호도 표현의 부담을 자연어 프롬프팅에서 모델 내부의 직접 조작으로 전환함으로써 LLM 개인화를 위한 새로운 패러다임을 도입한다고 주장합니다. 저자들은 활성화 스티어링이 모델 가중치를 재학습할 필요 없이 경량화된 벡터로 작동하므로, 미세 조정에 대한 자원 효율적인 대안을 제공한다고 단언합니다.

이 연구는 LLM 개인화를 상호작용 디자인 문제로 재정의하며, 선형 스티어링 계수를 노출하는 것이 콜드 스타트 시나리오에서 모델 출력을 잠재적 사용자 선호도와 효과적으로 정렬할 수 있음을 입증합니다. 저자들은 단일한 "최적의" 인터페이스는 존재하지 않으며, 오히려 에이전시(제어 vs 자동화)와 유동성(정적 vs 적응형)에 대한 사용자 가치가 어떤 디자인이 가장 적합한지를 결정한다고 강조합니다. 결론적으로, 조종 가능한 챗봇은 직접 조작 가능한 개인화된 AI 비서를 만들기 위한 유망하고 계산 효율적인 메커니즘을 제공하지만, 저자들은 저충실도 프로토타입의 충실도 문제와 복잡한 선호도를 단일 차원으로 축소하는 것에 대한 한계를 인정합니다.