💬 NLP

BILLY: Steering Large Language Models via Merging Persona Vectors for Creative Generation

BILLY는 단일 모델의 활성화 공간 내에서 서로 다른 페르소나 벡터를 혼합함으로써 다중 LLM 협업의 이점을 달성하는 동시에 계산 비용과 추론 지연 시간을 크게 줄여 대규모 언어 모델의 창의성을 향상시키는 훈련이 필요 없는 프레임워크입니다.

원저자: Tsung-Min Pai, Jui-I Wang, Li-Chun Lu, Shao-Hua Sun, Hung-Yi Lee, Kai-Wei Chang

게시일 2026-01-27

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tsung-Min Pai, Jui-I Wang, Li-Chun Lu, Shao-Hua Sun, Hung-Yi Lee, Kai-Wei Chang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 아주 똑똑하고 창의적인 로봇(거대 언어 모델, LLM)이 있다고 상 imagin 해보세요. 당신은 이 로봇에게 도시 공원에 대한 기발하고 새로운 아이디어를 내도록 시키고 싶습니다.

과거의 방식 (Multi-LLM 시스템):
전통적으로, 정말 다양한 답변을 얻기 위해 당신은 로봇 팀을 고용했을 것입니다. 한 로봇에게는 창의적인 전문가(예술과 독특한 디자인을 사랑하는 역할)가 되어달라고 하고, 다른 로보에게는 환경 운동가(나무와 깨끗한 공기를 중시하는 역할)가 되어달라고 요청합니다. 그리고 그들이 몇 시간 동안 서로 대화하고, 아이디어를 토론하고, 섞으면서 최종 계획에 합의할 때까지 기다리게 합니다.

문제점: 이 방식은 시간이 매우 오래 걸립니다. 여러 대의 로봇을 동시에 가동해야 하므로 비용이 많이 듭니다. 때로는 로봇들이 서로의 말을 반복하거나 루프에 빠져, 더 똑똑해지기는커녕 에너지만 낭비하며 제자리걸음을 하기도 합니다.

새로운 방식 (BILLY):
이 논문은 BILLLY(Large Language model creativitY를 위한 Persona Vector의 혼합)를 소개합니다. 로봇들이 서로 대화하게 만드는 대신, BILLY는 단 한 대의 로봇에게 두 전문가처럼 동시에 생각할 수 있는 "정신적 초능력"을 부여합니다.

작동 원리는 다음과 같습니다 (쉬운 비유를 사용하겠습니다):

1. "정신적 풍미" 벡터 (The "Mental Flavor" Vectors)

로봇의 뇌를 거대한, 보이지 않는 주방이라고 생각해 보세요. 이 주방 안에서 로봇이 하는 모든 생각은 특정한 '풍미'를 가지고 있습니다.

로봇이 창의적인 전문가처럼 생각할 때, 로봇의 생각에는 "매콤하고 예술적인" 풍미가 더해집니다.
로봇이 환경 운동가처럼 생각할 때, 로봇의 생각에는 "초록빛의, 흙 내음 나는" 풍미가 더해집니다.

과거에는 이 두 가지 풍미를 얻기 위해 로봇에게 번갈아 가며 생각하게 하거나 두 대의 로봇이 따로 요리하게 해야 했습니다. 하지만 BILLY는 영리하게도 이 풍미들의 레시피를 추출합니다. 즉, 로봇이 창의적일 때의 뇌 상태와 친환경적일 때의 뇌 상태가 각각 어떤 모습인지 정확히 측정합니다. 이 측정값을 **"페르소나 벡터(Persona Vectors)"**라고 부릅니다.

2. "스무디" 믹스 (The "Smoothive" Mix)

일단 BILLY가 창의적인 전문가와 환경 운동가의 레시피(벡터)를 확보하면, 로봇들에게 대화를 시키는 대신 레시피를 서로 섞어버립니다 (하나의 병합된 벡터로 만듭니다).

매콤한 소스 한 컵과 초록색 소스 한 컵이 있다고 상상해 보세요. 두 명의 요리사가 이 소스들을 어떻게 섞을지 논쟁하게 하는 대신, BILLY는 그냥 두 컵을 블렌더에 붓고 완벽하게 섞어서 하나의 새롭고 독특한 소스를 만들어냅니다.

3. "넛지" (The "Nudge")

당신이 로봇에게 질문을 던질 때(예: "도시 공원을 재설계해줘"), BILLY는 이 "슈퍼 레시피"를 가지고 로봇이 생각을 시작하는 순간 로봇의 뇌를 부드럽게 밀어줍니다(nudge).

이는 마치 로봇에게 "창의성"과 "지속 가능성"이라는 두 방향으로 동시에 아주 작고 보이지 않는 밀기(push)를 주는 것과 같습니다.
로봇은 자신이 이런 처치를 받고 있다는 사실을 알 필요가 없습니다. 로봇은 그저 전문가 팀으로부터 나온 듯한 아이디어들을 자연스럽게 생성하기 시작하며, 이 모든 과정은 단 한 번의 빠른 과정(single pass)으로 이루어집니다.

왜 이것이 더 나은가요?

속도: 이는 페퍼로니 피자와 채소 피자를 모두 완벽하게 만들 줄 아는 한 명의 셰프에게 주문하는 것과 같습니다. 두 명의 셰프가 토핑을 두고 싸우게 하는 것보다 25배 더 빠릅니다.
비용: 단 한 대의 로봇만 사용하고 로봇이 스스로와 몇 시간 동안 대화하게 만들지 않기 때문에, 막대한 비용을 절감합니다 (95% 이상의 비용 절감).
품질: 이 논문은 창의력 퍼즐(예: "숟가락의 특이한 용도 찾기")을 통해 테스트를 진행했습니다. BILLY는 혼자서 두 사람인 척 노력하는 단일 로봇보다 더 독창적이고 상세한 아이디어를 만들어냈으며, 느리고 비싼 팀 방식보다도 더 뛰어난 결과를 보여주었습니다.

"제어"의 마법 (The "Magic" of Control)

이 논문은 이 방법이 매우 투명하다는 점도 보여줍니다. BILLY는 말 그대로 로봇의 뇌 속에 있는 특정 "풍미"(벡터)를 섞는 것이기 때문에, 최종 답변에 "창의적" 풍미와 "환경적" 풍마가 각각 얼마나 들어있는지 정확히 확인할 수 있습니다.

단순히 말(프롬프트)로 로봇에게 "창의적이고 친환경적으로 행동해줘"라고 요청하면, 로봇은 종종 혼란을 느끼거나 한쪽 부분을 잊어버리곤 합니다. 하지만 BILLY의 "풍미 혼합" 방식을 사용하면, 로봇은 두 역할 사이에서 완벽한 균형을 유지하며, 긴 회의의 골칫거리 없이도 두 마음이 진정으로 섞인 결과를 만들어냅니다.

요약하자면: BILLY는 답변을 시작하기 전, 로봇의 "뇌 상태"를 직접 섞어줌으로써 단 한 대의 AI가 마치 전문가 팀 전체처럼 생각하게 만드는, 훈련이 필요 없는 빠르고 저렴한 방법입니다.

기술 요약: BILLY (Large Language model의 창의성을 위한 페르소나 벡터 혼합 기술)

문제 정의

다중 LLM 시스템은 반복적인 토론을 통해 인간의 집단 지성을 시뮬레이션함으로써 창의성을 향상시킬 수 있는 잠재력을 보여주었으나, 심각한 실질적 한계점을 가지고 있다. 여기에는 높은 계산 비용, 다회차 토큰 교환으로 인한 추론 지연 시간 증가, 그리고 집단적 출력이 개별 기여의 합을 넘어서지 못하게 만드는 "프로세스 손실(process loss)" 및 조정의 비효율성이 포함된다. 반대로, 프롬프트 엔지니어링(예: 하나의 모델에게 동시에 여러 역할을 수행하도록 요청하는 방식)에 의존하는 단일 모델 접근법은 단일 응답 내에서 다양한 관점을 일관되게 통합하는 데 어려움을 겪으며, 종종 일관성이 없거나 피상적인 결과로 이어진다. 본 연구가 다루는 핵심 과제는 추가적인 모델 학습이나 다중 에이전트 통신의 오버헤드 없이, 단일 LLM 내에서 어떻게 효율적으로 다양하고 다각적인 협업을 시뮬레이션할 것인가 하는 점이다.

방법론

저자들은 모델의 활성화 공간(activation space) 내에서 서로 다른 페르소나 벡터를 직접 혼합함으로써 단일 거대 언어 모델(LLM)을 제어하는 BILLY라는 학습이 필요 없는(training-free) 프레임을 제안한다. 이 접근 방식은 세 가지 주요 단계로 구성된다:

페르소나 벡터 추출:
대조적 활성화 방법(contrastive activation method)을 사용하여 특정 페르소나(예: "창의적인 전문가", "환경론자")를 나타내는 방향성 벡터를 추출한다. 이를 위해 각 페르소나 $P$ 에 대해 두 가지 데이터셋을 큐레이션한다: 모델이 해당 페르소나의 특성을 보이는 긍정적 표현 세트( $D^+_P$ )와 중립적이거나 베이스라인인 응답을 포함하는 부정적 표현 세트( $D^-_P$ ). 레이어 $l$ 에서의 페르소나 벡터 $\vec{v}^{(l)}_P$ 는 이 두 세트의 평균 토큰 평균 잔차 스트림(residual stream) 활성화의 차이로 계산된다:
$\vec{v}^{(l)}_P = \frac{1}{|D^+_P|} \sum_{x \in D^+_P} \vec{a}^{(l)}(x) - \frac{1}{|D^-_P|} \sum_{x \in D^-_P} \vec{a}^{(l)}(x)$
오프라인 퓨전(Offline Fusion):
온라인 상호작용이 필요한 다중 에이전트 시스템과 달리, BILLY는 추출된 여러 페르소나 벡터를 오프라인에서 하나의 합성 스테어링 벡터( $\vec{v}_{merged}$ )로 융합한다. 이는 단순히 개별 벡터들을 평균내는 방식으로 이루어진다:
$\vec{v}^{(l)}_{merged} = \frac{1}{N} \sum_{i=1}^{N} \vec{v}^{(l)}_i$
이 합성 벡터는 잠재 공간(latent space) 내에서 다면적인 관점을 캡슐화한다.
추론 시 스테어링(Inference-Time Steering):
생성 과정 중에, 합성 벡터는 실험적으로 설정된 특정 레이어 $l$ (실험적으로 레이어 20으로 설정됨)에서 스케일링 계수 $\alpha$ (실험적으로 2.0으로 설정됨)와 함께 모델의 활성화에 더해진다:
$\vec{a}^{(l)}_{steered} = \vec{a}^{(l)}_{original} + \alpha \cdot \vec{v}^{(l)}_{merged}$
이 연산은 모델의 가중치를 변경하거나 추가 학습을 요구하지 않고도, 모델의 내부 상태를 융합된 관점 쪽으로 유도한다.

주요 기여

본 논문은 세 가지 주요 기여를 명시한다:

창의성 향상: BILLY는 창의성 지향 벤치마크에서 단일 모델 프롬프팅 및 전통적인 다중 LLM 접근 방식을 능가하는 다양하고 다각적인 응답 생성을 가능하게 한다.
효율성 및 단순성: 이 프레임워크는 완전히 학습이 필요 없으며 다중 LLM 간의 통신을 제거한다. 이는 훨씬 낮은 계산 및 토큰 비용으로 경쟁력 있거나 우수한 창의적 성능을 달ien한다.
해석 가능성: 잠재 활성화 공간에서 작동함으로써, BILLY는 창의성을 제어하는 투명한 메커니즘을 제공한다. 저자들은 별개의 페르소나 벡터를 혼합하여 생성의 보완적인 측면(예: 스타일 대 내용)을 미세하게 제어할 수 있음을 입증했다.

실험 결과

저자들은 Wallach-Kogan 창의성 테스트에서 파생된 네 가지 창의성 벤치마크인 AUT(대안적 용도), INSTANCES, SIMILARITIES, SCIENTIFIC를 통해 BILLY를 평가하였다. 평가는 세 가지 베이스 모델(Qwen-2.5-7B, Llama-3.1-8B, Gemma-3-4B)을 사용하였으며, GPT-4o-mini 기반의 LLM 판사 및 인간 평가자를 통해 독창성(Originality) 및 정교함(Elaboration) 점수를 측정하였다.

성능: BILLY는 단일 에이전트(SA), 높은 온도의 디코딩을 사용하는 SA, 다중 역할 프롬프팅을 사용하는 SA(SA-MRP), 그리고 다중 에이전트 "LLM 토론" 프레임워크를 포함한 모든 베이스라인보다 높은 독창성 점수를 일관되게 달성하였다. 또한 경쟁력 있거나 더 우수한 정교함 점수를 유지하였다.
효율성: BILLY는 LLM 토론 방식보다 약 25배 빠른 추론 시간을 보여주었으며, 다중 에이전트 베이스라인에 비해 토큰 비용을 95% 이상 절감하였다.
분석:
- 벡터 구성: 벡터 병합은 일정 수 이상의 페르소나(예: 3~4개)를 넘어설 때 수익 체감(diminishing returns) 현상을 보였는데, 이는 이점이 순수하게 가산적(additive)이지 않음을 시사한다.
- 스테어링 정렬: 투영 분석(Projection analysis) 결과, 프롬프트 기반의 다중 역할 프롬프팅(SA-MRP)은 잠재 공간에서 의도된 모든 페르소나를 일관되게 활성화하는 데 실패한 반면, BILLY는 여러 페르소나를 성공적으로 공동 활성화하여 우수한 제어 가능성을 입증하였다.
- 질적 융합: 사례 연구에 따르면, 병합된 벡터는 한 페르소나(예: 환경론자)의 실질적인 내용과 다른 페르소나(예: 창의적인 전문가)의 스타일적 매력을 성공적으로 합성하였으나, 프롬프트 기반 방식은 종-종 분석적이거나 분절된 출력을 냈다.

의의 및 주장

본 논문은 BILLY가 단일 모델 내에서 다중 LLM 협업의 이점을 포착함으로써 실시간 창의적 생성을 위한 실용적인 솔루션을 제공한다고 주장한다. 저자들은 자신들의 방법이 창의성 작업과 관련된 추론 시간 및 토근 비용을 크게 줄이면서도, 활성화 스테어링을 통해 다중 에이전트 시스템의 창의적 이점을 효과적으로 포착할 수 있음을 보여준다고 설명한다. 나아가, 복합 페르소나 벡터를 이용한 활성화 스테어링은 모델의 내부 상태를 직접 조작하여 복잡하고 다면적인 페르소나와 정렬시키기 때문에, 다중 역할 수행 프롬프팅보다 우수한 제어력과 해석 가능성을 제공한다고 제안한다. 저자들은 현재 방식이 벡터 융합을 위해 단순 평균을 사용하고 있으나, 향후 연구에서는 페르소나 간의 비선형적 상호작용을 더 잘 관리하기 위해 더 정교한 구성 기법을 탐구할 수 있다고 밝히고 있다.