기술 요약: CreativityNeuro

문제 정의

대규모 언어 모델(LLM)은 개방형 질문에 대해 지속적으로 유사하고 균질화된 응답을 생성하는 "인공적 하이브마인드 효과(artificial hivemind effect)"라 불리는 현상을 보입니다. 이러한 동작은 창의성의 핵심 요소인 확산적 사고(divergent thinking)—문제에 대해 여러 다양한 솔루션을 생성하는 능력—를 제한합니다. 프롬프팅, 디코딩 파라미터 조정(예: temperature), 활성화 스티어링(activation steering)과 같은 기존의 창의성 향상 방법들은 행동 데이터셋을 필요로 하거나, 그래디언트 기반의 미세 조정이 필요하거나, 혹은 서로 다른 창의적 작업 전반에 걸쳐 일반화되지 못한다는 한계가 있습니다. 또한, 창의적 행동이 모델의 가중치 공간 내에서 사실적 추론과 분리 가능한지에 대한 이해도 부족한 상태입니다.

방법론: CreativityNeuro

저자들은 확산적 사고를 증폭시키기 위해 LLM의 가중치를 스티어링하는 데이터 프리(data-free) 방식인 **CreativityNeuro (CN)**를 소개합니다. 행동 데이터나 그래디언트 업데이트에 의존하는 이전 방식들과 달리, CN은 대조적 프롬프트 세트를 기반으로 모델의 가중치 공간 내 특정 파라미터를 식별하고 스케일링함으로써 작동합니다.

핵심 알고리즘

이 방법은 세 단계의 프로세스(알고리즘 1에 상세 기술)를 따릅니다:

1. 대조적 프롬프트 세트(Contrastive Prompt Sets): 구조화된 데이터셋(추론을 위한 MATH와 같은)에 의존하는 대신, CN은 스타일(예: 스토리텔링, 아이디어 구상, 최소한의 지시문—"Surprise me" 대 "Be precise")을 아우르는 6개의 대조적 프롬프트 세트를 활용합니다.
2. 파라미터 중요도 점수 산출(Parameter Importance Scoring): Wanda 방식의 스코어링 메커니즘을 사용하여, 각 레이어 $\ell$의 가중치에 대한 중요도 점수($S_{\ell,ij}$)를 계산합니다. 이 점수는 가중치 크기와 프롬프트 세트의 토큰들에 걸친 활성화 노름(activation norm)의 곱이며, 다음과 같이 합산됩니다:
   $$S_{\ell,ij} = \sum_{b,t} |W_{\ell,ij}| \cdot \|x^{(b,t)}_{\ell,j}\|^2$$
   점수는 창의적($P_{cre}$) 프롬프트와 비창의적($P_{non-cre}$) 프롬프트에 대해 각각 별도로 계산됩니다.
3. 가중치 선택 및 스케일링(Weight Selection and Scaling): CN은 창의적 중요도가 높은 상위 $\rho$ 퍼센트의 가중치 중 비창의적 프롬프트의 상위 $\rho$ 퍼센트에 포함되지 않는 가중치($C_\ell \setminus N_\ell$)를 선택하여 창의성 특화 파라미터를 격리합니다. 선택된 가중치들은 추론 시 $(1 + \alpha)$ 인자로 스케일링됩니다.

이 접근 방식은 행동 생성, 점수가 매겨진 응답, 또는 레이블이 지정된 예시를 전혀 필요로 하지 않는 완전한 데이터 프리 방식입니다.

주요 기여

본 논문은 다섯 가지 주요 기여를 명시합니다:

1. 데이터 프리 스티어링(Data-Free Steering): 행동 데이터셋이나 재학습 없이 창의적 행동을 스티어링하는 방법론인 CreativityNeuro를 도입했습니다.
2. 확산적 연상 과제(DAT) 개선: CN이 프롬프팅, 샘플링 파라미터 변형, 활성화 스티어링을 포함한 베이스라인들을 능가하여 DAT 점수를 유의미하게 향상시킨다는 것을 입증했습니다.
3. 복잡한 과제로의 일반화: Alternative Uses Test (AUT) 및 Task Task (TT)에 대한 대규모 인간 평가($N=720$)를 통해 독창성, 놀라움, 창의성 측면에서의 개선을 검증했습니다.
4. 모드 붕괴(Mode Collapse) 감소: CN이 단어 수준(DAT) 및 응답 수준(AUT/TT)의 모드 붕괴를 모두 감소시킨다는 증거를 제시했습니다.
5. 가중치 공간 얽힘(Weight Space Entanglement): 확산적 사고와 사실적 추론은 가중치 공간 내에서 분리 불가능하다는 점을 발견했습니다. 즉, 이들을 격리하려는 시도는 두 영역의 성능을 모두 저하시킵니다.

실험 결과

1. 확산적 연상 과제 (DAT)

6개의 인스트럭트 튜닝된 모델(3B에서 14B 파라미터 범위의 Phi, Llama, Qwen 제품군)을 대상으로 평가했습니다:

• 성능: CN은 DAT 성능을 최대 **14 휴먼 퍼센타일(human percentile)**까지 향상시켰습니다.
• 비교: CN은 평균 94.1의 휴먼 퍼센타일을 달성하여, 활성화 스티어링(93.9)을 약간 상회하였으며 프롬프팅 및 샘플링 베이스라인보다 크게 우수한 성능을 보였습니다.
• 데이터 효율성: 스티어링 벡터를 구축하기 위해 점수가 매겨진 행동 데이터가 필요한 활성화 스티어링과 달리, CN은 오직 프롬프트 쌍만을 사용하여 더 우수한 결과를 달성했습니다.

2. Alternative Uses Test (AUT) 및 Task Task (TT)

독창성, 놀라움, 유용성 및 창의성을 평가하기 위해 대규모 인간 평가($N=720$)를 수행했습니다:

• AUT: CN은 독창성(평균 코헨의 $d = +0.36$)과 놀라움($d = +0.43$) 측면에서 일관되게 긍정적인 효과를 보였습니다.
• TT: CN은 독창성($d = +0.40$)에서 강한 이득을 보였고, 창의성($d = +0.24$)에서도 완만한 개선을 보였습니다.
• 일반화: 활성화 스티어링은 DAT에서는 CN과 대등한 성능을 보였으나, AUT 및 TT로 일반화하는 데 실패했습니다. 이는 보지 못한 복잡한 창의적 과제에 대해 가중치 공간 스티어링이 활성화 스티어링보다 우월함을 강조합니다.
• 트레이드오프: CN은 AUT에서 유용성 점수를 감소시켰는데, 이는 창의적 생성에 내재된 참신함-유용성 간의 트레이드오프에 따른 예측 가능한 결과입니다.

3. 모드 붕괴 (Mode Collapse)

• DAT: CN은 상위 10개 빈도 단어에 대한 확률 질량을 10.2 퍼센트 포인트 감소시켰으며, 어휘 엔트로피를 10% 증가시켰습니다.
• AUT/TT: CN은 문장 및 단락 길이 응답에서의 문맥적 반복과 모델 간 동질성을 감소시켜, 문맥적 모드 붕괴를 줄임을 입증했습니다.

4. 확산적 사고와 사실적 추론의 분리 가능성

저자들은 창의적 가중치를 사실적 추론 가중치로부터 격리할 수 있는지 조사했습니다 (MMLU 벤치마크로 테스트):

• 발견: 확산적 사고와 사실적 추론은 가중치 공간 내에서 기능적으로 얽혀(functionally entangled) 있습니다.
• 증거: 창의적 마스크를 줄임에도 불구하고, MMLU 관련 가중치를 제외하여 MMLU 성능을 보호하려는 시도가 오히려 MMLU 점수의 추가적인 저하를 초래했습니다. 이는 창의성을 유도하는 파라미터가 사실적 정확성을 유도하는 파라미터와 깊게 얽혀 있음을 시사합니다.

의의 및 주장

본 논문은 CreativityNeuro가 창의적 영역에서 LLM의 성능을 향상시키기 위한 간결하고 데이터 프리한 메커니즘을 제공한다고 주장합니다. 주요 의의는 다음과 같습니다:

• 일반화: 가중치 공간 스티어링이 활성화 스티어링이 실패하는 미지의 창의적 과제(AUT, TT)에서도 일반화될 수 있음을 증명했습니다.
• 효율성: 미세 조정이나 행동 데이터셋 수집의 계산 비용이나 데이터 요구 사항 없이 최첨단 창의적 성능을 달성했습니다.
• 기계적 통찰: 창의성과 사실적 추론이 현재의 LLM 아키텍처에서 모듈식으로 분리될 수 없음을 보여주는 증거를 제공하며, 이는 향-후 연구가 멀티 에이전트 시스템이나 통합된 인자 표현(unified factored representations) 등을 통해 해결해야 할 근본적인 아키텍처적 제약임을 시사합니다.

저자들은 결론적으로 CN이 확산적 사고를 효과적으로 개선하고 균질화를 줄이지만, 창의적 가중치와 사실적 가중치의 얽힘은 미래 연구가 다루어야 할 근본적인 아키텍처적 제약으로 남아 있다고 설명합니다.