기술 요약: 말로 놀고, 보상으로 발전하기

문제 정의

대규모 언어 모델 (LLM) 은 점점 더 창의성이 요구되는 복잡한 문제 해결 과제를 수행하도록 맡겨지고 있습니다. 여기서 창의성이란 방대한 해답 공간을 탐색하고 비관례적이면서도 효과적인 해답을 생성하는 능력을 의미합니다. 그러나 LLM 을 창의적으로 훈련시키는 작업은 창의성이라는 개념의 주관성 때문에 방해받습니다. 무엇이 '창의적인' 작업인지에 대한 인간의 판단은 일관성이 없어, 표준적인 인간 피드백 기반 강화 학습 (RLHF) 의 확장성을 떨어뜨리고 노이즈를 증가시킵니다. 핵심적인 과제는 값비싸고 주관적인 인간 선호도 주석에 의존하지 않고 LLM 을 진정으로 창의적으로 명시적으로 훈련시키는 방법을 찾는 것입니다.

방법론

저자들은 인간 판단의 필요성을 우회하기 위해 창의성을 객관적으로 검증 가능한 결과가 있는 게임으로 재정의하는 프레임워크를 제안합니다.

1. 훈련 환경: 코드네임스 (Codenames)
이 연구는 단어 연상 게임인 '코드네임스'를 훈련 환경으로 활용합니다. 이 게임은 본질적으로 창의적 인지의 두 가지 중심 축을 연습하게 합니다.

• 수렴적 사고: 여러 개념에 걸쳐 있는 원격 연상을 생성합니다.
• 수렴적 사고: 비타겟을 피하면서 타겟을 고유하게 식별하는 단일 최상의 연상을 선택합니다.

훈련 설정은 전체 게임을 두 개의 단일 턴 작업으로 구성된 마르코프 의사결정 과정 (MDP) 으로 단순화합니다.

• 단서 생성: 타겟 단어 집합 ($T$) 과 비타겟 단어 집합 ($N$) 이 주어졌을 때, 모델은 가능한 많은 타겟과 연결되면서 비타겟과의 연상을 피하는 단일 단서 단어 ($w_{clue}$) 를 생성합니다.
• 추측 생성: 단어 보드 ($B = T \cup N$) 와 사전 계산된 단서가 주어졌을 때, 모델은 그 단어가 어떤 단어를 지칭하는지 추측합니다.

2. 데이터 합성 및 커리큘럼
처리 가능성과 다양성을 보장하기 위해 저자들은 3,680 개의 훈련 예제로 구성된 데이터 세트를 생성했습니다. 그들은 빈도에 따라 일반 단어와 희귀 단어로 계층화된 1,000 개의 다양한 주제와 관련 단어 풀을 만들었습니다. 훈련 데이터는 난이도가 증가하는 커리큘럼을 따릅니다.

• 간단: 일반 단어에서 추출된 타겟.
• 중간/고급: 희귀 단어의 비율이 증가.
• 전문가: 비타겟 주제에서 유래한 방해 요소와 섞인 희귀 단어에서 추출된 타겟.

3. 검증 가능한 보상을 통한 강화 학습 (RLVR)
인간 피드백 대신 모델은 RLVR 을 사용하여 훈련됩니다. 고정된 '심판' 정책 (Google Gemini Flash-2.5) 이 모델의 출력을 평가합니다.

• 보상 함수: 보상은 추측 생성 루프의 정확도에 기반하여 계산됩니다. 이는 올바른 타겟 적중에는 보상을 주고, 비타겟 적중이나 보드 밖의 추측에는 패널티를 부과합니다. 보상은 $[-2, 1]$ 범위 내에서 제한됩니다.
• 알고리즘: 저자들은 GRPO 이득 추정기와 함께 DAPO(Deepseek-Adaptive Policy Optimization) 목적 함수를 사용합니다. 그들은 2 에포크 (230 업데이트 단계) 에 걸쳐 전체 파라미터 미세 조정을 사용하여 세 가지 Qwen3 모델 (1.7B, 4B, 8B) 을 미세 조정합니다. KL-발산 정규화는 사용되지 않습니다.

주요 기여

1. 검증 가능한 보상을 통한 창의성 훈련: 이 논문은 인간 선호도 주석 없이 객관적인 보상을 가진 구조화된 게임 환경을 사용하여 창의성을 효과적으로 훈련할 수 있음을 보여줍니다.
2. 규모 의존적 정밀도 - 다양성 트레이드오프: 이 연구는 모델 규모에 따라 연관성 훈련이 모델 능력에 미치는 영향이 달라진다는 중요한 발견을 제시합니다.
   • 작은 모델 (1.7B, 4B): 추론 정밀도 (수학 및 과학 과제) 에서 상당한 개선을 얻지만, 종종 창의적 다양성 (어휘 크기 및 의미적 다양성) 의 붕괴를 경험합니다.
   • 큰 모델 (8B): 추론 정밀도의 미세한 저하만 있으면서도 창의성 지표 (수렴적 사고, 내러티브 생성) 에서 일관된 개선을 얻습니다.
3. 확장 가능한 솔루션: 이 접근법은 단일 통합 훈련 레시피를 사용하여 다양한 크기의 LLM 을 강화할 수 있는 실용적인 레버를 제공합니다. 작은 모델에게는 추론 향상을, 큰 모델에게는 창의성 향상을 제공합니다.

결과

모델은 10 개의 창의성 벤치마크 (수렴/수렴적 사고, 유머, 은유, 창의적 글쓰기 포함) 와 4 개의 추론 벤치마크 (산술, 대회 수학, 대학원 과학) 에서 평가되었습니다.

• 창의성 향상: 8B 모델은 10 개 창의성 벤치마크 중 8 개에서 소폭이지만 일관된 향상을 보였습니다. 이는 수렴적 다양성 (DAT DSI 및 어휘 크기) 에서 개선된 유일한 모델이었습니다. 그러나 모델은 확장된 추론 흔적로 인해 작업 제약을 위반하는 '과도한 사고 (overthinking)' 경향으로 인해 NYT Connections에서 퇴보했습니다.
• 추론 향상: 작은 모델 (1.7B 및 4B) 은 추론 과제에서 상당한 개선을 보였습니다. 1.7B 모델은 네 가지 추론 벤치마크 모두에서 개선되었습니다 (예: AIME24 정확도가 0.43 에서 0.57 로 상승). 4B 모델은 세 가지에서 개선되었습니다. 반면, 8B 모델은 추론 성능이 하락했습니다 (예: AIME24 가 0.80 에서 0.67 로 하락).
• 메커니즘: 저자들은 이러한 분열을 연관성 학습과 RLVR 간의 상호작용으로 귀착시킵니다. 이전에 어려운 문제에 어려움을 겪었던 작은 모델들은 손에 닿는 '더 쉬운' 문제들을 높은 정밀도로 해결하는 법을 배웁니다. 이미 이러한 문제들을 해결할 능력이 있는 큰 모델들은 보상 신호에 의해 다양한 더 어려운 연상을 탐색하도록 밀려나, 엄격한 정밀도를 희생하면서 창의성을 향상시킵니다.

중요성과 주장

이 논문은 인간 판단 없이 LLM 을 창의적으로 훈련시키기 위한 확장 가능하고 효과적인 솔루션을 제시한다고 주장합니다. 창의성을 검증 가능한 보상 게임으로 재구성함으로써, 저자들은 단일 훈련 패러다임이 모델의 규모에 따라 고유하고 유익한 결과를 산출할 수 있음을 보여줍니다.

• 작은 모델의 경우, 이 방법은 정밀도 엔진으로 작용하여 추론 능력을 예리하게 합니다.
• 큰 모델의 경우, 이 방법은 다양성 엔진으로 작용하여 창의적 연상을 확장합니다.

저자들은 이러한 규모 의존적 트레이드오프가 연관성 RLVR 훈련의 핵심 속성이라고 결론지었습니다. 그들은 비용이 많이 드는 인간 주석 대신 합성 데이터와 검증 가능한 보상에 의존함으로써 창의성 연구의 자원 장벽을 낮추며, 1.7B 파라미터만큼 작은 모델에서도 접근 가능하게 만든다고 강조합니다. 이 연구는 창의적 다양성이 향상되더라도 정밀도는 트레이드오프될 수 있음을 경고하며, 이러한 모델은 의학적 또는 법적 조언과 같이 엄격한 사실적 정확성이 요구되는 맥락에서는 사용해서는 안 된다고 시사합니다.