💬 NLP

POLARIS: Guiding Small Models to Write Long Stories

이 논문은 POLARIS를 소개하는데, 이는 LLM-as-a-judge 보상과 인간 참조 주입을 결합하여 Qwen3.5-9B와 같은 소형 모델이 더 큰 모델에 필적하는 고품질의 장문 이야기를 생성하면서도 강력한 길이 준수 및 일반화 능력을 유지할 수 있도록 하는 저연산 GRPO 학습 레시피이다.

원저자: Rishanth Rajendhran, Jenna Russell, Mohit Iyyer, John Frederick Wieting

게시일 2026-06-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Rishanth Rajendhran, Jenna Russell, Mohit Iyyer, John Frederick Wieting

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다음은 창의적인 비유를 사용하여 핵심 개념을 쉽게 풀어낸 POLARIS 논문에 대한 설명입니다.

거대한 문제: 작은 작가들은 지쳐버린다

당신에게 아주 똑똑하지만 몸집이 작은 로봇 작가(소형 모델)가 있다고 상상해 보세요. 만약 이 로봇에게 짧은 단편 소설을 써달라고 하면 아주 잘 해냅니다. 하지만 긴 장편 소설을 써달라고 하면 두 가지 나쁜 일이 발생합니다.

포기한다: 이야기가 끝나기도 전에 쓰기를 멈춰버립니다.
정신을 놓는다: 이야기가 길어질수록 내용이 엉망이 되거나, 반복적이거나, 지루해집니다.

거대하고 비싼 슈퍼컴퓨터(예: "프런티어 모델")는 긴 이야기를 잘 쓸 수 있지만, 대부분의 사람들이 사용하기에는 비용이 너무 많이 듭니다. 이 논문의 저자들은 이렇게 질문했습니다. "우리는 어떻게 하면 슈퍼컴퓨터 없이도 작고 저렴한 로봇이 길고 수준 높은 이야기를 쓰도록 가르칠 수 있을까?"

해결책: POLARIS

그들은 POLARIS라는 특별한 훈련 레시피를 만들었습니다. 이것을 로봇을 위한 특별한 코칭 방법이라고 생각하면 됩니다. 단순히 로봇이 혼자 연습하게 두는 대신, 그들의 훈련 캠프에 두 가지 비밀 재료를 추가했습니다.

재료 1: "엄격한 편집자" (LLM 판사)

보통 AI를 훈련시킬 때는 단순히 "좋음" 또는 "나쁨"이라고만 말하는 단순한 "성적표"를 사용합니다. 이는 마치 선생님이 학생에게 이유도 말해주지 않고 그냥 "C 학점"이라고 성적을 주는 것과 같습니다.

POLARIS는 매우 발전된 AI인 프런티어 LLM 판사를 엄격한 편집자로 활용합니다.

작동 방식: 이 편집자는 단순히 점수만 주는 것이 아니라, 이야기를 읽고 상세한 **루브릭(Rubic, 평가 기준표)**을 작성합니다.
체크리스트: 편집자는 "캐릭터의 목소리가 뚜렷했는가?" (좋음) 또는 "이야기가 반복적이었는가?" (나쁨)와 같은 16가지 서로 다른 항목을 살펴봅니다.
비유: 유명 작가가 당신의 글을 읽고 구체적인 피드백을 주는 글쓰기 워크숍을 상상해 보세요. *"대사가 너무 딱딱해요"*라거나 *"결말이 너무 급하게 마무리되었습니다"*와 같은 메모를 남기는 것입니다. 로봇은 단순한 등급이 아니라, 이러한 구체적인 메모를 통해 배웁니다.

재료 2: "인간의 닻" (인간 참조 주입)

이것이 가장 독특한 부분입니다. 일반적인 훈련 그룹에서는 로봇이 5개의 서로 다른 이야기를 생성하면 컴퓨터가 그중 가장 좋은 것을 골라 학습합니다. 하지만 때로는 5개의 이야기 모두가 평범할 수 있으며, 이 경우 로봇은 "괜찮지만 아주 뛰어나지는 않은" 글을 쓰는 루프에 빠지게 됩니다.

POLARIS는 모든 그룹에 **인간의 닻(Human Anchor)**을 추가합니다.

작동 방식: 모든 프롬프트에 대해, 시스템은 로봇이 자신의 시도와 함께 실제 사람이 쓴 이야기를 반드시 함께 보도록 강제합니다.
비유: 학생들이 수학 문제를 풀고 있는 그룹을 상상해 보세요. 보통 그들은 서로의 답안만을 비교합니다. 하지만 이 수업에서는 선생님이 칠판에 완벽하게 풀린 예시 문제를 적어 놓습니다. 학생들은 단순히 추측하는 것이 아니라, 목표로 삼을 수 있는 "북극성"을 갖게 됩니다. 로봇이 설령 인간의 이야기를 그대로 베끼지는 않더라도, 그 고품질의 예시를 보는 것만으로도 로봇의 "야망"을 높게 유지하고 낮은 품질의 글에 안주하는 것을 방지합니다.

결과: "작지만" 강력한 한 방을 날리는 모델

저자들은 표준 90억 파라미터 모델(Qwen3.5-9B)을 가져와 이 방법을 사용하여 약 1,400개의 단편 소설로 훈련시켰습니다.

놀라운 점: 이 로봇은 단 4,000단어 길이의 이야기까지만 학습했음에도 불구하고, 품질을 잃지 않고 최대 12,000단어(3배 더 긴 길이!)까지 쓰는 법을 배웠습니다!
비교:
- 기본 모델 대비: 훈련되지 않은 버전보다 훨씬 뛰어납니다.
- 거대 모델 대비: 자신보다 3배나 더 크고(270억 파라미터) 훨씬 비싼 모델들과 거의 대등한 성능을 보여줍니다.
- "스트레스 테스트": 대부분의 소형 모델은 긴 이야기를 쓰라고 하면 무너집니다. 하지만 POLARIS는 유일하게 강한 모습을 보이며, 이야기의 일관성을 유지하고 요청된 길이를 실제로 완수해 냈습니다.

이것이 왜 중요한가

이 논문은 "길이 일반화(Length Generalization, 학습한 것보다 더 길게 쓰는 능력)"가 아주 훌륭한 스트레스 테스트라고 주장합니다.

비유: 러너에게 1마일 경주를 훈련시키면, 2마일 지점에서 지칠 수도 있습니다. 하지만 만약 그가 멈추지 않고 3마일을 달릴 수 있다면, 그것은 그가 단순히 짧은 스피드를 가진 것이 아니라 진정한 지구력을 갖추었음을 증명하는 것입니다.
POLARIS는 적절한 "코칭"(엄격한 편집자와 인간의 닻)이 있다면, 작은 모델도 거대 모델의 지구력을 가질 수 있다는 것을 증명했습니다.

요약

POLARIS는 소형 AI 모델이 길고 창의적인 이야기를 쓸 수 있도록 가르치는 영리하고 저렴한 훈련 방법입니다. 그 방법은 다음과 같습니다:

스마트한 AI 편집자로부터 상세하고 구체적인 피드백을 받습니다.
높은 목표를 유지할 수 있도록 고품질의 인간 예시를 보여줍니다.

그 결과, 적절한 코칭을 통해 작은 모델이 거대하고 비싼 모델만큼 긴 이야기를 쓸 수 있게 되었으며, 이를 실행하기 위해 슈퍼컴퓨터가 필요하지도 않습니다.

기술 요약: POLARIS – 소형 모델의 장문 이야기 작성을 위한 가이드

문제 정의

소형 오픈 웨이트 언어 모델(예: 9B 파라미터)은 장문의 창의적 글쓰기에서 심각한 어려움을 겪습니다. 상당한 길이의 이야기를 생성하도록 요청받았을 때, 이러한 모델들은 대개 두 가지 실패 모드 중 하나를 보입니다. 요청된 길이에 훨씬 못 미치거나, 생성이 진행됨에 따라 출력 품질이 급격히 저하되는 것입니다. 이는 수천 토큰에 걸쳐 일관성과 스타일을 유지하는 프론티어 모델들과 극명한 대조를 이룹니다. 기존의 장문 생성용 강화 학습(RL) 접근 방식은 거대 베이스 모델, 지속적 사전 학습, 커스텀 학습된 보상 모델 또는 방대한 데이터셋을 포함한 값비싼 인프라에 의존하는 경우가 많습니다. 본 논문은 소형 오픈 모델이 이러한 규모 없이도 이 분야에서 경쟁력을 갖출 수 있는지에 대해 질문을 던집니다.

방법론

저자들은 장문 창의적 글쓰기에 특화되어 설계된 저비용 GRPO(Group Relative Policy Optimization) 레시피인 POLARIS(LLM-as-a-judge 보상 및 Anchored-Reference Injection을 이용한 정책 최적화)를 제시합니다. 이 방법은 약 1,388개의 프롬프트-이야기 쌍(100권의 상업용 단편 소설 선집에서 추출)을 사용하여 Qwen3.5-9B 베이스 모델에 적용되었습니다.

이 레시피는 두 가지 주요 기술적 혁신에 의존합니다:

1. 구조화된 LLM-as-a-Judge 보상

별도의 스칼라 보상 모델을 훈련하는 대신, POLARIS는 각 GRPO 단계 동안 프론티어 LLM(Gemini 3 Flash)을 온라인 심사위원으로 활용합니다. 이 심사위원은 16개 차원으로 구성된 구조화된 **이야기 품질 루브릭(Story Quality rubric)**을 사용합니다:

긍정적 차원 (6개): 프롬프트 이행, 서사 구조, 캐릭터 깊이, 목소리(voice), 장면 구현, 주제적 풍부함.
부정적 차원 (10개): 프롬프트 위반, 일관성 붕괴, 일반적인 언어 사용, 과도한 요약, 과도한 설명, 구조적 표류, 대화 문제, 기계적 오류, 예측 가능성, 과장된 산문.
포괄 항목: 모델링되지 않은 탁월함이나 실패에 대한 보너스 및 페널티 항목.

원시 점수는 정규화되며, 반복, 길이 불일치, 빈 출력에 대한 보조 페널티와 결합됩니다. 결정적으로, 보상 함수에는 짧은 출력에 대한 보상 인플레이션을 방지하기 위한 아하차적(sublinear) 길이 스케일링 인자가 포함되며, 훈련을 안정화하기 위한 클리핑 메커니즘이 포함됩니다.

2. 인간 참조 주입 (Human-Reference Injection, HRI)

개방형 RL에서 발생하는 정체 현상(정책 롤아웃이 유사한 보상 점수로 수렴하여 학습이 멈추는 현상)을 해결하기 위해, 저자들은 HRI를 도입했습니다.

메커니즘: 각 GRPO 그룹에 대해, 인간이 작성한 이야기(현재 정책을 통해 교사 강제 학습된 형태)가 $(k+1)$ 번째 멤버로 삽 insersion 됩니다.
기능: 이 인간 참조 모델은 고보상 앵커 역할을 하여 그룹 내 보상 분산을 유지하고, 더 강력한 글쓰기를 향한 안정적인 그래디언트 압력을 제공합니다.
구현: 참조 모델은 정책 롤아웃과 동일한 보상 함수에 의해 점수가 매겨지지만, 그룹 평균 및 표준 편차 계산에서는 제외됩니다. 이 참조의 이점(advantage)은 데몬스트레이션 궤적으로부터의 그래디언트 기여를 완화하기 위해 웜업 스케줄에 따라 스케일링되며, 이를 통해 업데이트가 편향되지 않은 온-폴리시 추정치가 아닌, 편향된 데몬스트레이션 증강 GRPO 단계가 되도록 보장합니다.

주요 기여

저비용 레시피: 저자들은 4대의 A100 GPU(총 비용 약 $500)에서 약 48시간 동안 9B 모델을 훈련하여 경쟁력 있는 장문 글쓰기 성능을 달-성할 수 있음을 입증했습니다.
스칼라 보상 대비 구조화된 루브릭: 별도의 보상 모델 훈련 파이프라인을 사용하는 대신, 구조화된 다차원 LLM-as-a-judge를 사용함으로써 특정 서사적 품질에 대한 세밀한 피드백을 제공합니다.
인간 참조 주입(HRI): 개방형 작업에서 학습 정체를 방지하기 위한 메커니즘으로서 HRI를 도입하여, 모든 단계마다 완전한 전문가 궤적이 필요하지 않으면서도 정책 업데이트를 고정할 수 있는 간단하고 효과적인 방법을 제시했습니다.
길이 일반화: 훈련 데이터는 모두 4,000단어 이하의 이야기로 구성되어 있습니다. 그럼에도 불구하고, 결과물인 POLARIS–9B는 최대 12,000단어(훈련 길이의 3배)를 요청하는 프롬프트에 대해서도 견고한 성능을 보여줍니다.

결과

평가는 ID(In-distribution) 및 OOD(Out-of-distribution) 프롬프트와 루브릭을 아우르는 5개의 벤치마크에 걸쳐 수행되었으며, 160,000개 이상의 쌍체 비교 판단을 포함합니다.

대형 모델과의 성능 비교: POLARIS–9B는 자신보다 3배 큰 오픈 웨이트 모델(예: Qwen3.5-27B, Gemma 4 31B)과 경쟁할 만한 수준입니다. EQ-Bench Creative에서 15개 모델 중 3위를 차지했으며, 프론티어 모델(GPT-5.4, Claude Opus 4.6)과 인간 참조 모델에 이어 세 번째로 높은 순위를 기록했습니다.
길이 준수: 812k 단어에서 품질이 저하되거나 요청 길이에 못 미치는 많은 대형 오픈 웨이트 모델들과 달리, POLARI–9B는 루브릭 품질과 길이 준수를 모두 유지합니다. 이 모델은 품질 유지를 위해 훨씬 짧은 이야기를 쓰는 Gemma 4 31B와 같은 베이스라인과 달리, 812k 단어에서 0.72의 길이 준수 비율을 달성하면서도 이야기 품질을 보존합니다.
인간 평가: 60개의 프롬프트-이야기 쌍에 대한 블라인드 테스트 기반 인간 평가에서, 평가자들은 POLARIS–9B를 기본 Qwen3.5-9B보다 선호했습니다(승률 67.5%). Qwen3.5-27B와의 비교에서는 통계적으로 차이가 없었습니다(승률 51.2%). 인간의 코멘트는 POLARIS–9B의 더 강력한 분위기, 목소리, 장면 구현 능력을 강조했습니다.
실패 모드: 논문은 POLARIS–9B가 다른 모델에서 보이는 "품질 붕괴"나 "길이 폭주"는 피하지만, 스타일 과부하(전문 용어 남용 또는 무거운 문체)나 국소적 일관성 실패(세부 사항 모순)를 겪을 수 있다고 언급했습니다.

의의 및 주장

본 논문은 **길이 일반화(length generalization)**가 창의적 글쓰기 모델에 대한 의미 있는 스트레스 테스트 역할을 한다고 주장합니다. 단순히 표면적인 패턴만을 학습한 모델은 수천 토큰에 걸쳐 지속적인 서사적 일관성과 아크 완성을 요구하는 긴 이야기를 작성할 때 성능이 저하될 것입니다. 4,000단어까지의 데이터로만 훈련되었음에도 불구하고 8~12k 단어에서 강력한 루브릭 점수를 유지하는 POLARIS–9B의 능력은, HRI와 구조화된 심사위자를 결합한 제안된 GRPO 레시피가 소프트 보상(soft rewards)을 가진 개방형 작업에서 소형 모델을 정렬하는 데 효과적인 경로임을 시사합니다.

저자들은 이 연구를 "규모 우선(scale-first)" 접근 방식에 대한 실질적인 대안으로 포지셔닝하며, 적절한 훈련 레시피가 있다면 소형 오픈 웨이트 모델도 방대한 컴퓨팅 인프라나 독점 데이터 없이 대형 모델과 경쟁할 수 있음을 보여줍니다. 결과는 이 영역에서 모델 간의 차이를 구별하기 위해서는 총체적인 품질뿐만 아니라, 특히 품질과 길이 준수가 원거리 전이(far-transfer) 조건에서 어떻게 유지되는지를 평가해야 함을 시사합니다.