💬 NLP

Diverse, not Short: A Length-Controlled Data Selection Strategy for Improving Response Diversity of Language Models

이 논문은 언어 모델의 짧은 출력물에 대한 체계적 편향을 완화하여, 품질을 유지하면서도 다양한 창의적 작업 전반에서 응답의 다양성과 표현력을 크게 향상시키는 길이 제어형 데이터 선택 전략인 Diverse-NS를 소개한다.

원저자: Vijeta Deshpande, Debasmita Ghose, John D. Patterson, Roger Beaty, Anna Rumshisky

게시일 2026-02-02

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Vijeta Deshpande, Debasmita Ghose, John D. Patterson, Roger Beaty, Anna Rumshisky

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

문제점: "짧고 지루한" 함정

당신에게 매우 재능 있는 작가(거대 언어 모델)가 있다고 상상해 보세요. 이 작가는 유익하고, 안전하며, 예의 바르게 행동하도록 훈련받았습니다. 당신은 그에게 이야기를 써달라고 요청합니다.

문제는, 작가가 "완벽"하고 안전해지려고 노력하는 과정에서 마치 시험을 치르는 불안한 학생처럼 행동하기 시작했다는 점입니다. 그들은 짧은 답변이 더 좋은 답변이라고 생각하기 때문에 길게 쓰는 것을 두려워합니다.

왜 그럴까요? 그들의 결과물을 채점하는 도구(다양성 지표)들이 고장 났기 때문입니다. 이 도구들은 마치 3단어짜리 문장이 30단어짜리 문단보다 더 "창의적"이라고 생각하는 심판과 같습니다. 작가는 이를 눈치채고, 좋은 점수를 받기 위해 당신에게 짧고 안전하며 반복적인 답변만을 내놓기 시작합니다.

저자들은 이를 **"간결성 편향(Brevity Bias)"**이라고 부릅니다. 이는 마치 요리사가 맛을 보는 사람이 담백한 음식만 좋아한다는 이유로 양념을 넣는 것을 그만두는 것과 같습니다. 그 결과, AI는 창의성과 표현력이 떨어지게 되며, 결국 모든 AI의 출력물이 똑같이 들리게 되는 현상(이를 "모델 붕괴"라고 합니다)이 발생합니다.

해결책: "짧은 것이 아니라 다양한 것" (Diverse, not Short - Diverse-NS)

저자들은 **"짧은 것이 아니라 다양한 것(Diverse, not Short, 이하 Diverse-NS)"**이라는 새로운 전략을 만들었습니다. 이것은 고장 난 채점 시스템을 바로잡는 작가를 위한 새로운 훈련 프로그램이라고 생각하면 됩니다.

작동 방식은 다음과 같습니다.

"두 가지 초안" 게임:
연구진은 AI에게 이야기를 두 번 쓰도록 요청합니다.
- 초안 A: AI가 자연스럽게 씁니다 (기본적인, 종종 지루한 스타일).
- 초안 B: AI에게 특정 규칙을 적용하여 다시 쓰도록 요청합니다: "더 흥미롭고 다양하게 만들되, 초안 A와 정확히 같은 길이로 유지할 것."
"공정한 심판" 필터:
보통 더 창의성을 요구하면 텍스트가 길어집니다. 하지만 연구진은 엄격한 규칙을 세웠습니다. 만약 초안 B가 초안 A보다 길다면, 버리십시오.
그들은 "더 창의적인" 버전이 "지루한" 버전과 거의 같은 길이를 유지하는 쌍(pair)만을 남깁니다. 이를 통해 AI에게 가르칩니다: "길게 늘어지지 않고도 창의적일 수 있다."
"작은 스승" 기법:
연구진은 놀라운 사실을 발견했습니다. 더 작고 저렴한 AI 모델(예: 70억 파라미터 모델)이 훨씬 더 크고 비싼 모델(예: 130억 파라미터 모델)을 위한 "다양성 스승" 역할을 할 수 있다는 것입니다.
- 비유: 작은 규모의 재기 넘치는 지역 예술가가 유명하고 거대한 자본을 가진 스튜디오에 더 독특하게 그림 그리는 법을 가르친다고 상상해 보세요. 작은 예술가는 규칙을 창의적으로 깨는 법을 알고 있고, 큰 스튜디오는 그들로부터 배웁니다. 이는 많은 비용과 컴퓨팅 자원을 절약해 줍니다.

결과: 풍미는 더하고, 크기는 그대로

연구진은 네 가지 다른 창의적 과업에 대해 이를 테스트했습니다:

확산적 연상(Divergent Associations): 서로 매우 다른 단어들을 나열하기.
페르소나 생성(Persona Generation): 독특한 캐릭터 프로필(이름, 직업, 도시) 만들기.
대안적 용도(Alternate Uses): 흔한 물건(예: 벽돌)을 사용하는 기발한 방법 생각하기.
창의적 글쓰기(Creative Writing): 세 가지 무작위 단어를 사용하여 짧은 이야기 쓰기.

어떤 결과가 나왔을까요?

더 높은 다양성: "Diverse, not Short"로 훈련된 모델은 훨씬 더 다양하고 흥여로운 결과물을 만들어냈습니다. 더 독특한 단어와 아이디어를 사용했습니다.
품질 저하 없음: 보통 무언가를 더 다양하게 만들면 품질이 떨어지기 마련입니다(마치 엉망이고 혼란스러운 이야기처럼). 하지만 여기서는 품질이 높게 유지되었습니다. 어떤 경우에는 오히려 더 좋아지기도 했습니다.
효율성: 이 새로운 기술을 가르치기 위해 단 3,000개의 예시만 필요했습니다. 이는 학생에게 몇 년 동안 가르치는 대신 몇 시간 동안 가르치는 것과 같습니다.

새로운 도구: "다양성 데실(Diversity Decile)"

저자들은 또한 기존의 창의성을 측정하는 도구들이 긴 답변에 불공평하다는 것을 깨달았습니다. 그래서 그들은 **"다양성 데실(Diversity Decile)"**이라는 새로운 자를 발명했습니다.

비유: 경주를 상상해 보세요. 기존의 자는 단순히 얼마나 빨리 달렸는지만 측정했지만, 어떤 러너는 무거운 배낭(긴 텍xt)을 메고 있고 어떤 러너는 그렇지 않다는 점을 무시했습니다.
새로운 자: "다양성 데실"은 동일한 크기의 배낭을 멘 다른 러너들과 비교하여 얼마나 빨리 달렸는지를 봅니다. 즉, "이 긴 이야기가 다른 긴 이야기들보다 더 창의적인가?"를 묻습니다. 이를 통해 길고 표현력이 풍부한 답변들이 마땅히 받아야 할 인정을 받을 수 있도록 보장합니다.

요약

이 논문은 우리가 "창의성"을 측정하는 방식이 의도치 않게 간결함을 보상하기 때문에 AI 모델들이 너무 짧고 반복적으로 변해왔다고 주장합니다.

**"짧은 것이 아니라 다양한 것(Diverse, not Short)"**이라는 전략을 통해, 저자들은 모델이 답변을 더 길게 만들지 않고도 창의적일 수 있도록 가르쳤습니다. 그들은 다음과 같이 수행했습니다:

지루한 초안과 같은 길이의 창의적인 초안을 비교했습니다.
더 작고 저렴한 AI를 사용하여 더 큰 AI에게 다양해지는 법을 가르쳤습니다.
긴 답변을 불이익 주지 않는, 더 공정한 새로운 측정 도구를 만들었습니다.

그 결과, AI는 더 표현력이 풍부하고, 더 창의적이며, 여전히 높은 품질을 유지하면서도, 훈련 비용이 저렴하고 속도가 빠른 모델이 되었습니다.

기술 요약: Diverse, not Short (Diverse-NS)

문제 정의

정렬 기술(지시어 튜닝 및 선호도 최적화)은 대규모 언어 모델(LLM)을 더 안전하고 유용하게 만들었지만, 종종 모델 출력의 다양성을 의도치 않게 감소시킨다. 이러한 다양성 감소는 창의적 아이디어 구상을 방해하고, 출력의 동질성을 높이며, 모델이 정렬된 자신의 출력물로 반복 학습될 때 발생하는 "모델 붕괴(model collapse)"로 이어질 수 있다.

이 문제에서 흔히 간과되는 중요한 혼란 변수는 **텍文本 길이(text length)**이다. 본 논문은 표준 다양성 지표(예: 엔트로피, Type-Token Ratio)와 선호도 최적화에 사용되는 보상 모델(예: ArmoRM)조차 짧은 출력물에 대해 체계적인 편향을 보인다고 주장한다. 이러한 지표들은 종종 짧은 구절에 더 높은 점수를 부여하기 때문에, 이를 최적화하는 것은 모델이 표현력을 갖추기보다는 간결해지도록 유도한다. 이러한 "간결성 편향(brevity bias)"은 모델이 길러내야 할 창의성, 특히 깊이와 미묘한 차이가 요구되는 개방형 작업에서의 창의성을 저해한다.

방법론: Diverse, not Short (Diverse-NS)

저자들은 선호되는 응답과 거부된 응답 사이의 길이 균등성을 유지하면서 응답 다양성을 개선하도록 설계된 길이 제어 데이터 선택 전략인 **Diverse, not Short (Diverse-NS)**를 제안한다. 이 프레임워크는 세 가지 주요 단계가 포함된 자기 학습 루프 내에서 작동한다.

1. 데이터 생성

저자들은 다양한 응답을 유도하기 위해 창의적 글쓰기 작업(세 가지 특정 단어를 포함하는 5문장 이야기 생성)을 활용한다.

순차적 프롬프팅(Sequential Prompting): 단일 추론 대신 두 단계의 과정을 거친다. 먼저, 모델은 자연스러운 응답( $r_1$ )을 생성한다. 그 다음, 모델은 반복을 줄이고 다양성을 높이는 것을 목표로 하는 추가 제약 조건을 적용하여 이야기를 다시 작성하도록 프롬프트되어 두 번째 응답( $r_2$ )을 생성한다.
규모(Scale): 이 과정은 LLaMA-3.1-8B와 Olmo-2-7B 모두에 대해 (프롬프트, $r_1$ , $r_2$ )의 200,000개 튜플을 생성한다.

2. 데이터 필터링 (핵의 혁신)

Direct Preference Optimization(DPO)를 위한 고품질 선호 쌍을 만들기 위해, 저자들은 다음 네 가지 엄격한 기준을 순서대로 적용하여 생성된 데이터를 필터링한다:

품질 임계값(Quality Threshold): $r_2$ 의 품질은 모든 $r_1$ 품질 점수의 50 백분위수보다 크거나 같아야 한다.
품질 개선(Quality Improvement): $r_2$ 의 품질은 $r_1$ 보다 엄격히 높아야 한다.
다양성 개선(Diversity Improvement): $r_2$ 의 다양성은 $r_1$ 보다 엄격히 높아야 한다.
길이 균등성(Length Parity): $r_1$ 과 $r_2$ 사이의 단어 수 절대 차이는 최대 5단어 이내여야 한다.

이 길이 제약은 더 짧고 "쉬운" 다양한 응답이 선택되는 것을 방지하는 데 매우 중요하다.

지표: 주요 방법으로는 다양성을 위해 **엔트로피(Entropy)**를, 품질을 위해 ArmoRM 점수를 사용한다.
Diverse-NS-Lite: 계산 비용을 줄이기 위해(엔트로피와 ArmoRM 계산에는 여러 번의 추론 과정이 필요하므로), 저자들은 경량화된 변형 모델을 도입한다. 이는 Entropy를 **Type-Token Ratio (TTR)**로, ArmoRM을 MAAS 지수로 대체하며, 이 지표들은 분석 결과 원래의 지표들과 가장 높은 상관관관계를 보였다.

3. 선호도 튜닝

필터링된 데이터셋은 Direct Preference Optimization(DPO)를 사용하여 베이스 모델을 미세 조정하기 위해 3,000개의 선호 쌍으로 제한된다(엔트로피 이득에 따라 정렬하여 선택). 저자들은 또한 작은 모델(Olmo-7B)에서 생성된 데이터로 더 큰 모델(Olmo-13B)을 훈련하는 "small-to-large" 전이를 탐색한다.

4. 길이 조정 평가 (Length-Adjusted Evaluation)

평가 편향을 해결하기 위해, 저자들은 ** $\Delta$ Diversity Decile ( $\Delta$ DD)**을 도입한다.

저자들은 800,000개의 이야기를 바탕으로 디실(decile) 맵을 구축하여, 단어 수에 따라 응답을 그룹화하고 각 길이에 대한 다양성 임계값을 계산한다.
평가 중에, 새로운 응답은 해당 길이와 다양성 점수를 바탕으로 맵 상의 디실 순위가 할당된다.
$\Delta$ DD는 튜닝된 모델의 디실 점수와 베이스 모델의 디실 점수 간의 차이로 계산되며, 이를 통해 다양성 이득이 단순히 길어짐에 따른 결과물이 아님을 보장한다.

주요 기여

Diverse-NS 전략: 길이 편향을 명시적으로 제어함으로써 LLaMA-3.1-8B 및 Olmo-2-7B의 응답 다양성을 3,000개의 선호 쌍만으로 크게 향상시키는 데이터 선택 방법.
Diverse-NS-Lite: 원래의 지표와 유사한 성능을 달면서 필터링 비용을 획기적으로 줄이는 대리 지표(TTR 및 MAAS)를 사용하는 계산 효율적인 변형 모델.
Small-to-Large Transfer: 작은 모델(예: Olmo-2-7B)이 더 큰 모델(예: Olmo-2-13B)의 효과적인 "다양성 스승" 역할을 할 수 있음을 입증하여 저비용 다양성 정렬을 가능하게 함.
길이 제어 지표: 길이 편향을 방지하기 위해 텍스트 길이에 따라 다양성 점수를 조정하는 Diversity Decile 도입.
데이터셋 공개: LLaMA-3.1-8B 및 Olmo-2-7B로부터 생성된 6,000개의 선호 쌍이 담긴 고품질 데이터셋.

결과

저자들은 네 가지 창의적 생성 작업(Divergent Associations (DAT), Persona Generation (PGT), Alternate Uses (AUT), Creative Writing (CWT))에 대해 방법을 평가했다.

다양성 이득: Diverse-NS와 Diverse-NS-Lite는 모든 작업과 모델 크기에 대해 베이스 모델 및 DivPO(길이를 제어하지 않는 최근 방법)를 일관되게 능가했다.
- DAT 및 PGT 작업에서, 이 방법들은 훨씬 더 많은 고유 단어, 이름, 도시 및 직업을 생성했다.
- CWT에서, Diverse-NS는 가장 높은 Divergent Semantic Integration (DSI) 점수와 4-gram 다양성을 달-성했다.
통계적 유의성: 독립 t-검정을 통해 D-NS와 D-NS-Lite가 베이스 모델 및 DivPO보다 유의미하게 더 다양한 응답을 생성함을 확인했다(D-NS vs. Base에 대해 p < 0.001). D-NS와 D-NS-Lite 간의 차이는 통계적으로 유의하지 않았으며, 이는 Lite 버전의 효율성을 입증한다.
품질 보존: 다양성과 품질은 종종 트레이드오프 관계에 있지만, Diverse-NS는 여러 경우(예: Olmo-7B 및 Olmo-13B)에서 품질을 유지하거나 약간 개선했다. 품질이 약간 떨어지는 경우에도 절대적인 다양성 값은 베이스 모델을 초과했으며, 인간 평가를 통해 다양성 이득이 인지 가능하고 선호됨을 확인했다.
인간 평가: CWT에 대한 쌍체 비교에서, 인간 주석가들은 대다수의 경우(DivPO 대비 승률 최대 72.73%) D-NS를 베이스 모델 및 DivPO보다 선호했다.

의의 및 주장

본 논문은 길이 편향을 명시적으로 다룸으로써, 품질을 희생하지 않고 정렬된 LLM의 다양성을 높이는 실용적이고 확장 가능한 솔루션을 제공한다고 주장한다.

효율성: 이 방법은 매우 작은 데이터셋(3k 쌍)과 최소한의 훈련 시간(단일 GPU에서 2시간 미만)으로 상당한 개선을 달아낸다.
접근성: 작은 모델이 다양성 스승 역할을 할 수 있음을 보여줌으로써, 다양성 인지 정렬을 위한 자원 장벽을 낮춘다.
근본적 변화: 저자들은 이전의 다양성 개선 실패가 지표의 처리되지 않은 간결성 편향에서 기인했을 수 있다고 주장한다. 이들의 연구는 다양성을 간결함으로부터 분리함으로써 더 풍부한 언어 생성을 위한 토대를 마련한다.

저자들은 단일 다양성 지표에 대한 의존, 단일 작업(이야기 쓰기)에 집중한 점, 그리고 단일 회차의 자기 학습 조사 등의 한계를 겸허히 언급했다. 이들은 향후 연구에서 다중 지표 최적화 및 다회차 자기 학습을 탐구해야 한다고 제언한다.