GENIE: A Fine-Grained Measure for Novelty

기술 요약: GENIE: 미세한 수준의 참신함 측정을 위한 척도

문제 정의

대규모 언어 모델(LLM)은 출력물에서 일관되게 창의성과 다양성 부족을 드러내 왔다. 선행 연구들은 모델이 어휘-의미론적 접근 방식, 창의성 테스트, 그리고 인간 전문가를 통해 다양한 출력을 생성하는 데 어려움을 겪는다는 점을 입증했지만, 기존의 평가 방법들은 모델이 특정 작업에서 정확히 어느 부분에서 창의성이 결여되었는지 분리하여 파악하지 못한다.

현재의 참신함 및 창의성 지표는 대부분 **전체론적(holistic)**이며, 단일 스칼라 점수를 생성한다. 이러한 접근 방식은 참신함의 고차원성을 포착하는 데 어려움이 있으며, 왜 특정 응답이 참신하거나 그렇지 않은지에 대한 설명을 제공하지 못한다. 예를 들어, 어떤 응답은 설정(setting)은 독특하지만 줄거리(plot)는 평범할 수 있는데, 전체론적 지표는 이러한 미세한 차이를 구별할 수 없다. 또한, 많은 기존 지표는 참신함을 품질이나 미적 가치와 같은 다른 구성 요소와 혼동하거나, 명시적인 모집단(population)보다는 암묵적인 참조점(예: 사전 학습 코퍼스)에 의존한다.

방법론: GENIE 프레임워크

저자들은 사용자 정의 모집단(population)의 응답과 비교하여 작업별 특징을 추출함으로써 참신함의 미세한 뉘우를 정량화하도록 설계된 GENIE(Granular Evaluation of Novel Ideas with Explainability, 설명 가능한 참신한 아이디어의 세밀한 평가) 프레임워크를 제안한다.

핵심 구성 요소

1. 특징 발견(Feature Discovery): 특징을 수동으로 정의하는 대신, GENIE는 LLM에게 특징 설명을 생성하도록 유도하여 작업별 축(feature)을 자동으로 발견하며, 이를 클러스터링하여 집합 $F = \{f_1, ..., f_N\}$을 형성한다.
2. 질문 생성 및 매핑(Question Generation and Mapping): 이러한 특징들을 특정 프롬프트에 접지(grounding)하기 위해, GENIE는 주어진 프롬프트 $p$에 대해 질문 집합 $Q$를 생성한다. 이 질문들은 발견된 특징들에 매핑된다. 이 과정은 질문이 가능한 세계를 특정 특징 값에 대응하는 부분 공간으로 분할한다는 "질문의 대안적 의미론" 관점을 활용한다.
3. 모집단 기반 점수 산정(Population-Based Scoring): GENIE는 다양한 모델이 생성한 문서들의 명시적 모집단 $D_{pop}$에 상대적인 참신함을 측정한다.
   • 대상 문서 $d_t$에 대해, 시스템은 매핑된 질문들에 대한 답을 추출하여 특징 값을 도출한다.
   • 대상의 답변과 모집단 문서들의 답변 사이의 **비유사성(dissimilarity)**을 계산한다.
   • 특징 $f$에 대한 참신함 점수는 해당 특징에 매핑된 모든 질문에 걸친 평균 쌍별 비유사성이다.
4. 출력(Output): 전체론적 지표와 달리, GENIE는 각 특징(예: 설정, 줄거리, 캐릭터)에 대한 참별 참신함 점수인 벡터를 출력하여, 어떤 특정 측면이 참신한지에 대한 설명 가능성을 제공한다.

창의적 글쓰기에서의 구현

본 논문은 GENIE를 장문 이야기 생성 영역에 적용하여 구체화한다.

• 특징(Features): 자동 발견 및 클러스터링을 통해 저자들은 **행위자(Agent), 관점(Perspective), 줄거리(Plot), 설정(Setting), 사회적 분위기(Social Atmosphere), 스타일(Style)**과 같이 확립된 분류 체계에 부합하는 특징들을 식별했다.
• 데이터: 연구에는 50개의 개방형 프롬프트에 대해 40개의 모델이 생성한 약 10,000개의 문서를 활용했다. 21개 모델에서 추출한 3,404개의 문서를 구성하여 참조용 모집단을 구축하였고, 18개의 대상 모델을 이 모집단에 대해 평가하였다.
• 비유사성: 답변 간의 유사성은 Qwen2.5-32B-Instruct를 사용하여 4점 리커트 척도로 판단하였으며, 이를 통해 유사성을 비유사성($1 - similarity$)으로 변환하였다.

주요 결과

1. 민감도 및 강건성

저자들은 GENIE의 타당성을 테스트하기 위해 인과적 개입 연구를 수행했다:

• 민감도(Sensitivity): 문서 내의 특정 특징(예: 줄거리 또는 설정)을 정교하게 편집했을 때, GENIE는 해당 특정 특징들의 참신함 점수에서 통계적으로 유효한 변화를 성공적으로 감지했다.
• 강건성(Robustness): 문장이 구절은 다르지만 의미는 동일하게 패러프레이징(paraphrased)되었을 때, GENIE는 점수의 유의미한 변화를 보이지 않았으며, 이는 표면적인 변화에 대한 강건성을 입증한다.
• 비교: 이와 대조적으로, 코사인 거리(Cosine Distance) 및 NoveltyBench와 같은 전체론적 지표들은 어휘적으로 민감하거나(강건성 테스트 실패) 부차적인 속성을 포착하는 것으로 나타났다. 예를 들어, 코사인 거리는 서로 다른 유형의 콘텐츠 개입(예: 줄거리 vs 스타일)을 구분하지 못하거나 패러프레이징에 민감하게 반응했다.

2. 완화 방법론의 평가

GENIE는 모델의 창의성을 향상시키기 위해 설계된 방법들(예: Verbalized Sampling, Outlining, Negative Sampling, Conformative Decoding)을 평가하는 데 사용되었다.

• 미세한 통찰: 전체론적 지표는 특정 방법이 일반적으로 "창의성"을 개선한다고 제안할 수 있지만, GENIE는 특정 방법이 특정 특징을 개선한다는 점을 밝혔다. 예를 들어, Outlining은 **관점(Perspective)**과 **스타일(Style)**을 크게 개선한 반면, Conformative Decoding은 **설정(Setting)**을 개선했다.
• 아티팩트 탐지: 이 프레임워크는 Verbalized Sampling과 같은 일부 방법이 불균형하게 짧은 응답을 생성하여, 전체 길이의 이야기를 담은 모집단과 비교했을 때 참신함 점수를 왜곡할 수 있음을 강조했다. 이는 모집단 정렬(population alignment)의 중요성을 시사한다.

3. 내적 타당성 검증

인간 연구를 통해 파이프라인의 구성 요소들을 검증했다:

• 질문 생성: 질문의 유효성에 대해 인간 주석가와 중간 이상의 높은 일치도를 보였다.
• 특징 매핑: 생성된 질문을 올바른 특징에 매핑하는 데 있어 높은 정확도를 보였다.
• 유사성 판단: 비유사성 점수 산정에 사용된 LLM(Qwen2.5-32B)은 인간의 합의와 강한 상관관계를 보여 자동화된 점수 산정 메커니즘의 타당성을 입증했다.

의의 및 주장

본 논문은 GENIE가 LLM 창의성 평가에 대한 **진단적 렌즈(diagnostic lens)**를 제공한다고 주장한다. 주요 의의는 다음과 같다:

1. 설명 가능성(Explainability): 단순한 "블랙박스" 스칼라 점수를 넘어, 어떤 작업별 속성(예: 줄거리 vs 설정)이 응답의 참신함에 기여하는지를 식별한다.
2. 참신함과 품질의 분리: 특징 추출을 작업에 결합하고 상대적 비유사성을 측정함으로써, GENIE는 참신함을 미적 가치나 품질로부터 격리하여, 두 차원을 혼동하는 지표의 한계를 해결한다.
3. 도메인 불가지론(Domain Agnosticism): 창의적 글쓰기에서 입증되었으나, 본 프레임워크는 특징 집합을 재정의함으로써 과학적 발견이나 다른 작업에도 적응할 수 있도록 설계된 도메인 불가지론적 구조를 갖는다.
4. 개선된 완화 분석: 창의성 완화 방법들이 어떻게 작동하는지에 대한 더 정밀한 이해를 가능하게 하며, 이러한 방법들이 창의성이라는 단일 개념이 아닌 특정 차원을 목표로 한다는 것을 밝혀낸다.

저자들은 파이프라인의 계산 비용(특징 발견, 질문 생성, 점수 산정을 위한 다수의 LLM 호출 필요)과 현재 검증이 주로 창의적 글쓰기 영역 내에서 이루어졌다는 점을 언급하며 한계를 인정한다. 그들은 이 방법이 추가 검증 없이 모든 도메인에 완벽하다고 주장하는 것이 아니라, 표면적인 대리 지표를 넘어서기 위해 이러한 비용이 정당하다고 상정한다.