HoWToBench: Holistic Evaluation for LLM's Capability in Human-level Writing using Tree of Writing

1. 연구 배경 및 문제 정의 (Problem)

대규모 언어 모델 (LLM) 의 발전에도 불구하고, **고급 인간 수준의 작문 능력 (Human-level Writing)**을 평가하는 것은 여전히 큰 도전 과제로 남아 있습니다. 기존 평가 방법론에는 다음과 같은 한계가 존재합니다.

• 기존 지표의 부적절함: 전통적인 참조 기반 지표 (BLEU, ROUGE 등) 는 의미적 유사성이나 겹치는 단어를 기반으로 하므로, 창의적이고 뉘앙스가 중요한 오픈 엔디드 작문 (Open-ended writing) 을 평가하기 어렵습니다.
• LLM-as-a-Judge 의 한계 (Negotiation Inconsistency): 최근 LLM 을 평가자로 사용하는 방식은 하위 특성 (유창성, 일관성, 지시 따르기 등) 에 대한 점수를 산출한 후 이를 평균내는 방식을 취합니다. 그러나 LLM 은 평가 기준 간의 가중치를 명시적으로 설정하지 않고 암묵적으로 조정하는 과정에서 **일관성 없는 협상 (Negotiation Inconsistency)**이 발생하여, 동일한 입력에 대해 다른 결과를 도출하거나 평가 기준을 임의로 변경하는 문제가 있습니다.
• 지시 따르기 (Instruction Following) 위주의 편향: 기존 벤치마크는 명시적인 지시 충족 여부에만 집중하여, 복잡한 서사나 설득력 있는 연설과 같이 의도가 암시적인 고급 작문 능력을 제대로 평가하지 못합니다.

2. 제안 방법론 (Methodology)

저자들은 두 가지 핵심 요소를 제안합니다: ToW (Tree-of-Writing) 평가 프레임워크와 HOWTOBENCH 벤치마크입니다.

A. Tree-of-Writing (ToW) 평가 프레임워크

ToW 는 인간의 의사결정 과정을 모방하여 계층적 나무 구조를 통해 작문을 평가합니다.

• 구조: 전체 점수 (Root) 는 Content (내용), Format (형식), **Impression (인상)**이라는 3 개의 주요 노드로 분기됩니다.
  • Content: 논리, 플롯, 시작/종결, 언어 및 수사학 등 세부 특성 (Leaf nodes) 으로 구성됩니다.
  • Format: 줄거리 구조, 단락 구분, 타이틀 포맷팅 등을 평가합니다.
  • Impression: 전체적인 주관적 품질을 평가하는 리프 노드입니다.
• 가중치 할당 (Edge Weighting): 기존 방식과 달리, 각 평가 지시 (Instruction) 에 대해 Negotiator LLM이 장르와 작업 유형에 따라 각 하위 특성의 **명시적 가중치 (Explicit Edge Weights)**를 동적으로 할당합니다. 이는 암묵적인 평균화나 임의의 가중치 변경을 방지하여 평가의 투명성과 재현성을 높입니다.
• 점수 산정: DFS(깊이 우선 탐색) 를 통해 리프 노드별 점수를 산출하고, 할당된 가중치를 적용하여 최종 점수를 도출합니다.

B. HOWTOBENCH 벤치마크

LLM 의 인간 수준 작문 능력을 종합적으로 평가하기 위해 설계된 대규모 중국어 벤치마크입니다.

• 데이터 구성: 12 가지 장르 (소설, 시, 산문, 논설, 보고서, 계약서 등) 와 1,302 개의 지시문으로 구성되었습니다.
• 작업 유형 (3 단계 난이도):
  1. Completion (Level I): 주어진 문맥의 빈칸을 채우는 작업.
  2. Guide (Level II): 제공된 개요 (Outline) 를 바탕으로 글을 확장하는 작업.
  3. Open (Level III): 최소한의 지시 (주제만) 로부터 완전한 글을 생성하는 작업.
• 품질 관리: 전문가가 작성한 고품질 참조 텍스트 (Human Reference) 를 기반으로 하며, 데이터의 96.85% 가 인간 전문가에 의해 품질 검증을 통과했습니다.

3. 주요 기여 (Key Contributions)

1. ToW 프레임워크 개발: 평가 기준 간의 불일치를 해결하고, 인간 평가자와 높은 상관관계를 보이는 계층적 평가 구조를 제안했습니다.
2. HOWTOBENCH 구축: 다양한 장르와 난이도를 포괄하는 대규모 벤치마크를 공개하여, 단순한 지시 따르기 이상의 작문 능력을 평가할 수 있는 기반을 마련했습니다.
3. 새로운 통찰 도출:
   • 입력 길이와 점수의 역상관관계: Guide 및 Open 작업에서 입력/출력 길이가 길어질수록 오히려 전체 점수가 낮아지는 현상을 발견했습니다. 이는 단순히 정보를 쌓는 것 (piling up) 이 고품질 작문을 보장하지 않음을 시사합니다.
   • 강건성 (Robustness): ToW 는 텍스트의 반복 (Repetition) 이나 장르 변경 (Transfer) 과 같은 교란 요소에 대해 기존 LLM-as-a-Judge 나 BLEU 지표보다 훨씬 강건하게 반응함을 입증했습니다.

4. 실험 결과 (Results)

• 인간 평가와의 정합성: 10 개의 주요 LLM(GPT-4o, Claude-3.5, DeepSeek-R1 등) 을 대상으로 한 평가에서, ToW 는 인간 평가자의 순위와 Pearson 상관관계 0.93을 기록하여 기존 방법론 (BLEU, ROUGE, Auto-Plan 등) 보다 월등히 높은 정합성을 보였습니다.
• 모델 성능 분석:
  • GPT 시리즈 등 고성능 모델은 제한된 문맥 (Completion) 에서는 우수하지만, 정보가 제한된 오픈 엔디드 작업 (Open) 에서 성능이 급격히 하락하는 경향을 보였습니다.
  • 모델마다 장르에 대한 민감도가 높았으며 (예: 편지 작성은 잘하지만 소설은 약함), 형식 준수, 내용 품질, 창의성 간의 균형을 맞추는 데 차이가 있었습니다.
• 강건성 테스트: 텍스트에 무작위 삭제, 반복, 장르 변환 등의 교란을 가했을 때, ToW 는 점수 하락을 일관되게 반영한 반면, Auto-Plan 기반 평가나 BLEU 는 교란에 취약하거나 오히려 점수가 상승하는 비합리적인 결과를 보였습니다.

5. 의의 및 결론 (Significance)

이 연구는 LLM 의 작문 능력 평가에 있어 단순한 모방 (Mimicking) 을 넘어선 인간 수준의 뉘앙스 이해가 필요함을 강조합니다. ToW 는 평가 과정의 불투명성과 편향을 해결하고, 다양한 장르와 난이도에 걸친 종합적인 평가를 가능하게 합니다. 또한, "길이가 길수록 좋다"는 기존 통념을 깨고, 입력 정보의 양이 반드시 작문의 질을 보장하지 않음을 보여주어 향후 LLM 개발 및 평가 방향에 중요한 시사점을 제공합니다.

결론적으로, 이 논문은 HOWTOBENCH와 ToW를 통해 LLM 이 복잡한 인간 작문 능력을 얼마나 잘 수행하는지 더 정확하고 신뢰할 수 있게 측정할 수 있는 새로운 표준을 제시했습니다.