기술 요약: Poller – 대규모 언어 모델을 통한 시 이해도 평가

문제 정의

전통적인 자동 평가 방식(예: BLEU, ROUGE)은 은유적 표현, 리듬, 이미지, 문화적 뉘앙스에 의존하는 현대 중국 시의 특성을 평가하기에는 부적합하다. 인간에 의한 평가는 여전히 골드 스탠다드(gold standard)로 남아 있으나, 이는 비용이 많이 들고 시간이 오래 걸리며 대규모 데이터셋에 적용하기에는 비현실적이다. 시 관련 과업을 위해 LLM을 평가자로 사용하려는 기존의 시도들은 만족스럽지 못한 결과를 냈다. LLM은 종종 자신이 생성한 텍스트를 선호하거나, 깊은 문화적 맥락과 작가의 의도를 무시한 채 표면적인 언어적 특징에만 집중하는 등 상당한 편향성을 보이기 때문이다. 결과적으로, 시 평가에 있어 자동화된 효율성과 인간의 전문성 사이에는 결정적인 간극이 존재한다.

방법론: Poller 프레임워크

저자들은 LLM이 시의 작가 관점을 시뮬레이션하도록 활용함으로써 이 간극을 메우기 위해 설계된 새로운 방법론인 **Poller (Poetry LLM Evaluator)**를 제안한다. 핵심 가설은 독자의 시 이해도를 정확하게 평가하기 위해서는 평가자가 시인의 특정 페르소나, 배경, 그리고 의도를 채택해야 한다는 것이다.

핵심 워크플로우

1. 데이터 수집: 본 연구는 다섯 명의 전문 시인이 작성한 40편의 고품질 미발표 현대 중국 시를 활용한다.
2. 이해 생성: LLM(GPT-4-Turbo)이 다음 8가지 전문 영역에 걸쳐 이 시들에 대한 해석을 생성한다:
   • 내용, 언어, 이미지, 수사 기법, 리듬, 낯설게 하기(Defamiliarization), 사상 및 정서, 현대성.
3. 인간 벤치마크: 다섯 명의 원작 시인들이 이러한 해석들을 평가하여 각 차원에 대한 ground-truth 점수(0–100)를 제공한다.
4. 역할 놀이를 통한 LLM 평가: 일반적인 판사 역할을 하는 대신, 평가하는 LLM은 특정 시의 작가 역할을 수행하도록 프롬프트된다. 이는 다음과 같은 상세한 작가 정보를 프롬프트에 주입함으로써 이루어진다:
   • 기본 정보 ($I_i$): 직업, 배경, 개인사.
   • 시적 견해 ($V_i$): 시에 관한 작가 자신의 경험과 철학.
   • 비평가 의견 ($C_i$): 작가의 출간된 작품들에 대한 전문적인 리뷰.
5. 프롬프트 전략: 역할 놀이 메커니즘을 정교화하기 위해 네 가지 프롬프트 전략($P_1$ ~ $P_4$)을 테스트한다:
   • $P_1$: 모델이 작가 역할을 수행하며 동시에 판사 역할을 수행함.
   • $P_2$: 해당 시가 (작가로서의) 모델에 의해 쓰였으며, 이해(interpretation)는 독자로부터 온 것임을 강조함.
   • $P_3$: 모델이 점수를 매기기 전에 작가로서의 역할을 명시적으로 선언하도록 요구함.
   • $P_4$: $P_2$와 $P_3$를 결합함.

주요 기여

1. LLM의 시 평가자로서의 첫 조사: 본 연구는 생성 또는 번역 평가를 넘어, LLM이 "시의 이해" 과업을 평가하는 능력을 체계적으로 조사한 첫 번째 연구이다.
2. Poller 방법론: LLM이 상세한 전기적, 비평적 맥락을 사용하여 작가의 페르소나를 채택하고 인간의 판단을 모방하도록 하는 역할 놀이 프레임워크를 제격한다.
3. 다차원 검증: 본 연구는 여러 주요 LLM(GPT-4-Turbo, DeepSeek-R1, Qwen2.5-Turbo, Claude3.5-sonnet)과 8개의 뚜렷한 평가 차원에 걸쳐 이 방법을 검증한다.

실험 결과

본 연구는 기본 LLM 평가(역할 놀이가 없는 $P_0$)를 Poller 방법($P_1$–$P_4$)과 비교하며, 주요 지표로 인간 점수와의 절대 편차를 사용한다.

• 오차 감소: Poller 방법은 LLM과 인간 사이의 평가 오차를 유의미하게 감소시킨다.
  • GPT-4-Turbo: 최적의 전략($P_3$)을 사용하여 평균 평가 오차를 57.37% 감소시켰다 (14.38에서 6.13으로).
  • DeepSeek-R1: 평균 오차를 46.95% 감소시켰다 (12.61에서 6.69로).
  • Claude3.5-sonnet: **41.87%**의 오차 감소를 달성했다.
  • Qwen2.5-Turbo: **23.08%**의 오차 감소를 달성했다.
• 차원별 성능: 이 방법은 특정 차원에서 탁월한 개선을 보였다:
  • 수사 기법: $P_3$를 사용한 DeepSeek-R1은 오차를 94.55% 감소시켰다 (11.37에서 0.62로).
  • 낯설게 하기: $P_3$를 사용한 GPT-4-Turbo는 오차를 89.53% 감소시켰다 (10.98에서 1.15로).
• 베이스라인 비교: Poller 방법 없이는 LLM이 일관되게 인간의 해석보다 높은 점수를 부여했다 (예: GPT-4-Turbo는 인간의 79.08점 대비 평균 93.46점을 기록), 이는 비판적 판단력의 결여를 나타낸다. Poller 방법은 LLM 점수를 인간 벤치마크에 훨씬 더 가깝게 가져왔다.

의의 및 주장

본 논문은 Poller가 시 평가에 있어 자동화된 효율성과 인간의 전문성 사이의 간극을 효과적으로 메운다고 주장한다. 상세한 역할 놀이를 통해 LLM이 작가의 관점을 채택하도록 강제함으로써, 이 방법은 표준적인 LLM 평가에 내재된 편향과 피상성을 완화한다.

저자들은 다음과 같이 단언한다:

• 현재의 LLM은 기본 상태에서는 시 평가에 적합하지 않다.
• 그러나 Poller 프레임워크를 통해 LLM은 시 이해 과업의 평가를 보조하는 실행 가능한 도구가 될 수 있다.
• 이 접근 방식은 시인의 "가정된 캐릭터"를 시뮬레이션하여 문화적, 정서적 서브텍스트를 파악함으로써, 특히 현대 중국 시를 중심으로 한 시 관련 과업의 자동 평가를 위한 토대를 마련한다.

한계점: 저자들은 본 연구가 현대 중국 시(자유시)에 국한되어 있으며, 특정 시인의 배경 정보 가용성에 의존한다는 점을 언급한다. 작가의 관점을 채택한다는 핵심 아이디어는 전이 가능하다고 간주되지만, 작가 데이터가 부족한 다른 시 형식이나 전통 텍스트에 적용하는 것은 여전히 해결해야 할 과제로 남아 있다.