Challenges in annotations by humans and LLMs: A case study of evaluative language

기술 요약: 인간과 LLM의 주석 작업에서의 과제: 평가적 언어를 중심으로 한 사례 연구

문제 제기
본 논문은 디지털 인문학 및 계산 사회과학에서 점차 복잡해지는 주석(annotation) 작업, 특히 평가적 언어(evaluative language)의 식별 및 분류에 초점을 맞추어 이 문제를 다룹니다. 대규모 언어 모델(LLM)이 비지도 NLP 작업에서 유망한 성과를 보여왔으나, 매우 주관적이고 복잡한 이론적 프레임워크 내에서 인간의 성능과 일치하거나 이를 능가할 수 있는지에 대해서는 아직 검증되지 않았습니다. 본 연구는 평가적 언어의 기능적 모델인 평가 이론(Appraisal theory; Martin & White, 2005) 중에서도 특히 태도 하위 체계(Attitude subsystem: 정동(Affect), 판단(Judgement), 감상(Appreciation))에 집중합니다. 저자들은 이러한 범주를 수동으로 주석 처리하는 작업이 시간이 많이 소요되고, 낮은 상호 주석자 일치도(IAA)를 보이며, 문맥 의존성, 암시적 의미, 그리고 미묘한 범주 간 구분의 어려움으로 인해 복잡하다는 점을 강조합니다. 핵심 연구 문제는 LLM이 이러한 복잡한 작업에서 인간 주석가와 동일한 어려움을 겪는지, 그리고 LLM이 이러한 주석의 어려움을 해결하는 효과적인 도구로서 기능할 수 있는지 여부를 결정하는 것입니다.

연구 방법론
본 연구는 11개 영역(예: 과학, 정치, 의학)에 걸친 190개의 영어 TED 강연 스크립트(EmotionalizTED 코퍼스)를 사용하여 혼합 방법론 기반의 사례 연구를 수행합니다. 방법론은 세 단계로 나뉩니다:

1. 인간 주석 (Human Annotation):

   • 주석가: 훈련 중인 24명의 언어학 전공 학생들(비영어 모국어 화자, 대부분 독일인)과 한 명의 시니어 연구자(골드 스탠다드 역할).
   • 작업: 문장 수준의 평가적 내용 분류. 주석가들은 먼저 문장이 평가적인지 여부(이진 분류)를 결정한 후, 태도 범주(정동, 판단, 감상, 모호함 또는 불확실함)로 분류했습니다. 다중 레이블링(multi-labeling)이 허용되었습니다.
   • 평가: 상호 주석자 일치도(IAA)는 이진 평가성 측정을 위해 Cohen's Kappa를, 다중 클래스 하위 분류를 위해 Krippendorff's alpha를 사용하여 측정되었습니다. 불일치의 원인을 식별하기 위해 질적 오류 분석이 수행되었습니다.

2. 자동 주석 (LLM):

   • 프롬프트 엔지니어링: qwen3-30b-a3b-instruct-25075 모델을 사용하여 세 가지 별도의 프롬프트 변형을 설계하고 비교했습니다. 여기에는 문맥, 페르소나, 제약 조건, 그리고 사고 사슬(Chain-of-Thought, CoT) 추론의 포함 여부에 따른 퓨샷(few-shot) 및 제로샷(zero-shot) 접근 방식이 포함되었습니다.
   • 모델 선택 및 튜닝: 가장 성능이 우수한 프롬프트를 세 가지 다른 LLM에 적용했습니다. 가장 효과적인 모델은 이후 성능 최적화를 위해 QLoRA를 사용하여 미세 조정(fine-tuning)되었습니다.
   • 과정: LLM은 두 단계 과정을 따랐습니다: (1) 평가성 여부의 이진 분류, (2) 평가적 문장에 대한 태도 범주의 다중 클래스 분류.

3. 비교 분석 (Comparative Analysis):

   • 미세 조정된 LLM의 성능을 골드 스탠다드(시니어 연구자) 및 학생 주석가들과 비교했습니다.
   • 본 연구는 LLM이 인간의 일치도를 낮추는 원인이 된 특정 언어적 현상(예: 암시적 의미, 대상 식별)에 대해 동일한 어려움을 겪는지 구체적으로 조사했습니다.

주요 결과

• 인간의 성능: 훈련생인 언어학도들 사이의 상호 주석자 일치도는 가변적이었으며 종종 낮았습니다. 이진 "평가적 vs 비평가적" 결정에 대한 일치도는 일부 도메인(엔터테인먼트 및 정치 등)에서는 중간 정도(Kappa $\ge$ 0.51)였으나, 역사 및 심리학 분야에서는 크게 떨어졌습니다. 특정 태도 하위 범주(정동, 판단, 감상)에 대한 일치도는 훨씬 더 낮았으며, Krippendorff's alpha는 빈번하게 0.50 미만으로 떨어지거나 때로는 음수 값을 기록했습니다.
• 인간 오류의 원인: 질적 분석 결과, 인간의 불일치는 다음과 같은 원인에서 기인했습니다:
  • 명시적 의미와 암시적 의미 사이의 구분 어려움.
  • "평가의 대상(target of evaluation)"에 대한 혼동 (예: 감정이 화자의 것인지, 언급된 제3자의 것인지 여부).
  • 중첩된 평가적 의미를 포함하는 길고 복잡한 문장에 대한 어려움.
  • 영어 숙련도 및 도메인 지식의 차이.
• LLM 성능: 미세 조정된 LLM은 골드 스탠다드 대비 0.77의 F1-score를 달립했습니다.
  • 비교: LLM은 학생 주석가들보다 뛰어난 성능을 보였으며, 특히 학생들보다 시니어 연구자(골드 스탠다드)와 더 높은 일치도를 달성했습니다.
  • 과제 정렬: 연구 결과, LLM이 인간과 동일한 방식으로 특정 문제들을 겪는 것은 아니라는 점이 밝혀졌습니다. 오히려 LLM은 훈련되었으나 경험이 부족한 인간 집단보다 복잡한 분류 작업을 더 일관되게 해결할 수 있는 능력을 보여주었습니다.

주요 기여

1. 주석 체계: 구어체 대중 과학 담론의 문장 수준 분석을 위해 적응된 평가 이론의 태도 범주 주석 체계를 제시합니다.
2. 경험적 비교: 복잡하고 주관적인 언어적 작업에서 인간 주석가(훈련생 및 전문가 모두)와 LLM 간의 직접적인 경험적 비교를 제공합니다.
3. 프롬프트 최적화: 프롬프트 설계(CoT 및 퓨샷 전략 포함)가 LLM의 실용론적 주석 성능에 미치는 영향을 입증합니다.

의의 및 주장
저자들은 LLM이 복잡한 주석 작업의 해결을 효과적으로 도울 수 있으며, 잠재적으로 일관성과 전문가 기준과의 일치도 측면에서 훈련 중인 언어학자들의 성능을 능가할 수 있다고 주장합니다. 본 논문은 만약 프롬프팅과 미세 조정을 통해 복잡한 언어 이론인 평가 이론을 성공적으로 주석 처리할 수 있다면, 이는 디지털 인문학 연구의 새로운 경로를 열어줄 것임을 시사합니다. 구체적으로, 이는 LLM이 적절히 유도될 경우 방대한 양의 음성 데이터를 분류하는 데 있어 광범적이고 수동으로 주석 처리된 코퍼스가 반드시 필수적인 것은 아닐 수도 있음을 의미합니다. 본 연구는 결론적으로 LLM이 학제 간 분야에서 주석 프로세스를 확장하기 위한 실행 가능한 전략을 제공하지만, 모델 성능에 대한 작업별 검증이 필요함을 인정합니다.