Evaluating the Evaluator: Problems with SemEval-2020 Task 1 for Lexical Semantic Change Detection

1. 문제 제기 (Problem)

SemEval-2020 태스크 1 은 의미 변화 감지 시스템의 표준 평가 기준으로 널리 사용되어 왔으나, 저자들은 이 벤치마크가 운영화 (operationalisation), 데이터 품질, 벤치마크 설계라는 세 가지 차원에서 중대한 한계를 가지고 있다고 주장합니다.

• 이론적 한계: 의미 변화를 '감각 (sense) 의 획득, 상실, 또는 재분배'라는 이산적 (discrete) 인 개념으로만 정의하여, 점진적, 구성적, 결합적 (collocational), 담화 수준의 변화를 포착하지 못함.
• 데이터 품질 저하: OCR 노이즈, malformed 문자, 잘린 문장, 일관성 없는 표제어 (lemmatisation) 및 품사 태깅 (POS-tagging) 오류, 목표 단어 누락 등 심각한 전처리 문제가 존재함.
• 설계적 결함: 소규모의 선별된 목표 단어 집합 (Target sets) 과 제한된 언어 커버리지 (유럽어 4 개) 로 인해 통계적 불확실성이 크고, 실제 언어 환경에서의 일반화 가능성이 낮음.

2. 방법론 (Methodology)

저자들은 SemEval-2020 태스크 1 을 비판적으로 분석하기 위해 다음과 같은 다각적인 접근 방식을 사용했습니다.

• 3 단계 평가 프레임워크:
  1. 운영화 분석: 의미 변화의 정의가 실제 언어 현상 (점진적 변화, 은유/전치 등) 을 얼마나 잘 반영하는지 이론적 검토.
  2. 데이터 품질 검증: 영어, 독일어, 스웨덴어, 라틴어 등 4 개 언어 코퍼스를 정성적 및 정량적으로 분석. Google Gemini API 를 활용하여 100 행 샘플의 오류를 자동 탐지하고 수동으로 검증하여 오류 유형 (OCR, 문장 절단, 이상 문자 등) 을 분류 및 계수.
  3. 벤치마크 설계 평가: 소규모 테스트 세트가 통계적 신뢰도에 미치는 영향 (오차 범위 계산) 과 언어적 대표성 부족을 분석.
• 재구문 분석 (Reparsing) 실험: 기존 데이터의 부정확한 품사 태깅과 표제어 문제를 해결하기 위해 현대 파서 (Stanza, UDPipe) 를 사용하여 데이터를 재분석하고, 이를 기존 'SemEval-순응' 데이터와 비교하여 성능 차이를 확인.

3. 주요 기여 및 발견 (Key Contributions & Findings)

A. 운영화 (Operationalisation) 의 문제

• 이산적 의미의 한계: 벤치마크는 의미 변화를 이산적인 '감각 (sense)'의 추가/삭제로만 보지만, 실제 의미 변화는 연속적이고 점진적임.
• 주관적 편향: 금표 (Gold labels) 는 어노테이터의 판단과 클러스터링 알고리즘, 임계값 설정에 의존하므로, 방법론적 선택이 실제 언어 변화를 왜곡할 수 있음. (예: 독일어 'Seminar'의 은유적 변화가 감지되지 않음).
• 맥락적 변화 간과: 구성 (construction), 결합 (collocation), 담화 수준의 변화는 명시적으로 포착되지 않음.
• 시간적 제한: 두 시점 (C1, C2) 만 비교함으로써 변화의 시작점, 진행 과정, 역전 등을 놓칠 수 있음.

B. 데이터 품질 (Data Quality) 의 심각성

• OCR 및 전처리 오류: 특히 스웨덴어 (Kubhist) 와 독일어 (BZ, ND) 코퍼스는 OCR 노이즈, 잘못된 문자, 잘린 문장, 병합된 문장 등이 광범위하게 존재함.
• 품사 태깅 및 표제어 오류: 영어 코퍼스의 경우, 동사를 명사로 잘못 태깅하거나 (예: 'land'를 동사로 사용했음에도 명사로 표기), 목표 단어를 누락하는 등 심각한 오류가 발견됨.
• 재구문 분석의 필요성: 기존 데이터의 품질 문제로 인해, 신뢰할 수 있는 분석을 위해서는 현대 파서를 이용한 재구문 분석이 필수적임. 저자들의 연구에 따르면 재구문 분석된 데이터 ('SemEval-faithful') 를 사용할 때 모델 성능이 일관되게 향상됨.

C. 벤치마크 설계 (Benchmark Design) 의 통계적 취약점

• 통계적 노이즈: 테스트 세트가 너무 작음 (영어 37 개, 독일어 48 개 등). 단일 단어의 오답/정답이 정확도 (Accuracy) 를 2.1~3.2% 포인트나 변동시킴.
• 높은 오차 범위: 95% 신뢰구간에서 오차 범위 (MoE) 가 약 14~17% 에 달하여, 모델 간 성능 차이가 통계적으로 유의미한지 판단하기 어려움.
• 언어 편향: 유럽어 4 개 언어만 포함하여 비유럽어, 저자원 언어, 비라틴 문자 언어에 대한 일반화 주장에 한계가 있음.

4. 결과 (Results)

• 데이터 오류 통계: 스웨덴어 데이터에서 가장 많은 오류 (문장 절단 60 건, OCR 노이즈 89 건 등) 가 발견되었으며, 라틴어가 상대적으로 가장 깨끗한 것으로 나타남.
• 성능 영향: 데이터 품질 문제 (OCR, 태깅 오류) 는 모델이 단어의 빈도나 형태에 편향되게 학습하도록 유도하여, 실제 의미 변화 감지 능력을 왜곡시킴.
• 통계적 불확실성: 소규모 테스트 세트로 인해 높은 상관관계나 정확도 점수조차 넓은 신뢰구간을 가지며, 실제 모델의 성능을 정밀하게 평가하기 어렵다는 결론 도출.

5. 의의 및 제언 (Significance & Recommendations)

이 논문은 SemEval-2020 태스크 1 을 유용하지만 불완전한 테스트베드로 재정의하며, 향후 연구 방향을 제시합니다.

• 이론적 확장: 의미 변화를 이산적 감각 변화뿐만 아니라, 맥락 분포, 결합 패턴, 담화 수준의 변화 등 더 넓은 이론적 틀로 정의해야 함.
• 데이터 투명성: 전처리 과정 (노이즈 제거, 정규화) 을 투명하게 문서화하고, 재현 가능한 스크립트를 공개해야 함.
• 통계적 엄밀성: 소규모 선별 집합 대신 대규모 어휘 기반의 발견 (discovery) 설정을 도입하여 통계적 노이즈를 줄여야 함.
• 언어적 다양성: 유럽어 중심의 편향을 탈피하고, 다양한 언어 유형, 저자원 언어, 비라틴 문자 언어를 포함한 벤치마크로 확장해야 함.
• 시간적 연속성: 두 시점 비교를 넘어, 다중 시간 슬라이스나 궤적 기반 평가를 통해 의미 변화의 연속성을 포착해야 함.

결론적으로, 이 논문은 현재 어휘적 의미 변화 감지 분야의 표준 벤치마크가 가진 근본적인 한계를 지적하며, 더 타당성 있고 해석 가능하며 일반화 가능한 진보를 위해서는 데이터 품질, 이론적 틀, 평가 설계의 전면적인 개선이 필요함을 강력히 주장합니다.