Leveraging Human Reading Behavior for Keyphrase Extraction: A Webcam-based Eye-tracking Corpus

기술 요약: 인간의 독서 행동을 활용한 핵심구 추출(Keyphrase Extraction)

문제 제기
핵심구 추출(KPE)은 정보 검색의 근본적인 과제이지만, 기존 방식은 주로 용어 빈도, 구문 패턴, 문맥적 의미와 같은 텍스트 내부의 단서에 의존한다. 이러한 접근 방식은 핵심구와 인간의 독서 행동, 즉 독자가 이해 과정에서 주의를 어떻게 할당하는지 사이의 연결 고리를 상당 부분 간과하고 있다. 안구 추적 연구는 고정(fixation) 패턴이 인지 처리와 상관관계가 있음을 입명했으나, 이를 KPE에 적용하는 데에는 두 가지 주요 요인이 걸림돌이 되고 있다. 첫째는 중국어 학술 텍스트에 대한 안구 추적 데이터의 부족이며, 둘째는 전통적인 실험실 급 안구 추적 장비의 높은 비용이다. 또한, 기존의 오픈 소스 코퍼스(예: ZuCo, GECO)는 뉴스나 소설 같은 일반적인 콘텐츠를 기반으로 하고 있어, 문헌정보학(LIS) 분야의 도메인 특화 용어나 구조적 관습을 반영하지 못한다.

방법론
이러한 격차를 해소하기 위해 저자들은 데이터 수집, 코퍼스 구축, 모델 통합을 포함하는 포괄적인 프레임을 개발하였다:

1. 경량 데이터 수집 플랫폼: 본 연구는 오픈 소스 SearchGazer JavaScript 라이브러리와 Flask 기반 백엔드를 통합하여 비용 효율적인 웹캠 기반 접근 방식을 활용하였다. 이 플랫폼은 소비자용 웹캠을 사용하여 실시간 시선 추론을 가능하게 함으로써 특수 하드웨어의 필요성을 제거한다.
2. 코퍼스 구축 (CLIS-ET): 저자들은 **중국 문헌정보학 안구 추적 코퍼스(CLIS-ET)**를 구축하였다. 데이터는 10명의 문헌정보학 대학원생 및 상급 학부생으로부터 320개의 핵심 중국 문헌정보학 저널 초록을 읽게 하여 수집되었다. 실험은 각 초록을 읽기 전 9점 보정(nine-point calibration)과 읽기 후 이해도 점검 과정을 포함하였다.
3. 특징 추출: 연구는 단어 분절 문제를 피하기 위해 문자 단위(character-level) 안구 추적 지표에 집중하였다. 세 가지 주요 특징을 추출하여 참가자 전체에 대해 평균을 냈다:
   • 초기 고정 시간 (First Fixation Duration, FFD): 특정 문자에 대한 초기 시선 머무름 시간.
   • 고정 횟수 (Fixation Number, FN): 특정 문자를 바라본 총 횟수.
   • 총 고정 시간 (Total Fixation Duration, TFD): 특정 문자를 바라보는 데 소비된 누적 시간.
     데이터는 유효한 고정(16.7ms ~ 1500ms)을 유지하도록 필터링되었으며, 유효한 데이터가 없는 참가자가 50%를 초과하는 부적절한 문자 데이터는 폐기되었다.
4. 모델 통합: 안구 추적 특징을 두 가지 범주의 KPE 모델에 통합하였다:
   • 순환 신경망 (RNN): BiLSTM, BiLSTM+CRF, Attention 기반 BiLSTM (Att-BiLSTM), 그리고 Att-BiLSTM+CRF. 특징들은 외부 입력 또는 어텐션 지표로 사용되었다.
   • 사전 학습된 언어 모델: BERT, RoBERTa, MacBERT, 그리고 Randeng-T5-784M.
5. 평가: 실험은 동일한 저널 출처에서 파생된 더 작은 안구 추적 데이터셋(Abstract-320)과 더 큰 일반 KPE 데이터셋(Abstract-5190)을 대상으로 수행되었다. 성능은 top-3, top-5, top-10 핵심구 추출에 대한 F1 점수를 사용하여 평가되었다.

주요 기여

1. 접근 가능한 데이터 수집 방법: 본 논문은 표준 웹캠을 사용하여 안구 추적 데이터를 수집할 수 있는 경량화되고 확장 가능한 플랫폼을 소개함으로써, 도메인 특화 독서 행동 연구의 진입 장데를 크게 낮추었다.
2. CLIS-ET 코퍼스: 중국 문헌정보학 학술 초록을 위한 최초의 도메인 특화 안구 추적 코퍼스를 공개하였으며, 인지적 KPE 연구를 위한 문자 단위 지표(FFD, FN, TFD)를 제공한다.
3. 인지적 신호의 실증적 검증: 본 연구는 다양한 모델 아키텍처 전반에서 개별 및 결합된 안구 추적 특징이 KPE 성능에 어떻게 영향을 미치는지 체계적으로 평가하며, 인간의 독서 행동이 텍스트 특징을 보완하는 신호를 제공함을 입증하였다.

결과

• 특징의 효능: 안구 추적 특징을 통합했을 때 두 데이터셋과 모델 유형 모두에서 KPE 성능이 일관되게 향상되었다.
  • Abstract-320 데이터셋의 경우, FFD 특징이 BERT 기반 모델에서 가장 유의미한 향상(최대 +2.83%)을 보였다.
  • 더 큰 규모의 Abstract-5190 데이터셋에서는 FN 특징과 RoBERTa가 결합했을 때 가장 높은 성능(44.51% F1@5)을 달ien했다.
• 특징 조합: **고정 횟수와 총 고정 시간(FN+TFD)**의 조합이 Att-BiLSTM+CRF 모델에서 최상의 성능을 기록했다. 일반적으로 FFD+FN 및 FN+TFD의 조합이 단일 특징이나 전체 삼중합(FFD+FN+TFD)을 사용하는 것보다 더 안정적인 향상을 제공했다.
• 통계적 유의성: Abstract-320 데이터셋에 대한 대응 표본 t-검정 결과, 안구 추적 특징이 여러 아키텍처에서 통계적으로 유의미한 효과를 나타냄을 확인하였다. 특히 FN+TFD와 FFD+TFD가 일관된 유의성을 보였는데, 이는 고정 빈도와 지속 시간이 독서 행동의 상보적인 측면을 포착함을 시사한다.
• 데이터 규모에 따른 효과: 연구 결과, 데이터가 제한적일 때는 초기 처리 특징(FFD와 같은)이 더 큰 정보 이득을 제공하는 반면, 데이터 규모가 커질수록 누적 처리 특징(TFD와 같은)이 심층적인 의미 모델링을 더 잘 지원하는 것으로 관찰되었다.

의의 및 주장
본 논문은 인간의 독서 행동을 계산 모델에 통합하는 것이 통계적 휴리스틱과 인지 과정 사이의 간극을 메운다고 주장한다. 표준 웹캠을 이용한 경량 안구 추적이 KPE를 효과적으로 향상시킬 수 있음을 입증함으로써, 저자들은 NLP를 위한 인지 데이터 수집에 있어 더 접근 가능하고 비용 효율적인 접근 방식을 제안한다. 연구 결과는 안구 추적 특징이 의미 처리의 깊이와 어휘 항목의 중요성을 반영하는 가치 있는 보조 신호 역할을 하며, 이를 통해 핵심구 추출 시스템의 해석 가능성과 성능을 개선한다는 것을 보여준다. 본 연구는 이 작업이 실제 독자의 주의 패턴과 더 밀접하게 일치하는 인간 중심적 정보 검색 도구를 구축하는 단계임을 시사한다.