Building a Multimodal Dataset of Academic Paper for Keyword Extraction

기술 요약: 키워드 추출을 위한 학술 논문 멀티모달 데이터셋 구축

문제 정의
현재의 키워드 추출 작업은 주로 텍-스트 데이터에 의존하며, 멀티모달 학술 콘텐츠에 내재된 시각적 세부 사항이나 오디오 특징을 간과하는 경우가 많다. 이러한 의존성은 정보의 풍부함 측면에서 결핍을 초래하고 모달리티 간의 잠재적 상관관계를 간과하게 만들어, 정확한 데이터 표현을 학습하는 모델의 능력을 제한한다. 또한, 연구 분야는 키워드 추출을 위해 특별히 설계된 멀티모달 데이터셋의 부족으로 인해 멀티모달 추출 방법의 개발과 검증에 어려움을 겪고 있다. 학술 정보가 텍스트, 이미지(슬라이드), 오디오(강연)를 통해 점점 더 많이 유포되고 있음에도 불구하고, 기존 방식들은 이러한 다양한 소스들을 효과적으로 활용하지 못하고 있다.

방법론
이러한 격차를 해소하기 위해, 본 연구는 새로운 멀티모달 데이터셋을 구축하고 다양한 모달리티 및 퓨전 전략에 따른 키워드 추출 성능을 평가한다.

• 데이터셋 구축: 저자들은 VideoLectures.net과 SPIE Digital Library에서 추출한 1,000개의 학술 논문 샘플로 구성된 데이터셋을 큐레이션하였다. 각 샘플은 다음을 포함한다:

  • 논문 텍스트: 학술 논문의 전체 텍스트.
  • 슬라이드 이미지: 컨퍼런스 영상에서 추출한 발표 슬라이드.
  • 오디오: 발표자의 음성 녹음.
  • 키워드: 정답(Ground Truth) 역할을 하는 저자 제공 키워드.
  • 전처리: 파이프라인에는 웹 스크래핑, 비디오 세그멘테이션(HLS/DASH 프로토콜 사용), 오디오 추출(OpenCV), 구조적 유사도 알고리즘을 통한 프레임 중복 제거, 그리고 슬라이드 텍스트를 위한 광학 문자 인식(OCR)이 포함되었다. 오디오 전사(Transcript)는 자동 음성 인식(ASR)을 통해 얻었다. 모든 모달리티는 타임스탬프를 기준으로 정렬되었다. 데이터 정제 과정에서는 깨진 문자와 형식 불일치를 제거하는 작업이 수행되었다.

• 실험 설정: 본 연구는 비지도 학습 및 지도 학습 키워드 추출 모델을 모두 채택하였다:

  • 비지도 학습: TF-IDF, TextRank, 그리고 SVM (클래스 균형을 위한 언더샘플링 적용).
  • 지도 학습: CRF, BiLSTM-CRF, 그리고 BERT-BiLSTM-CRF.
  • 입력 변형: 논문에서 유도된 텍스트($P_t$), 오디오($A_t$), 이미지($I_t$)만을 사용한 경우와, 이 세 가지 소스를 결합한 연결된 멀티모달 텍스트($M_t$)를 사용하는 실험이 수행되었다.
  • 평가: 성능은 저자 제공 키워드와의 정확한 매칭을 기반으로 정밀도(Precision), 재현율(Recall), F1 점수(F1@3, F1@5, F1@10)를 사용하여 측정되었다.

주요 결과

• 모달리티별 성능: 논문 텍스트는 대부분의 모델, 특히 CRF 및 SVM과 같은 지도 학습 방식에서 일관되게 가장 우수한 키워드 추출 성능을 보였다. 오디오 텍스트는 중간 정도의 성능을 보였으며, OCR에서 추출된 이미지 텍스트는 가장 낮은 성능을 보였다. 저자들은 이미지 텍스트의 낮은 성능 원인을 OCR 정확도에 영향을 미치는 노이즈와 배경 간섭으로, 오디오 텍스트의 한계를 녹음 품질과 배경 소음으로 분석하였다.
• 퓨전 효과: 논문, 오디오, 이미지 텍스트를 결적으로 결합한 것($M_t$)은 여러 모델, 특히 BiLSTM-CRF 및 BERT-BiLSTM-CRF와 같은 딥러닝 아키텍처에서 키워드 추출 성능을 효과적으로 향상시켰다. 이는 서로 다른 모달리티의 정보가 서로를 보완할 수 있음을 시사한다. 예를 들어, 논문 텍스트에서 놓친 키워드가 오디오나 이미지 텍스트를 통해 복구될 수 있었다.
• 모델 비교: 연결된 멀티모달 데이터를 사용할 때 딥러닝 모델(BiLSTM-CRF, BERT-BiLSTM-CRF)이 전통적인 통계적 방법(TF-IDF, TextRank)보다 일반적으로 더 우수한 성능을 보였다. 그러나 CRF 및 SVM과 같은 전통적 모델도 견고함을 유지하였으며, 특히 CRF는 논문 텍스트만 사용했을 때 강력한 성능을 보여주었다.

주요 기여

1. 데이터셋 생성: 본 연구는 텍스트, 이미지, 오디오 모달리티가 정렬된 1,000개의 고품질 샘플로 구성된, 학술 키워드 추출에 특화된 최초의 멀티모달 데이터셋을 제공함으로써 중요한 공백을 메웠다.
2. 경험적 검증: 본 연구는 논문, 이미지, 오디오 텍스트를 결합하는 것이 단일 모달리티를 사용하는 것보다 키워드 추출 정확도를 개선할 수 있음을 입증하였다.
3. 방법론적 통찰: 본 연구는 서로 다른 모달리티의 뚜렷한 특성을 강조한다. 논문 텍스트가 키워드의 주요 원천이지만, 멀티모달 퓨전이 더 포괄적인 의미론적 포착을 가능하게 하여 모델이 단일 소스 데이터의 한계를 극복하도록 도울 수 있음을 명시하였다.

의의 및 향후 방향
본 논문은 그 주요 의의가 멀티모달 학술 연구를 위한 새로운 데이터 자원을 제공하고, 키워드 추출을 더 넓은 모달 데이터를 활용하는 방향으로 발전시켜 알고리즘의 정확도와 견고함을 높이는 데 있다고 주장한다. 저자들은 현재 실험이 모달리티에서 추출된 텍스트 내용만을 활용하였으며, 슬라이드의 시각적 레이아웃(글꼴 크기, 굵기)이나 오디오의 음향적 특징(음성 에너지, 지속 시간)과 같은 고유한 특징들을 무시했다는 점을 인정하며 겸허한 태도를 유지한다. 그들은 향후 연구가 이러한 특정 모달리티 특징들을 탐구하고, 대규모 언어 모델의 자기 학습 및 일반화 능력을 활용하여 멀티모달 키워드 추출을 더욱 개선해야 한다고 제언한다.