Connecting Speech to Words through Images

기술 요약: 이미지를 통한 음성과 단어의 연결

문제 정의
본 논문은 명시적인 텍스트 감독(전사 데이터) 없이 쓰인 단어와 그에 대응하는 발음 사이의 매핑을 학습하는 과제를 다룹로다. 시각적 접지(visual grounding)가 음성을 이미지 영역이나 언어 간에 매핑하는 데 사용되어 왔으나, 음성을 직접 쓰인 어휘와 연결하는 데에는 상대적으로 관심이 적었습니다. 이러한 능력은 저자원 언어, 문자가 없는 언어, 또는 전사 데이터를 수집하는 비용이 지나치게 높은 시나리오와 같은 언어 기록(language documentation)에 매우 중요합니다. 목표는 이미지와 음성 설명이 쌍으로 구성된 데이터셋만을 사용하여, 음향 세그먼트를 발견하고 이를 쓰인 단어의 형태로 의미를 부여하는 것입니다.

방법론
제안된 접근 방식은 어휘 구축과 키워드 국지화(localization)라는 두 가지 주요 단계로 구성된 비매개변수적(non-parametric) 시각 접지 방법입니다.

1. 어휘 구축 (Vocabulary Building):

   • 시스템은 오프더셸(off-the-shelf) 이미지 캡셔닝 모델(구체적으로 Tag2Text, BLIP-2, GIT)을 활용하여 시각적 접지 음성 코퍼스 내 이미지에 대한 쓰인 설명을 생성합니다.
   • 캡션은 표제어화(lemmatization)되며, 가장 빈번하게 등장하는 단어들을 선택하여 어휘를 형성합니다. 견고함을 보장하기 위해, 최종 어휘는 세 가지 캡셔닝 시스템이 생성한 단어들의 교집합으로 구성되며, 시각적으로 접지되지 않은 용어들을 필터링합니다.
   • 이를 통해 데이터셋 내에서 검증된 시각적 대응 관계를 가진 타겟 단어 집합을 만듭니다.

2. 키워드 국지화 (Keyword Localization):

   • 필터링 (Filtering): 특정 쿼리 단어에 대해, 시스템은 관련 이미지 캡션에 해당 쿼리 단어가 포함된 발화만을 유지하도록 음성 코퍼스를 필터링합니다.
   • 정렬 (Alignment): 선택된 발화들은 해당 단어에 대응하는 반복되는 음향 세그먼트를 찾기 위해 서로 정렬됩니다. 본 논문은 HuBERT 표현을 기반으로 한 두 가지 정렬 변형을 탐구합니다:
     • 이산 특징 정렬 (Discrete Features Alignment, DFA): HuBERT 특징을 k-means 클러스터링을 통해 이산 단위로 인코딩합니다. 쌍을 이루는 단위 시퀀스들은 Smith-Waterman 동적 계획 알고리즘을 사용하여 이진 매치 신호를 생성하도록 정렬됩니다.
     • 연속 특징 정렬 (Continuous Features Alignment, CFA): 연속 특징 공간에서 코사인 유사도를 직접 계산하여 정렬을 추정합니다. 노이즈를 줄이기 위해 스무딩 필터가 적용되며, 신호를 이진화하기 위해 임계값이 사용됩니다.
   • 집계 (Interval Piling): 특정 발화와 필터링된 전체 집합 사이의 정렬 점수를 집계하여 발화별 점수를 계산합니다. 여러 발화에 걸쳐 빈번하게 정렬되는(높은 집계 점수를 보이는) 세그먼트가 타겟 단어를 포함하는 것으로 식별됩니다.
   • 세그멘테이션 (Segmentation): 음성은 침묵 또는 값이 0인 프레임에 의해 경계가 지어지는 연속적인 영역을 기준으로 분할되며, 최종 점수는 평균 프레임 값으로부터 도출됩니다.

주요 기여

• 시각적으로 접지된 어휘 학습: 본 논문은 이미지와 음성만을 사용하여 음성 단어 어휘를 구축하고 이를 쓰인 단어와 연결하는 방법을 입증하며, 수동 전사가 필요 없음을 보여줍니다.
• 새로운 국지화 프레임 framework: 전체 코퍼스를 정렬하는 대신, 시각적 맥락(이미지 캡션)에 의해 필터링된 발화로 탐색 공간을 제한함으로써 비지도 단어 발견 기법을 응용했습니다.
• 정렬 전략의 비교 분석: 연속 및 이산 특징 정렬 방법 모두를 평가하여, 연속 방법이 더 높은 성능 상한선을 제공하지만, 이산 방법이 계산적으로 더 효율적이며 캡셔닝의 정밀도에 덜 의존한다는 것을 보여줍니다.
• 최첨단 성능 (State-of-the-Art Performance): 제안된 방식은 키워드 국지화 및 키워드 스포팅(spotting) 작업 모두에서 강력한 신경망 베이스라인(업데이트된 Attention CNN)보다 우수한 성능을 보였습니다.

실험 결과
실험은 MIT Places Audio Captions 데이터셋(400k 이미지-음성 쌍)의 일부인 20k 쌍을 사용하여 수행되었습니다. 평가를 위한 그라운드 트루스(ground truth)는 ASR 시스템(Parakeet TDT-CTC)과 강제 정렬(MMS 모델)을 사용하여 구축되었습니다.

• 성능: 연속 특징 정렬(CFA) 방식이 키워드 국지화(IoU=0.5)에서 **67.1%**의 Precision at Rank 10 (P@10)을, 스포팅에서 **35.4%**를 달성하여 가장 좋은 결과를 보였습니다. 이산 방식(DFA)은 국지화 64.3%, 스포팅 **27.7%**를 달성했습니다.
• 베이스라인 비교: 두 시각적 접지 변형 모두 44.4%(국지화) 및 25.1%(스포팅)를 기록한 신경망 베이스라인(Attention CNN)보다 유의미하게 높은 성능을 보였습니다.
• 상한선 분석 (Topline Analysis): 이미지 캡션 대신 그라운드 트루스 전사 데이터를 필터링에 사용할 경우 성능이 크게 향상되어(CFA 국지화의 경우 최대 91.7%), 이는 이미지 캡션과 실제 음성 사이의 불완전한 정렬로 인해 발생하는 격차를 보여줍니다.
• 캡셔닝에 대한 절제 연구 (Ablation on Captioning): 여러 캡셔닝 시스템의 교집합을 사용하는 것이 정밀도와 다운스트림 국지화 성능을 개선한다는 것을 발견했으며, 이는 더 크고 노이즈가 많은 세트를 사용하는 것보다 더 정확한 소수의 발화 세트를 선택하는 것이 더 효과적임을 시사합니다.
• 실패 사례 (Failure Modes): 질적 분석 결과, 추가적인 맥락 없이는 구분이 어려운 공존 단어(예: "boxing ring" 맥락에서의 "box"와 "ring")로 인해 실패가 자주 발생하는 것으로 나타났습니다.

의의 및 주장
본 논문은 텍스트 감독 없이 음성을 쓰인 단어와 연결하는 것이 가능하다는 것을 입증하며, 저자원 및 문자가 없는 언어를 위한 향후 연구의 토대를 마련한다고 주장합니다. 저자들은 이 작업을 시각적 양식과 음성 양식을 연결하여 어휘를 발견하는 단계로 규정합니다. 저자들은 이 기술이 전사를 수집할 수 없는 언어 기록 작업을 지원하는 것을 목표로 한다고 명시적으로 밝힙니다. 저자들은 영어 이미지 캡셔너를 사용하여 발화를 필터링하고 영어-외국어 음성 연관성을 찾아냄으로써 힌디어, 요루바어, 일본어 데이터셋으로 이 작업을 확장할 계획입니다. 궁극적인 목표는 현지 언어와 문화유산을 보존하고 기록하는 것을 지원하는 기술을 개발하는 것입니다.