💬 NLP

Layer-wise Probing of wav2vec 2.0 and Whisper for Consonant Cluster Reduction in African American English

이 논문은 wav2vec 2.0과 Whisper에 대한 층별 프로빙(layer-wise probing)을 통해, 현대 음성 모델들이 아프리카계 미국인 영어의 자음군 축약을 단순한 분절음 삭제가 아니라 기저의 폐쇄음 정체성에 대한 단서를 보존하는 구조화된 경사적 음운 변이로 인코딩한다는 것을 입증한다.

원저자: Hamid Mojarad, Kevin Tang

게시일 2026-06-24

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hamid Mojarad, Kevin Tang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

두 대의 매우 똑똑하고 첨단 기술을 갖춘 "듣기 로봇"이 있다고 상상해 보세요. 한 로봇인 wav2vec 2.0은 아무도 단어가 무엇인지 알려주지 않은 채 수천 시간의 오디오를 들으며 학습했습니다(마치 아기가 말을 배우는 것처럼 말이죠). 다른 로봇인 Whisper는 오디오와 함께 그에 해당하는 정확한 텍스트를 읽으며 학습했습니다(마치 학생이 교과서를 가지고 공부하는 것처럼 말이죠).

연구자들은 이 로봇들이 **아프리카계 미국인 영어(AAE)**의 특징 중 하나인 **자음군 축약(Consonant Cluster Reduction, CCR)**을 어떻게 처리하는지 알아보고 싶었습니다.

"사라진 글자"의 미스터리

일상적인 대화에서 사람들은 흔-히 자음 그룹의 마지막 소리를 생략하곤 합니다. 예를 들어, "test"라고 말하는 대신 "tes"라고 말할 수 있습니다. "hand" 대신 "han"이라고 말하는 것처럼 말이죠. 표준적인 컴퓨터 프로그램에게 이것은 실수이거나 퍼즐의 빠진 조각처럼 보일 것입니다.

여기서 큰 질문은 이것입니다: 이 로봇들은 그 소리가 영원히 사라졌다고 생각할까요, 아니면 그 소리가 그곳에 있었다는 것을 여전히 "알고" 있을까요?

실험: X-레이 시력

이를 알아내기 위해 연구자들은 단순히 로봇에게 단어를 받아쓰라고 시키는 대신, **"층별 프로빙(layer-wise probing)"**이라는 기법을 사용했습니다.

로봇을 12개의 층을 가진 "생각"의 층(양파 껍질이나 마천루의 층처럼)을 가진 존재라고 생각해 보세요.

하위 층: 가공되지 않은 음파(소음, 피치)를 듣습니다.
중간 층: 특정 소리(예: "t" 또는 "d")를 인식합니다.
상위 층: 전체 단어의 의미를 이해합니다.

연구자들은 각 층 내부를 들여다보며 그곳에 어떤 정보가 저장되어 있는지 확인했습니다. 그들은 두 가지 주요 테스트를 수행했습니다.

테스트 1: "차이점 찾기" 게임

그들은 로봇에게 전체 소리가 포함된 단어(예: "test")와 축약된 소리가 포함된 단어(예: "tes")를 섞어서 보여주었습니다.

결과: 두 로봇 모두 차이점을 아주 잘 찾아냈습니다. 그들은 하나에는 "t"가 있고 다른 하나에는 없다는 것을 알아차렸습니다.
반전: 하지만 로봇들은 축약된 소리를 "비어 있는" 상태로 취급하지 않았습니다. 심지어 "t"가 사라졌을 때조차, 로봇의 내부 "귀"는 사라진 소리가 남긴 미묘한 단서들을 여전히 포착해 냈습니다. 마치 로봇이 사라진 글자의 "유령"을 냄새로 맡는 것과 같았습니다.

테스트 2: "마법의 복원" 게임

이것은 훨씬 더 인상적인 테스트였습니다. 연구자들은 로봇에게 축약된 소리만 주고(예: 그냥 "tes" 또는 "han") 다음과 같이 물었습니다: "원래 단어가 무엇이었을지 추측할 수 있나요?"

결과: 로봇들은 놀라울 정도로 정확했습니다(성공률 90% 이상). 비록 "t"나 "d"가 물리적으로는 사라졌지만, 로봇의 내부 표현에는 원래 단어를 완벽하게 재구성할 수 있는 충분한 정보가 여전히 담겨 있었습니다.

이것이 의미하는 바 (큰 그림)

이 연구는 현대의 AI 모델들이 이러한 음성 패턴을 단순히 단순한 오류나 삭제된 소리로 취급하는 것이 아니라는 결론을 내립니다.

대신, 이 모델들은 그것들을 **구조화된 경사적 변이(structured, gradient variations)**로 취급합니다.

비유: 여러분이 모자를 쓰고 있는 사람의 사진을 보고 있다고 상상해 보세요. 만약 사진을 흐릿하게 만든다면, 모자를 명확하게 볼 수는 없을 것입니다. 단순한 컴퓨터는 "모자 감지 안 됨"이라고 말할 것입니다. 하지만 이 고급 로봇들은 탐정과 같습니다. "모자가 보이지는 않지만, 머리 모양과 그림자를 보니 모자가 있다는 것을 알 수 있다"라고 말하는 것이죠. 그들은 단순히 가공되지 않은 오디오를 보는 것이 아니라, 언어의 맥락과 규칙을 이해합니다.

왜 편향성이 중요한가

논문은 이 로봇들이 아프리카계 미국인 영어 화자들에게서 더 많은 실수를 저지르는 경우가 많다고 언급합니다. 이 연구는 로봇들이 소리를 이해하고는 있지만, 아마도 소리가 항상 존재하는 "표준" 영어 위주로 훈련되었기 때문에 어려움을 겪고 있음을 시사합니다. 로봇은 사라진 소리의 "유령"을 알고 있지만, 표준 영어에서처럼 그 단서를 사용하여 단어를 예측하는 데 있어서는 숙련도가 떨어질 수 있습니다.

요약

요컨대, 연구자들은 이 AI 듣기 로봇들이 놀라울 정도로 정교하다는 것을 발견했습니다. 아프리카계 미국인 영어 화자가 자음을 생략할 때, 로봇은 단순히 빈 공간을 듣는 것이 아닙니다. 그들은 그것을 원래의 단어로 가는 열쇠를 여전히 쥐고 있는 패턴화된 변이로 듣습니다. 그들은 언어가 유동적이며, 사라진 소리라도 스마트한 모델이 읽어낼 수 있는 "지문"을 남긴다는 것을 학습했습니다.

기술 요약: 아프리카계 미국인 영어(AAE)의 자음군 축소에 대한 wav2vec 2.0 및 Whisper의 층별 프로빙(Layer-wise Probing)

문제 정의
자동 음성 인식(ASR) 시스템은 인구 통계적 그룹 간에 상당한 성능 격차를 보이며, 특히 아프리카계 미국인 영어(AAE) 화자에게서 높은 오류율을 나타낸다. 이러한 편향의 주요 원인은 AAE의 체계적인 음운 과정인 자음군 축소(Consonant Cluster Reduction, CCR)이다. CCR은 단어 말 자음군이 단순화되는 현상이다 (예: test /tEst/ $\rightarrow$ [tEs]). 기존의 행동 연구들은 이러한 오류율을 기록해 왔으나, 현대 음성 인코더 내부에서 이러한 격차를 유발하는 구체적인 메커니즘은 아직 충분히 탐구되지 않았다. 특히, 모델이 CCR을 단순한 분절음 삭제로 처리하는지, 아니면 기저 형태(underlying form)에 대한 단서가 보존된 구조적이고 점진적인 음운 변이로 처리하는지는 불분명하다.

연구 방법론
저자들은 두 가지 저명한 음성 모델인 wav2vec 2.0-base(자기 지도 학습)와 Whisper-small(지도 학습)을 사용하여 독립적인 화자 대상의 층별 프로빙 연구를 수행하였다. 두 모델 모두 12개의 트랜스포머 층과 768차원의 임베딩을 활용하므로 직접적인 구조적 비교가 가능하다.

데이터: 본 연구는 지역적 아프리카계 미국인 언어 코퍼스(CORAAL)를 활용하였으며, 156명의 화자로부터 추출한 6,760개의 토큰을 선정하였다. 데이터셋은 단일 형태소 단어 내의 7가지 빈번한 이중 자음군(/ft/, /nd/, /nt/, /st/, /sk/, /pt/, /mp/)에 집중하였으며, 표준형(canonical)과 축소형(reduced)의 균형을 맞추었다.
특징 추출(Feature Extraction): 자음군의 시간적 경계를 식별하기 위해 몬트리올 강제 정렬(Montreal Forced Aligner, MFA)을 통한 강제 정렬을 수행하였다. 12개 트랜스포머 층 전체에서 은닉 상태(hidden states)를 추출하였으며, 고정 길이의 토큰 임베딩을 생성하기 위해 평균 풀링(mean-pooling)을 적용하였다.
프로빙 과업(Probing Tasks): 동결된 인코더와 훈련된 다층 퍼셉트론(MLP) 분류기를 사용하여 도메인 지식 기반의 두 가지 과업을 수행하였다.
1. 분절 축소 탐지(Segmental Reduction Detection): 토큰을 축소형 대 표준형으로 분류한다.
2. 분절 복원(Segmental Restoration): 특히 /nt/와 /nd/ 자음군을 대상으로 한다. 모델은 축소된 비음 전용 입력(/n/)으로 훈련되었으며, 기저의 표준 자음군 정체성(/nt/와 /nd/의 구분)을 식별할 수 있는지 테스트한다.
3. 공조음 부호화(Coarticulatory Encoding, 보충 과업): "게이팅(gating)" 패러다임을 통해 첫 번째 자음(C1)만으로 축소 대조(reduction contrast)에 관한 정보를 얼마나 회복할 수 있는지 25%씩 증가시키며 100%까지 테스트하였다.

주요 결과

축소 탐지: 두 모델 모두 우연 수준을 크게 상회하는 정확도(통상 70–80%)로 축소형과 표준형을 성공적으로 구분하였다.
- wav2vec 2.0은 여러 개의 피크(특히 5층과 9층 부근)를 보이는 복잡한 층별 패턴을 보였으며, 후반부 층에서 완만한 감소를 보였다.
- Whisper-small은 일반적으로 상승 후 정체되는 궤적을 따랐으며, 중후반부 층에서 정점에 도달했다.
- 자음군 민감도: 성능은 언어적 제약에 따라 자음군 유형별로 차이를 보였다. 예를 들어, /s/가 폐쇄음 앞에 오는 /st/ 자음군은 축소 발생 확률이 높기 때문에 가장 높은 탐지 정확도를 보였다. Whisper는 wav2vec 2.0에 비해 저빈도 자음군에 대해 더 높은 견고성을 보였다.
분절 복원: 복원 과업에서 두 모델 모두 축소된 분절의 기저 정체성을 구분하는 데 있어 매우 높은 정확도(93–96%)를 달 기록했다. 이는 축소된 형태가 "삭제"되거나 비어 있는 상태로 인코딩되는 것이 아니라, 누락된 폐쇄음(stop)에 대한 상당한 단서를 유지하고 있음을 시사한다.
공조음(Coarticulation): 게이팅 분석 결과, C1 프레임 자체에 축소 대조에 관한 유의미한 정보가 포함되어 있었으며, C1 분절이 더 많이 포함될수록 정확도가 증가했다. 이는 모델이 남은 자음과 삭제된 폐쇄음 사이의 강력한 공조음 단서를 인코딩하고 있음을 보여준다.

핵심 기여

내부 표현 분석: 본 연구는 현대 음성 인코더가 AAE 특유의 CCR을 내부적으로 어떻게 표현하는지에 대한 최초의 계산적 분석을 제공하며, 표면적인 오류 지표를 넘어 인코딩된 언어적 정보를 조사한다.
점진적 변이 vs 삭제: 연구 결과는 모델이 CCR을 단순한 분절 삭제로 처리한다는 가설에 반론을 제기한다. 대신, 복원 과업에서의 높은 정확도는 축소된 실현(realizations)이 임베딩 공간에서 기저의 표준 형태와 근접한, 구조적이고 점진적인 음운 변이로서 인코딩된다는 것을 입증한다.
모델 비교: 본 논문은 자기 지도 학습 모델(wav2vec 2.0)과 지도 학습 모델(Whisper) 사이의 뚜렷한 층별 동작 차이를 강조하며, 방대한 레이블 데이터로 훈련된 Whisper의 지도 학습이 저자원 자음군 유형을 포함한 방언적 변이를 탐지하는 데 더 큰 견고성을 부여할 수 있음을 언급한다.

의의 및 주장
저자들은 자신들의 발견이 현대 음성 모델이 AAE CCR 패턴을 단순한 노이즈나 삭제가 아닌 구조적인 음운 변이로 인코딩한다는 점을 입증한다고 주장한다. 축소된 입력으로부터 기저의 폐쇄음 정체성을 "복원"할 수 있다는 사실은, 이러한 시스템이 비록 종단간(end-to-end) ASR 작업에서 완벽하게 전사하지 못하더라도 AAE의 음운 규칙을 관장하는 내부 표현을 보유하고 있음을 시사한다.

본 연구는 관찰된 ASR의 격차가 반드시 AAE 특징에 대한 음성적 민감도의 완전한 결여 때문이 아니라, 모델이 이러한 특징들을 점진적 변이의 연속체로 취급하기 때문이라고 결론짓는다. 이러한 미묘한 인코딩 방식은 축소형과 표준형의 이진 분류(binary classification)를 어렵게 만드는 한편(명확한 음성적 경계의 부재로 인해), 기저의 음운적 정체성은 여전히 회복 가능하다는 점을 설명해 준다. 저자들은 본 연구의 범위가 특정 두 모델과 자음군 유형에 국한되어 있으며, 이러한 패턴을 다른 아키텍처나 더 복잡한 형태론적 맥락으로 일반화하기 위해서는 추가적인 연구가 필요함을 명시하며 신중한 태도를 유지한다.