Interpretable Audio Pattern Discovery in Keyword-Spotting Models via Waveform Optimization and Segment-Level Analysis

당신이 스마트 스피커를 향해 "헤이, 불 좀 켜줘"라고 말한다고 상상해 보세요. 기기가 삐 소리를 내더니 불이 탁 켜집니다. 마치 마법처럼 느껴지지만, 그 마법 뒤에는 컴퓨터 프로그램이 내린 매우 구체적인 추측이 있습니다: "저 소리는 '불(lights)'이라는 단어였어." 이 분야를 **키워드 탐지(Keyword Spotting)**라고 부릅니다. 이것은 당신의 전화기나 스피커가 전체 대화를 녹음하지 않고도 아주 작고 특정한 트리거 단어를 들을 수 있게 해주는 기술입니다.

하지만 까다로운 점이 있습니다. 컴퓨터가 "네, '불'이라고 들었습니다"라고 말할 때, 왜 그렇게 생각했는지는 알려주지 않는다는 것입니다. 이는 마치 판사가 어떤 증거가 자신을 설득했는지 설명하지 않은 채 판결을 내리는 것과 같습니다. 당신이 말한 'ㄹ' 발음 때문이었을까요? 아니면 단어 앞의 휴지기 때문이었을까요? 아니면 컴퓨터가 그저 운이 좋았던 걸까요? 과학자들은 이를 "블랙박스" 문제라고 부릅니다. 우리가 이 기기들을 신뢰하거나, 기기가 혼란에 빠졌을 때 이를 수정하고 싶다면, 우리는 상자 안을 들여다보고 어떤 부분의 음파가 컴퓨터를 클릭하게 만들었는지 정확히 알아내야 합니다. 이 논문은 그 어두운 상자 안을 비출 손전등을 만드는 것에 관한 이야기입니다.

---

탐정의 손전등: 소리 속의 "비법 소스" 찾기

GRADV(그래드비라고 발음합니다)를 만나보세요. 연구원 알렉산드르 게르첸(Aleksandr Gertsen)과 알렉산드르 렌신(Aleksandr Lenshin)이 만든 새로운 탐정 도구입니다. 키워드 탐지 모델을 클럽의 매우 엄격한 문지기라고 생각해 보세요. 문지기는 비밀 암호(예: "예", "멈춰", "안녕")를 말하는 사람만 들여보냅니다. 보통 문지기는 왜 그런 결정을 내렸는지 설명하지 않고 그냥 고개를 끄덕이며 "들어오세요!"라고 말합니다. 당신이 비밀번호를 완벽하게 말했거나, 혹은 문지기를 속일 수 있을 만큼 적당히 비슷하게 말했기 때문일 수도 있습니다.

연구원들은 알고 싶었습니다: 문지기는 정확히 무엇을 듣는가? 단어의 첫 1초인가요? 마지막 0.5초인가요? 아니면 인간은 들을 수 없는 중간의 이상하고 높은 고음의 끼익 소리인가요?

이를 알아내기 위해, 그들은 단순히 사람들의 말을 듣기만 한 것이 아닙니다. 대신, 그들은 "오디오 조각하기" 게임을 했습니다. 그들은 소리의 빈 캔버스(완전한 정적 또는 백색 소음)를 가져와서 컴퓨터에게 물었습니다. "이 소리가 '멈춰(Stop)'라고 말하게 만들어 봐!" 그러자 컴퓨터는 마치 DJ가 믹서의 노브를 조절하듯, '멈춰'라는 단어에 대한 점수가 최대한 높아질 때까지 소리의 파형을 아주 조금씩, 조금씩 수정하기 시작했습니다.

컴퓨터가 사랑하는 이 "완벽한" 소리를 찾아낸 후, 그들은 **"만약 ~라면?"**이라는 게임을 시작했습니다. 그들은 소리를 가져와서 작은 조각들을 가렸습니다(마치 노래의 일부에 테이프를 붙이는 것처럼) 그리고 컴퓨터가 여전히 그 단어를 인식하는지 확인했습니다.

• 만약 조각을 가렸을 때 컴퓨터가 단어를 잊어버린다면, 그 조각은 필수적인 것이었습니다.
• 만약 컴퓨터가 여전히 단어를 알고 있다면, 그 조각은 그저 장식에 불과했습니다.

위대한 발견: 하나의 마법 같은 순간은 없다

연구원들은 이 실험을 8가지 서로 다른 러시아어 단어(예: "예", "아니오", "앞으로", "뒤로")에 대해 수행했습니다. 그들은 결과가 우연이 아님을 확실히 하기 위해 시작하는 소리를 다르게 하여 총 80번의 실험을 반복했습니다.

여기서 가장 놀라운 발견이 있습니다: 소리 속에 단 하나의 "마법 같은 순간"은 존재하지 않습니다.

그들이 단독으로 존재하여 컴퓨터가 "예"라고 말하게 만들 수 있는 완벽한 0.25초의 소리 조각을 찾았을 때, 그들은 **제로(0)**를 발견했습니다. 단 하나도 없었습니다. 가장 최적화된 소리조차도 스스로 작동할 수 있는 "슈퍼 세그먼트(super-segment)"를 가지고 있지 않았습니다.

대신, 컴퓨터는 팀워크에 의존하는 것으로 보입니다. 단어에 대한 "증거"는 퍼즐 조각 하나하나가 약간씩 중요한 것처럼 전체 소리 파형에 퍼져 있습니다. 한 조각을 가져가면 그림이 여전히 대부분 남아 있지만, 너무 많은 조각을 가져가면 그림이 무너집니다. 연구원들은 "지지 조각(supporting fragments)"을 발견했습니다. 즉, 컴퓨터를 도와주는 작은 소리 조각들은 있었지만, 그중 어느 것도 혼자서 역할을 수행할 만큼 강력하지는 않았습니다.

얼마나 확신하는가?

연구원들은 자신들의 수치에 매우 확신하고 있지만, 동시에 자신들의 주장에 매우 신중합니다.

• 점수: 80번의 실험에서 컴퓨터는 대상 단어를 100%의 확률로 식별해 냈습니다. 평균 "행복 점수"(컴퓨터가 확신하는 정도)는 0.8903이었으며, 최고 점수는 0.9805에 달했습니다.
• 방법: 그들은 단순히 추측한 것이 아니라 측정했습니다. 그들은 네 가지 방식의 소리 체크 방식(컴퓨터의 민감도, 부분을 가렸을 때 점수가 떨어지는 정도, 고립된 부분의 성능, 소리의 변화량)을 결합한 특별한 공식을 사용했습니다.
• 한계: 그들은 이것이 세상의 모든 인간의 목소리나 억양에 적용된다고 말하는 것이 아닙니다. 그들은 특정하고 작은 컴퓨터 모델과 제한된 8개 단어의 어휘를 대상으로 테스트했습니다. 그들은 이것이 실제 산업용 음성 시스템을 테스트하는 것이 아님을 명시했습니다. 이것은 "문지기"가 어떻게 생각하는지 보기 위한 통제된 실험실 실험입니다.

이것이 왜 중요한가

만약 당신의 스마트 스피커가 "헤이, 밥 먹자"라고 말했을 때, 그것이 "헤이, 불(lights)"이라고 말한 것으로 착각하여 불을 켠다면 어떻게 될까요? 만약 왜 그런 실수를 했는지 모른다면, 우리는 그것을 고칠 수 없습니다.

이 논문은 우리에게 그 "이유"를 볼 수 있는 방법을 제시합니다. 이 컴퓨터들은 단 하나의 완벽한 소리를 듣는 것이 아니라, 많은 작은 단서들의 패턴을 듣는다는 것을 보여줍니다. "단서"가 한 곳에 집중된 것이 아니라 퍼져 있다는 것을 이해함으로써, 엔지니어들은 배경 소음이나 이상한 억양에 속지 않는 더 나은, 더 신뢰할 수 있는 시스템을 구축할 수 있습니다.

연구원들은 이전보다 더 빠르거나 똑똑한 새로운 방식의 음성 인식 기술을 발명한 것이 아닙니다. 대신, 기존의 기술이 어떻게 작동하는지 들여다볼 수 있는 현미경을 발명했습니다. 그들은 테스트한 모델들에 대해, "비법 소스"가 단 한 방울의 마법이 아니라, 함께 작용하는 한 그릇의 재료들이라는 것을 증명했습니다. 그리고 이제, 오픈 소스 도구 덕분에 누구나 그 현미경을 사용하여 자신의 스마트 기기에 들어있는 재료들을 확인할 수 있습니다.