Efficient Text-to-Audio Generation via Pruning

당신이 말을 하면 컴퓨터가 즉각적으로 노래, 천둥소리, 혹은 개 짖는 소리를 불러주는 세상을 상상해 보세요. 이것은 문장을 파동으로 바꾸는 인공지능의 한 분야인 "텍text-to-audio(텍스트-오디오)" 생성의 마법입니다. 이를 위해 컴퓨터는 "확산 모델(diffusion model)"이라는 영리한 기술을 사용합니다. 이것은 마치 조각가가 노이즈와 정적 가득한 대리석 덩어리에서 시작하여, 완벽한 조각상이 나타날 때까지 노이즈를 조금씩 깎아내는 것과 같습니다. 조각가가 더 세심할수록 조각상은 더 멋지게 완성되지만, 모든 작은 입자를 깎아내는 데는 오랜 시간과 많은 에너지가 필요합니다.

문제는 현재 이 디지털 조각가들이 거대하고 무거우며 에너지를 많이 소비한다는 점입니다. 이들은 마치 거대한 발전소를 필요로 하는 거대하고 복잡한 로봇과 같아서, 일반적인 휴대폰이나 노트북에서 사용하기 어렵습니다. 과학자들은 예술적 감각을 잃지 않으면서도 이 로봇들을 어떻게 더 작고 빠르게 만들 수 있을지 끊임없이 연구하고 있습니다. 이 논문은 바로 그 과제에 뛰어들어 다음과 같이 질문합니다. "우리는 이 거대한 오디오 조각 로봇의 군살을 빼서, 여전히 아름답고 정확한 소리를 만들어내면서도 더 빠르고 적은 전력을 사용하게 만들 수 있을까?"

위대한 오디오 로봇 다이어트

AI 음악과 소리의 세계에서 슈퍼스타 로봇인 AudioLDM을 만나보세요. 이 로봇은 "공원에서 개가 짖는 소리"와 같은 텍text 프롬프트를 듣고 현실적인 오디오 클립을 만들어내는 것으로 유명합니다. 하지만 함정이 있습니다. AudioLDM은 약간 식탐이 많습니다. 이 로봇은 무거운 작업을 수행하는 4억 개 이상의 작은 부품(파라미터)을 가진 거대한 "두뇌"(U-Net이라고 불림)를 가지고 있습니다. 소리를 만들 때마다 수십억 번의 수학 연산을 처리해야 하며, 이는 시간도 걸리고 배터리도 소모합니다.

이 논문의 연구진은 이 거대한 로봇에게 "수술"을 할 수 있는지 알아보기로 했습니다. 그들은 이 로봇을 가지치기(pruning)하고 싶었습니다. 마치 정원사가 나무가 더 강하고 빠르게 자라도록 가지를 치는 것처럼, 별로 하는 일 없이 노는 두뇌의 부분들을 잘라내고자 한 것입니다.

가지치기 전략: L1-노름 가위
연구팀은 단순히 어떤 부분을 자를지 추측하지 않았습니다. 그들은 "L1-norm"이라 불리는 특정 규칙을 사용했습니다. 모든 로봇의 두뇌 부품에는 로봇이 작동할 때 얼마나 크게 말하는지를 보여주는 "볼륨 조절 노브"가 있다고 상상해 보세요. 연구진은 모든 노브를 살펴본 결과, 많은 노브가 거의 속삭이는 수준이라는 것을 발견했습니다. 그들은 가장 조용한 것들(숫자가 가장 낮은 것들)을 찾아내어 소리를 끄고 아예 제거하기로 결정했습니다.

그들은 로봇의 두뇌에서 가장 무거운 작업이 일어나는 가장 깊고 복잡한 층들에 가위를 집중했습니다. 이러한 조용한 부분들을 신중하게 제거함으로써, 그들은 "가지치기 된" 버전의 로봇을 만들었습니다.

결과: 더 작고, 빠르며, 여전히 날카로운
결과는 놀라울 정도로 좋았습니다. 연구진은 로봇의 전체 부품 중 **83%**를 잘라냈고, 수학적 연산량(MACs라고 불림)을 39% 줄였습니다. 이는 거대하고 연료를 많이 잡아먹는 트럭을 민첩한 전기 스쿠터로 바꾸는 것과 같습니다.

하지만 까다로운 점이 있습니다. 로봇의 부품을 잘라내면 보통 로봇이 조금 서투르게 변하기 마련입니다. 가지치기 된 로봇은 처음에 몇몇 소리를 만드는 데 어려움을 겪었습니다. 그러나 연구팀은 거기서 멈추지 않았습니다. 그들은 잘려 나간 로봇에게 **"파인튜닝(finetuning, 미세 조정)"**이라는 짧은 "보충 수업"을 주었습니다. 그들은 로봇이 새로운, 더 작은 두뇌를 사용하는 법을 다시 배울 수 있도록 오디오 클립 데이터셋을 통해 연습하게 했습니다.

이 짧은 연습 세션 후에 마법이 일어났습니다. 작고 다이어트된 로봇은 원래의 거대한 로봇만큼, 혹은 때로는 그보다 더 잘 수행하기 시작했습니다.

• 원래 로봇은 8.8 GB의 저장 공간을 차지했습니다. 새로운 다이어트 버전은 (가장 공격적인 절단 시) 단 3.2 GB만을 차지했습니다.
• 원래 로봇은 10초 분량의 소리를 생성하는 데 다소 느렸습니다. 새로운 로봇은 더 빨랐으며, "실시간 계수(real-time factor, 속도 측정 지표)"가 2.14에서 1.86으로 떨어졌습니다. 이는 오디오 생성에 필요한 시간이 약 13% 감소했음을 의미하며, 과정이 눈에 띄게 빨라졌음을 보여줍니다.
• 가장 중요한 것은, FAD라는 점수로 측정된 소리의 품질이 어떤 경우에는 오히려 개선되어 3.95에서 1.57로 떨어졌다는 점입니다 (낮을수록 좋습니다).

"안전"에 대한 놀라운 발견
로봇이 빨라지긴 했지만, 연구진은 로봇이 무엇을 만드는 데 어려움을 겪는지에 대해 흥미로운 사실을 발견했습니다. 보충 수업을 받기 전, 가지치기 된 로봇은 특정 유형의 소리를 만드는 데 애를 먹었습니다. 마치 로봇이 총성, 사이렌, 또는 폭발음을 만드는 법을 잊어버린 것 같았습니다. 또한 드릴이나 재봉틀 같은 기계적 소음에도 어려움을 겪었으며, 심지어 똑딱거리는 소리나 분무 소리 같은 작은 소리에도 힘들어했습니다.

이것들은 중요한 소리들입니다! 사이렌이나 총성은 "안전에 직결된(safety-critical)" 소리이며, 명확하게 들려야 합니다. 연구진은 로봇이 다이어트되었을 때 이러한 특정 소리들을 잃는 것에 매우 민감하다는 것을 발견했습니다. 구체적으로, 가지치기 된 모델은 이러한 안전 직결 이벤트의 **73.5%**를 놓쳤습니다. 하지만 파인튜닝 단계가 여기서 영웅 역할을 했습니다. 로봇이 연습을 마친 후, 잃어버렸던 성능의 상당 부분을 회복했습니다. 안전 직결 소리들의 **회복률은 76.0%**였는데, 이는 가지치기 된 모델이 생성에 실패했던 소리들 중 약 4분의 3 정도를 파인튜닝 과정이 성공적으로 되살려냈음을 의미합니다.

이것이 의미하는 바
이 논문은 AI 오디오 모델에 많은 "중복성(redundancy)"이 있다는 점을 시사합니다. 즉, 모델들은 엄격하게 필수적이지 않은 많은 여분의 부품을 가지고 있다는 것입니다. 단순한 가지치기 방법(조용한 부분을 잘라내는 것)과 가벼운 연습(파인튜닝)을 결使用하면, 우리는 이러한 모델을 훨씬 더 효율적으로 만들 수 있습니다.

연구진은 단순히 모델을 줄인 것이 아니라, 음악이나 효과음의 품질을 희생하지 않으면서도 모델을 83% 더 작게, 그리고 계산 작업량을 39% 더 가볍게 만들 수 있음을 증명했습니다. 실제로 어떤 소리들에 대해서는 더 작은 모델이 더 나은 성능을 보이기도 했습니다. 이는 거대한 서버 팜 없이도 휴대폰과 같은 작은 기기에서 이러한 강력한 오디오 생성기를 실행할 수 있는 길을 열어줍니다.

연구팀은 가지치기가 특정 까다로운 소리(안전 경보나 기계적 소음 등)를 만드는 로봇의 능력을 일시적으로 저하시키지만, 약간의 연습이 이를 바로잡아준다고 결론짓습니다. 이는 효율성을 위한 승리이며, 때로는 '적은 것이 정말로 더 많은 것(less is more)'임을 보여줍니다.