Bagpiper: Solving Open-Ended Audio Tasks via Rich Captions

당신이 로봇에게 소리의 세계를 이해하도록 가르치려 한다고 상상해 보십시오. 오랫동안 과학자들은 오디오를 별개의, 딱딱하게 구분된 상자들의 집합체로 취급해 왔습니다. 음성만을 위한 상자, 음악을 위한 다른 상자, 그리고 사이렌이나 빗소리 같은 무작ful한 소음을 위한 또 다른 상자가 있었던 식입니다. 로봇을 똑똑하게 만들기 위해 연구자들은 각 상자에 대한 특정한 지침 세트를 구축하여, 로봇이 결국 그 사이를 어떻게 전환할지 스스로 깨닫기를 바랐습니다. 하지만 이러한 접근 방식은 문장이 어떻게 흘러가는지를 전혀 배우지 못한 채, 단어 하나하나를 위해 개별적인 사전을 암기하며 언어를 배우려는 것과 같습니다. 이는 느리고 투박하며, 로봇에게 "번화한 도시의 비 오는 날처럼 들리는 재즈 곡을 만들어줘"와 같은 새로운 요청을 했을 때 어려움을 겪게 됩니다.

이 논문이 탐구하는 핵심 아이디어는 인간이 소리를 상자에 담아 듣지 않는다는 점입니다. 우리가 복잡한 장면을 들을 때, 우리의 뇌는 물리적인 음파를 우리의 생각, 감정, 그리고 기억과 즉각적으로 결합합니다. 우리는 단순히 "드럼"을 듣는 것이 아니라, "춤을 추고 싶게 만드는 에너제틱한 비트"를 듣습니다. 이 논문은 기계에게 이러한 총체적인 청취를 가르치는 새로운 방법을 소개합니다. AI에게 수천 개의 특정 과업을 암기하도록 강요하는 대신, 연구자들은 AI에게 가공되지 않은 소리를 풍부하고 상세한 이야기로 바꾸어 주는 "만능 번역기"를 제공합니다. AI에게 인간이 사용하는 것과 같은 깊이로 소리를 묘사하도록 가르침으로써, 그들은 자연스러운 대화를 통해 어떤 종류의 오디오든(속삭임부터 교향곡까지) 이해하고 생성할 수 있는 모델을 만들고자 합니다.

여기에, 소리를 위한 숙련된 스토리텔러 역할을 하는 새로운 80억 파라미터 규모의 오디오 모델, Bagpiper가 등장합니다. Bagpiper의 핵심 철학은 단순하지만 강력합니다. 소리를 이해하거나 새로운 소리를 만들기 전에, 먼저 오디오를 "풍부한 캡션(rich caption)"으로 번역한다는 것입니다. 이 캡션을 단순히 "개 짖는 소리"와 같은 단순한 라벨이 아니라, 오디오에 관한 모든 것—분위기, 악기, 화자의 감정, 배경 소음, 심지어 문화적 맥락까지—을 포착하는 생생한 다문장 이야기라고 생각하십시오. 이는 로봇이 "소음 감지됨"이라고 말하는 것과, 시인이 "젖은 보도 위로 울려 퍼지는 골든 리트리버의 날카롭고 리드미컬한 짖음과 멀리서 들리는 시내버스의 웅성거림"이라고 묘사하는 것의 차이와 같습니다.

연구자들은 Bagpiper를 6,000억 개의 "토큰"(텍로 및 오디오 덩어리)이라는 방대한 식단으로 훈련시켰습니다. 이 훈련 과정 동안, 모델은 가공되지 않은 음파와 이러한 풍부한 인지적 이야기 사이에 양방향 다리를 놓는 법을 배웠습니다. 모델은 특정 패턴의 음파가 항상 "편안한 재즈"라는 특정한 느낌과 대응한다는 것을 배웠고, 역으로 "차분한 아침"에 대한 이야기가 어떻게 새가 지저귀고 커피를 내리는 정확한 소리로 변환될 수 있는지도 배웠습니다. 이 과정은 모델에게 "자, 이제 너는 음성 인식기야"라거나 "이제 너는 음악 생성기야"라고 말하지 않고도 진행됩니다. 모델은 그저 소리 자체의 언어를 배우는 것입니다.

이러한 토대를 구축한 후, 연구자들은 Bagpiper에게 "캡션 후 처리(caption-then-process)" 워크플로우를 사용하여 문제를 해결하는 법을 가르쳤습니다. 만약 당신이 Bagpiper에게 "로봇이 사랑에 빠지는 소리를 만들어줘"라고 요청한다고 가정해 봅시다. 모델은 소리를 직접 추측하는 대신, 그것이 어떤 소리일지에 대한 상세한 내부 이야기(사고의 사슬, Chain of Thought)를 먼저 작성합니다: 기계적인 윙윙거림이 느려지고, 부드러운 차임벨 소리가 들리며, 목소리는 더 따뜻해진다... 그런 다음 모델은 이 이야기를 청사진으로 삼아 실제 오디오를 생성합니다. 이를 통해 모델은 미리 프로그래밍된 과업 목록에 의존하는 것이 아니라, 소리의 "이야기"에 대한 이해를 바탕으로 즉흥 연주를 함으로써, 한 번도 본 적 없는 개방형 요청들을 처리할 수 있습니다.

결과는 이 접근 방식이 매우 효과적임을 시사합니다. 테스트에서 Bagpiper는 음성, 음악, 음향 효과를 포함한 다양한 오디오를 생성할 수 있을 뿐만 아니라, 랩 노래에 재즈 비트와 관중의 웃음소리를 동시에 섞는 것과 같이 복잡한 방식으로 이들을 혼합할 수 있음을 증명했습니다. 모델은 오디오를 이해하는 데 있어 훨씬 더 큰 규모의 특화된 모델들과 대등한 성능을 보였으며, 복잡하고 창의적인 지시를 따르는 데 있어서는 최고 수준의 다른 모델들을 능가했습니다. 이 논문은 AI에게 생각할 수 있는 "풍부한 캡션"을 제공함으로써, 물리적인 소리와 인간의 개념 사이의 간극을 메우고, 기존 모델들이 어려워했던 유연하고 개방적인 방식으로 오디오 과업을 해결할 수 있음을 보여줍니다. 비록 모델이 생성하는 이야기에서 일부 오류를 물려받기도 하지만, 실험 결과는 이 "이야기로 생각하기" 방법이 진정한 범용 오디오 지능을 향한 유망한 경로임을 시사합니다.