Listen, Reason, and Segment: Aligning LALMs with Editorial Judgment for Media Chapterization

수십 년간의 텔레비전 방송부터 수백만 시간의 온라인 영상에 이르기까지, 인류가 만들어낸 방대한 소리의 기록물 속에는 기계에게는 종종 보이지 않는 구조가 존재합니다. 컴퓨터는 음성을 듣고 개 짖는 소리나 자동차 경적 소리 같은 특정 소리를 식별하는 데는 놀라울 정도로 능숙해졌지만, 더 미묘한 인간적 과업인 '이야기의 흐름'을 이해하는 데는 어려움을 겪습니다. 인간 편집자가 긴 영상을 시청할 때, 그들은 단순히 소음을 듣는 것이 아니라 주제가 바뀌는 지점, 음악적 간주가 끝나는 지점, 혹은 새로운 세그먼트가 시작되는 지점을 감지합니다. 그들은 콘텐츠를 장(chapter)으로 나누기 위해 마커를 배치하며, 이를 통해 시청자가 원하는 부분으로 바로 이동할 수 있게 합니다. 그러나 컴퓨터에게 이것은 어려운 퍼즐입니다. 이러한 구획 사이의 경계는 결코 큰 충돌음이나 갑작스러운 침묵에 의해 표시되지 않습니다. 대신, 톤의 변화, 화법의 리듬 변화, 또는 배경 음악의 미묘한 전환에 의해 정의됩니다. 이는 편집적 판단의 영역이며, 세계의 오디오를 정리하려는 인공지능이 여전히 도달하지 못한 주관적인 기술입니다.

서리 대학교(University of Surrey)와 화웨이(Huawei)의 연구진은 기계에게 이 특정한 기술을 가르치기 위한 새로운 접근 방식을 개발했습니다. 그들은 '오디오 챕터화(audio chapterization)'라고 불리는 작업에 집중했는데, 이는 연속적인 소리의 흐름을 받아 의미 있고 주제적인 섹션으로 나누는 작업을 포함합니다. 문제는 이러한 섹션들이 엄격한 규칙이 아니라 제작자의 의도에 의해 정의된다는 점입니다. 팟캐스트는 화자의 주제가 바뀜에 따라 장을 나눌 수 있고, 게임 스트리밍은 레벨 완료를 기준으로 나뉠 수 있으며, 뮤직 비디오는 노래가 바뀔 때 분리될 수 있습니다. 기존의 도구들은 대개 음성을 텍스트로 먼저 변환한 뒤 단어를 분석하여 이 문제를 해결하려 합니다. 이 방식은 단순한 인터뷰에는 효과적이지만, 단어만으로는 전체 이야기를 설명할 수 없는 음악, 음향 효과, 또는 역동적인 액션이 포함된 오디오에서는 처참하게 실패합니다. 연구진은 이러한 경계를 진정으로 이해하기 위해서는 인공지능이 인간 편집자처럼 소리를 통해 직접 추론하며 오디오를 들어야 한다는 점을 깨달았습니다.

이를 달성하기 위해 팀은 '오디오챕스(AudioChaps)'라고 부르는 시스템을 만들었습니다. 그들은 소리를 이해하도록 설계된 인공지능인 강력한 오디오 언어 모델로 시작했으나, 가장 진보된 버전이라 할지라도 스스로 내버려 두었을 때는 이 작업에 어려움을 겪는다는 것을 발견했습니다. 이러한 모델들은 지나치게 조심스러워 경계를 통째로 놓치거나, 음악이나 게임 스트리밍 같은 복잡한 오디오에서 경계를 인식하지 못하는 경향이 있었습니다. 연구진은 모델이 단순히 패턴을 인식하는 것이 아니라, 인간 편집자의 의사결정 과정을 모방하도록 훈련하기로 했습니다. 그들은 콘텐츠 제작자들이 이미 직접 표시해 둔 챕터 경계가 담긴 유튜브의 방대한 오디오 클립 컬렉션을 수집했습니다. 이러한 실제 세계의 마커들은 무엇이 '올바른' 결정인지를 보여주는 황금 표준 역할을 했습니다.

훈련 과정은 모델을 인간과 유사한 추론으로 안내하기 위해 설계된 두 가지 뚜ang별 단계로 구성되었습니다. 첫째, 연구진은 모델에게 오디오를 생각하는 구조적인 방식을 제공했습니다. 그들은 모델에게 경계가 존재하는지 결정하기 전에 템포의 변화, 새로운 악기의 등장, 또는 화자의 톤 변화 등을 단계별로 기술하도록 요청하는 데이터셋을 만들었습니다. 이 단계는 모델이 단순히 추측하는 것이 아니라 소리 속에서 근거를 찾도록 가르쳤습니다. 모델이 이러한 상세하고 근거에 기반한 설명을 생성하는 법을 배운 후, 연구진은 두 번째 훈련 층을 적용했습니다. 모델이 동일한 오디오 클립에 대해 여러 번의 시도를 하게 하고, 최종 결정이 제작자의 원래 챕터 표시와 일치할 때만 보상을 주는 방식이었습니다. 연구진이 '그룹 상대 정책 최적화(group relative policy optimization)'라고 부르는 이 과정은 모델이 자신의 실수와 성공으로부터 배우게 하여, 단순한 대화의 휴지와 진정한 서사의 전환을 구별하는 능력을 정교하게 다듬을 수 있게 했습니다.

결과는 놀라웠습니다. 구조화된 연설, 역동적인 엔터테인먼트, 게임 스트리밍, 음악을 포함한 다양한 유형의 오디오로 테스트했을 때, 새로운 시스템은 이전의 모든 시도들을 능가했습니다. 기존의 가장 우수한 모델들이 평균적으로 약 28%의 확률로만 경계를 정확히 식별했던 반면, 새로운 시스템은 거의 78%의 성공률을 달려 달성했습니다. 이 향상은 단순히 정답을 더 많이 맞히는 문제가 아니라, 소리의 뉘앙스를 이해하는 문제였습니다. 이 시스템은 특히 이전 도구들이 거의 완전히 실패했던 영역인 음악과 게임 스트리밍을 처리하는 데 탁월한 능력을 보였습니다. 음악을 포함한 특정 테스트에서, 새 모델은 경계를 찾는 능력을 단 6%에서 84% 이상으로 끌어올렸는데, 이는 모델이 단지 단어만을 보는 것이 아니라 음악 자체를 듣는 법을 마침내 배웠음을 시사합니다.

가장 중요한 점은, 연구진이 이러한 높은 수준의 성능이 거대하고 에너지를 많이 소비하는 컴퓨터를 필요로 하지 않는다는 것을 입증했다는 것입니다. 80억 개의 파라미터를 가진 모델을 기반으로 구축된 이 시스템은, 네 배나 더 크고 훨씬 더 복잡한 방법으로 훈련된 다른 모델들보다 더 뛰어난 성능을 보였습니다. 이는 성공의 열쇠가 단순히 '뇌'의 크기가 아니라, 어떻게 '생각하는 법'을 가르쳤느냐에 달려 있음을 시사합니다. 모델의 결정을 실제 제작자의 편집 선택과 일치시킴으로써, 연구진은 기계가 자연스럽고 직관적인 방식으로 오디오의 흐름을 탐색하는 법을 배울 수 있음을 보여주었습니다. 이 시스템은 단순히 볼륨의 변화를 감지하는 것이 아니라, 혼란스럽고 빠른 노래에서 차분한 구두 도입부로의 전환이 새로운 챕터의 시작임을 이해합니다.

이 연구의 함의는 단순한 정리를 훨씬 넘어섭니다. 연속적이고 구조화되지 않은 오디오 스트림을 탐색 가능한 챕터형 콘텐츠로 변환함으로써, 이 기술은 미디어를 상호작용하는 새로운 방식을 열어줍니다. 사용자가 긴 강의에서 필요한 특정 구간으로 바로 이동할 수 있게 하거나, 기록 보관사가 수십 년 치의 영상 속에서 관련 클립을 빠르게 찾도록 도울 수 있습니다. 연구진은 현재 시스템이 짧고 중첩되는 오디오 조각을 분석하여 작동하지만, 궁극적인 목표는 변화가 발생하는 지점을 정확히 짚어내는 능력을 잃지 않으면서 전체 녹음본에 이 추론을 적용하는 것이라고 언급했습니다. 그들은 이미 이 방법이 전체 길이의 녹음물에서 경계를 성공적으로 지도화할 수 있음을 보여주었으며, 챕터 시작 위치를 찾는 평균 오차를 단 10초로 줄였습니다. 이러한 정밀도는 방대한 소리의 바다를 목차(table of contents)가 있는 책처럼 쉽게 탐색할 수 있는, 완전히 탐색 가능한 오디오 세상의 비전을 현실로 가져옵니다.

결국, 서리와 화웨이 팀의 연구는 지능이란 단순히 데이터를 처리하는 것이 아니라 맥락을 이해하는 것임을 상기시켜 줍니다. 그들은 단순히 소리 이벤트를 더 잘 감지하는 장치를 만든 것이 아니라, 스토리텔러의 의도로 듣는 법을 배우는 시스템을 구축했습니다. 기계에게 소리의 음향적 근거를 통해 추론하고 그들의 결정을 인간의 판단과 일치시키도록 가르침으로써, 그들은 가공되지 않은 오디오와 구조화된 지식 사이에 오랫동안 존재했던 간극을 메웠습니다. 그 결과물은 소리의 벽을 하나의 지도로 바꾸어, 우리가 소음 속에서 길을 찾고 그 안에 숨겨진 이야기를 발견할 수 있게 해주는 도구입니다.