Don't Just Listen, Try Planning: Graph-based Retrieval-Generation Agent for Long-form Audio Meeting Understanding

길고 북적이는 회의실에 앉아 있다고 상상해 보십시오. 목소리들이 겹치고, 사람들이 서로 말을 끊으며, 대화는 예산 논의에서 갑작스러운 좌절 섞인 분노로 흘러갑니다. 만약 나중에 누군가 당신에게 특정 인물이 왜 19분 지점에서 목소리를 높였는지 정확히 설명하거나, 회의 시작 시점에 내려진 결정이 어떻게 20분 뒤의 불만으로 이어졌는지 추적하라고 요청한다면, 당신은 단순히 말해진 단어 그 이상에 의존하게 될 것입니다. 당신은 어조, 음량, 휴지(pause), 그리고 대화가 한 사람에게서 다른 사람에게로 어떻게 흘러갔는지를 기억할 것입니다. 수십 년 동안 컴퓨터는 이와 같은 일을 수행하는 데 어려움을 겪어 왔습니다. 기계는 음성을 텍스트로 변환하는 데는 매우 뛰어나졌지만, 길고 복잡한 대화의 전체 맥락을 이해하는 데는 종종 실패합니다. 기계는 회의를 단순한 문장의 목록처럼 취급하며, 누가, 언제, 어떻게 말했는지에 대한 결정적인 세부 사항들을 놓치곤 합니다. 이러한 한계는 몇 시간 분량의 녹음본에 대해 질문에 답해야 할 때 큰 장애물이 됩니다. 질문에 대한 답이 전체 기간에 걸친 상호작용의 거미줄 속에 깊숙이 숨겨져 있을 수 있기 때문입니다.

중국 소주대학교(Soochow University)의 연구진은 이 문제를 해결하기 위해 단순히 오디오를 듣는 것을 넘어, 답을 찾기 위해 능동적으로 계획을 세우는 새로운 접근 방식을 개발했습니다. 그들은 기존의 인공지능 모델들이 음성을 처리하도록 설계되었음에도 불구하고, 원문 텍스트를 얻기 위해 목소리의 크기나 감정과 같은 가치 있는 음향 정보를 버리는 경우가 많다는 점을 먼저 인정했습니다. 더욱이, 이러한 모델들은 긴 녹음의 끝부분에 대한 질문에 답하려고 할 때 녹음의 시작 부분에 있는 세부 사항을 기억하는 데 어려움을 겪습니다. 이를 해결하기 위해 연구팀은 먼저 실제 회의를 담은 'LongAudioQA'라는 새로운 데이터셋을 구축했습니다. 이 데이터셋은 단순한 사실적 질의부터 화자의 감정 상태를 이해하거나 대화의 서로 떨어진 두 부분 사이의 논리적 연결을 파악해야 하는 복잡한 질문에 이르기까지 수백 개의 질문을 포함하고 있습니다.

그들의 솔루션의 핵심은 '그래프 기반 검색-생성 에이전트(graph-based retrieval-generation agent)'라고 불리는 시스템입니다. 연구진은 오디오 파일 전체를 하나의 모델에 한꺼번에 입력하는 대신, 먼저 회의를 구조화된 지도로 분해합니다. 이 지도에서 발화된 모든 문장은 하나의 노드(node)가 되며, 이들 사이의 연결은 누가 말하고 있는지, 언제 말하고 있는지, 그리고 무엇에 대해 이야기하고 있는지에 따라 그려집니다. 이러한 구조 덕분에 컴퓨터는 회의를 단어의 흐름이 아닌 관계의 네트워크로 볼 수 있습니다. 사용자가 질문을 던지면, 시스템은 단순히 일치하는 단어를 찾는 것에 그치지 않습니다. 대신, 시스템은 마치 인간 전문가처럼 자신의 검색을 계획합니다. 질문을 세분화하고, 지도의 어느 부분을 탐색할지 결정하며, 증거를 수집하기 위해 연결 고리를 따라 단계별로 이동합니다.

초기 검색이 충분한 정보를 제공하지 못할 경우, 시스템은 자신의 진행 상황을 스스로 성찰(reflect)할 수 있는 능력을 갖추고 있습니다. 시스템은 목소리의 특정 어조나 이전 진술의 맥락과 같이 퍼즐의 빠진 조각이 있다는 것을 깨닫고, 그 빠진 조각을 찾기 위해 검색 계획을 다시 세울 수 있습니다. 이러한 검색, 수집, 성찰의 순환은 시스템이 올바른 답을 찾았다고 확신할 때까지 계속됩니다. 이 방식은 특정 순간에 화자가 왜 화가 났는지 파악하기 위해 그 순간을 이전에 깨진 약속과 연결 짓는 것과 같이, 시간을 가로질러 점들을 연결해야 하는 질문을 처리할 수 있게 해줍니다.

테스트 결과, 이러한 계획 기반 접근 방식은 단순한 텍스트 검색이나 직접적인 오디오 처리에 의존하는 기존의 최첨단 모델들보다 성능이 훨씬 뛰어난 것으로 나타났습니다. 30분이 넘는 회의를 대상으로 한 테스트에서, 이 새로운 시스템은 특히 화자의 감정적 어조를 이해하거나 긴 기간 동안의 대화 흐름을 추적해야 하는 복잡한 질문들에 대해 훨씬 높은 정확도로 답할 수 있었습니다. 연구진은 화자와 시간 사이의 관계를 명시적으로 모델링하고 컴퓨터가 스스로 검색 전략을 계획할 수 있도록 함으로써, 중요한 세부 사항이 녹음본에서 너무 멀리 떨어져 있어 손실되는 흔한 문제인 '맥락 파편화(context fragmentation)'를 극복할 수 있음을 발견했습니다.

이 연구는 컴퓨터가 긴 형태의 인간 대화를 진정으로 이해하기 위해서는 강력한 프로세서 이상의 것이 필요하다는 점을 시사합니다. 즉, 정보를 조직화하는 방법이 인간이 자연스럽게 복잡한 사회적 상호작용을 탐색하는 방식과 닮아야 한다는 것입니다. 회의를 구조화된 지도로 취급하고 컴퓨터에게 검색 과정을 생각할 수 있는 능력을 부여함으로써, 연구진은 컴퓨터가 회의를 듣고, 그 안의 관계를 이해하며, 녹음의 실제 증거에 근거한 답변을 제공할 수 있는 시스템을 만들어냈습니다. 이 시스템은 여전히 매우 소음이 심한 녹음 환경에서는 과제를 안고 있지만, 계획하고 성찰하는 능력은 인공지능이 인간 대화의 깊이를 온전히 이해할 수 있도록 만드는 중요한 진전입니다.