INSPIRE: A Benchmark for Instruction-Aware Speech Retrieval

건초더미 속에서 특정한 바늘을 찾는 것을 상상해 보십시오. 하지만 그 바늘은 당신이 어떻게 요청하느냐에 따라 그 모양을 바꿉니다. 만약 당신이 빛나는 바늘을 찾으면 다른 바늘을 얻게 되고, 빨간색 바늘을 찾으면 또 다른 것을 얻으며, 큰 소음 근처에서 떨어진 바늘을 찾으면 또 다른 것을 얻게 됩니다. 수십 년 동안 컴퓨터는 정보를 찾는 능력이 향상되어 왔지만, 대부분 경직된 매칭 시스템에 의존해 왔습니다. 만약 당신이 특정 단어를 검색하면, 컴퓨터는 그 단어와 정확히 일치하는 단어를 찾습니다. 만약 당신이 소리를 검색하면, 컴퓨터는 당신의 검색어와 똑같이 들리는 소리를 찾습니다. 이는 당신이 무엇을 찾고 있는지 정확히 알고 있을 때는 잘 작동하지만, 요구 사항이 더 복렴해질 때는 실패합니다. 현실 세계에서 사람들은 단순히 똑같은 소리가 나는 녹음본을 찾고 싶은 것이 아닙니다. 그들은 화자가 화가 난 것처럼 들리는 녹음, 혹은 배경 소음이 빗소리인 녹음, 또는 이전 클립에서 말했던 것과 동일한 사람이 말하고 있는 녹음을 찾고 싶어 할 수도 있습니다. 과학자들의 과제는 컴퓨터에게 단순히 정적인 패턴을 매칭하는 것이 아니라, 이러한 변화무쌍하고 인간적인 지시를 이해하도록 가르치는 것이었습니다.

국립 대만 대학교의 연구진은 INSPIRE라는 새로운 테스트 환경을 구축함으로써 이 문제를 해결하기 위한 중요한 발걸음을 내디뎠습니다. 이것은 모든 것을 해결하는 새로운 컴퓨터 프로그램이 아니라, 현재의 기술이 이러한 유연한 지시를 얼마나 잘 처리할 수 있는지 확인하기 위해 정교하게 설계된 벤치마크입니다. 연구진은 방대한 음성 녹음 라이브러리를 구축하고 이를 수천 개의 자연어 명령과 쌍으로 연결했습니다. 이 명령들은 "이 대화의 다음 부분을 찾아줘"와 같은 단순한 요청부터, "같은 사람이 슬프게 말하면서 배경에 발소리가 들리는 녹음을 찾아줘"와 같은 복잡하고 다층적인 요구까지 다양합니다. 목표는 기존의 인공지능 시스템이 음성 질문과 텍kt 지시문을 보고, 그 특정 설명에 부합하는 정확한 오디오 클립을 성공적으로 찾아낼 수 있는지 확인하는 것이었습니다.

연구진은 네 가지 유형의 컴퓨터 시스템을 테스트하여 성능을 측정했습니다. 첫 번째 그룹은 소리와 텍스트를 모두 이해하도록 훈련된 고급 시스템인 대규모 오디오-언어 모델로 구성되었습니다. 두 번째 그룹은 컴퓨터가 먼저 음성을 텍st 및 캡션으로 변환한 다음, 표준 텍스트 검색 도구를 사용하여 해당 텍스트를 검색하는 "계단식 파이프라인(cascaded pipeline)" 방식을 사용했습니다. 세 번째 그룹은 텍스트로 변환하지 않고 직접 소리 패턴을 학습하는 자기 지도 학습 기반 음성 모델에 의존했습니다. 마지막 그룹은 텍스트와 오디오를 서로 연결하려고 시도하는 대조 학습 모델을 사용했습니다. 연구진은 각 시스템이 수천 개의 잘못된 선택지 중에서 올바른 오디오 클립을 얼마나 자주 성공적으로 찾아냈는지 측정했습니다.

결과는 이 기계들이 어떻게 사고하는지에 대한 명확하고 놀라운 차이를 드러냈습니다. 음성을 먼저 텍스트로 변환하는 시스템은 실제로 말해진 내용에 기반하여 클립을 찾는 데 매우 뛰어났습니다. 만약 지시가 특정 문장이나 대화의 연속성을 찾는 것이라면, 이러한 텍스트 기반 방식은 매우 우수한 성능을 보였습니다. 그러나 소리가 어떻게 만들어졌는지에 대한 지시가 내려지면 이들은 엄청나게 고전했습니다. 화자의 정체성, 감정적 어조, 또는 배경 소음에 기반하여 클립을 찾으라는 요청을 받았을 때, 이 텍스트 기반 시스템들은 무작위 추측보다 나은 성과를 내지 못했습니다. 소리를 단어로 바꾸는 순간, 그들은 행복한 목소리와 슬픈 목소리의 차이를 결코 "들을" 수 없었습니다.

반면에, 텍스트로 변환하지 않고 음파를 직접 들었던 시스템들은 정반대의 강점을 보였습니다. 이들은 화자의 목소리, 말하기 스타일, 그리고 주변 환경의 소리를 인식하는 데 훨씬 더 뛰어났습니다. 하지만 이 시스템들은 단어의 의미를 이해하거나 복잡하고 다단계적인 명령을 따라야 하는 지시에는 실패했습니다. 그들은 목소리는 들을 수 있었지만, 특정 방식으로 특정 내용을 말하는 특정 목소리를 찾으라는 지시를 따를 수는 없었습니다. 이 간극을 메울 것으로 기대되었던 가장 진보된 대규모 오디오-언어 모델들조차 그러했습니다. 그들은 일부 작업에서는 준수한 성능을 보였지만, 소리와 지시를 동시에 깊이 있게 이해해야 하는 작업에서는 미치지 못했습니다.

연구는 또한 컴퓨터가 화자가 누구인지 또는 배경 소음이 무엇인지 정확히 아는 것과 같은 완벽한 메타데이터 "참조"를 받았을 때 어떤 일이 발생하는지도 살펴보았습니다. 완벽한 정보가 주어졌음에도 불구하고, 텍스트 기반 시스템은 복합적인 특징이 포함된 지시를 처리할 때 여전히 클리을 안정적으로 찾지 못했습니다. 이는 문제가 단순히 컴퓨터가 잘 듣지 못하는 것이 아니라, 현재의 구조가 다양한 유형의 정보를 혼합하는 지시를 처리하도록 설계되지 않았음을 시사합니다. 연구진은 테스트한 어떤 단일 방법도 인간이 소리를 찾기 위해 사용하는 다양한 방식들을 견고하게 처리할 수 없다는 것을 발견했습니다.

궁극적으로, 이 논문은 이 분야가 갈림길에 서 있다고 결론짓습니다. 현재의 도구들은 너무 전문화되어 있습니다. 어떤 것은 대본을 읽는 데는 뛰어나지만 어조에는 귀가 먹었으며, 어떤 것은 어조를 듣는 데는 뛰어나지만 지시문에는 문맹입니다. 연구진은 차세대 기술이 통합된 시스템, 즉 소리를 듣고, 복잡한 지시를 읽고, 정답이 그 두 가지의 조합에 있다는 것을 이해할 수 있는 시스템이 되어야 한다고 주장합니다. 그러한 시스템이 구축될 때까지, 우리가 텍ست를 검색하는 것과 같은 자연스러운 용이함과 정밀함으로 목소리 라이브러리를 검색하는 능력은 여전히 도달할 수 없는 영역으로 남아 있습니다. 이 연구는 최종적인 해결책을 제시하는 것이 아니라, 현재의 기술이 어디에서 무너지는지, 그리고 미래의 음성 검색이 나아가야 할 방향이 어디인지를 명확하게 보여주는 지형도를 그려내고 있습니다.