AVSD-Scenes: A Dataset for Audio-Visual Description of Urban Scenes

도시는 결코 조용하지 않으며, 결코 정지해 있지도 않습니다. 도시는 버스의 웅성거림, 군중의 대화, 공원 벤치의 시각적 흐름이 동시에 일어나는, 끊임없이 변화하는 소리와 시각의 태피스트리입니다. 수십 년 동안 과학자들은 컴퓨터가 이러한 환경을 이해하도록 가르치려 노력해 왔지만, 그들은 종종 녹음된 내용을 단순히 "공원"이나 "거리"와 같은 단순한 라벨로 태깅하는 방식에 의존해 왔습니다. 이러한 라벨은 유용하지만, 그것은 빈약합니다. 그것들은 장소는 알려주지만 이야기는 놓칩니다. 나뭇잎의 구체적인 바스락거림이나, 지나가는 행인의 코트 색깔, 혹은 소리가 건물에 반사되는 방식 등을 포착하지 못합니다. 도시를 진정으로 이해하기 위해서 컴퓨터는 이름 이상의 것이 필요합니다. 즉, 보이는 것과 들리는 것을 하나의 일관된 서사로 엮어내는 설명이 필요합니다.

이것이 바로 IIT 마드라스(IIT Madras)와 킹스 칼리지 런던(King's College London)의 연구진이 AVSD-Scenes라는 새로운 프로젝트를 통해 해결하고자 한 과제입니다. 연구팀은 각 장면의 오디오와 비디오에서 일어나는 일을 정확하게 설명하는 풍부하고 자연스러운 언어 묘사가 짝지어진 거대한 도시 장면 컬렉션을 구축하기 위해 힘썼습니다. 그들은 모든 클립에 동기화된 사운드와 비디오가 포함된 10개 유럽 도시의 기존 라이브러리인 12,291개의 녹음본에서 시작했습니다. 그러나 기존 라이브러리는 기본적인 카테고리 태그만을 제공했습니다. 연구진은 그 빈틈을 메우고 싶어 했으며, 단순한 태그를 각 장면에서 발생하는 구체적인 사건, 사물, 행동을 설명하는 상세한 단락으로 변모시키고자 했습니다.

이를 달성하기 위해 그들은 전문화된 관찰자 팀처럼 작동하는 자동화된 파이프라인을 구축했습니다. 먼저, 강력한 인공지능 모델을 사용하여 소리와 영상을 각각 분석했습니다. 한 모델은 오디오를 듣고 새의 지저귐이나 교통 소음 같은 특정 소리를 식별하여 들은 내용에 대한 짧은 요약을 작성했습니다. 또 다른 모델은 비디오를 보고 사람, 차량, 움직임을 포착하여 본 것에 대한 요약을 작성했습니다. 이 두 개의 분리된 기록은 이후 더 발전된 세 번째 언어 모델로 전달되었습니다. 이 최종 모델은 편집자 역할을 하며, 오디오 노트와 비각적 노트를 하나의 통합된 이야기로 결합했습니다. 이 모델은 이야기가 논리적으로 구성되도록 하고, 허구의 내용을 만들지 않으며, 소리와 이미지로부터 제공된 실제 증거에 기반하여 설명을 유지하도록 지시받았습니다. 그 결과, 모든 도시 장면이 인간의 관찰처럼 읽히며, 순간의 전체적인 맥락을 포착하는 단락과 함께 제공되는 데이터셋이 탄생했습니다.

연구진은 이 컴퓨터 생성 설명들이 실제로 유용한지를 테스트했습니다. 그들은 설명이 컴퓨터가 세상을 더 잘 이해하는 데 도움이 될 수 있는지 확인하기 위해 일련의 질문을 던졌습니다. 한 테스트는 컴퓨터가 방대한 라이브러리에서 올바른 비디오나 오디오 클립을 찾기 위해 텍스트 설명을 사용할 수 있는지 확인하는 것이었습니다. 결과는 새로운 멀티모달 설명이 소리만을 기반으로 하거나 시각만을 기반으로 한 설명보다 이 작업에서 훨씬 더 뛰어나다는 것을 보여주었습니다. 컴퓨터가 결합된 설명을 사용했을 때 훨씬 더 자주 일치하는 오디오 클립을 찾아냈으며, 이는 텍스트가 소리의 본질을 성공적으로 포착하는 법을 학습했음을 시사합니다.

그들은 또한 이 설명들이 컴퓨터가 보고 있는 도시 장면의 유형(예: 번잡한 지하철역과 조용한 광지를 구분하는 것)을 식별하는 데 도움이 될 수 있는지 테스트했습니다. 텍스트 설명만을 사용했을 때, 시스템은 올바른 장면을 식별하는 데 94.5%의 정확도를 달랐습니다. 연구진이 텍스트를 원래의 오디오 및 비디오 데이터와 결합했을 때, 정확도는 95.4%로 약간 상승했습니다. 이는 오디오나 비디오만 사용했을 때 유사한 수준의 정밀도에 도달하기 어려웠던 것과 비교하면 주목할 만한 개선이었습니다. 이러한 결과는 서술된 설명이 원시 데이터 자체에서는 놓쳤던 환경에 대한 깊고 의미 있는 세부 사항들을 포착했음을 시사합니다.

연구에서 가장 드러나는 부분은 아마도 컴퓨터가 단순히 장면의 이름을 암기하고 있는 것인지, 아니면 실제로 콘텐츠를 이해하고 있는지를 확인하기 위해 설계된 테스트였을 것입니다. 연구진은 AI가 설명을 생성하는 과정에서 지시 사항으로부터 장면 라벨을 제거하여, AI가 오직 오디오와 시각적 콘텐츠에만 의頼하여 설명을 생성하도록 강제했습니다. 장소의 이름을 알려주지 않았음에도 불구하고, 생성된 설명은 서로 다른 유형의 장면을 구별하는 데 매우 효과적이었습니다. 이는 AI가 단순히 "공원"이라는 라벨을 말하도록 교육받았기 때문에 반복하는 것이 아니라, 잔디밭, 나무 울타리, 그리고 환경의 특정한 소리들을 진정으로 묘사하고 있었음을 나타냅니다. 설명은 단순히 카테고리를 말하는 것이 아니라 장면의 실체를 포착하고 있었습니다.

연구팀은 글쓰기 자체의 품질 또한 평가했습니다. 그들은 자동화된 도구와 인간 심사위원을 모두 사용하여 유창성, 문법, 그리고 텍스트가 오디오 및 비디오와 얼마나 잘 일치하는지에 대한 요소들을 평가했습니다. 인간 심사위원들은 설명이 전반적으로 정확하고 정보가 풍부하며, 보이는 것을 얼마나 잘 설명하는지와 얼마나 매끄럽게 쓰였는지에 대해 높은 점수를 주었습니다. 설명이 개선될 수 있는 순간들이 간혹 있었지만, 전반적인 품질은 복잡한 작업에 사용될 만큼 충분히 강력했습니다.

이 작업은 기계가 세상을 인식하는 방식에 있어 중요한 진전을 의미합니다. 풍부하고 묘사적인 서사로 단순한 라벨을 넘어섬으로써, 연구진은 컴퓨터가 우리 일상생활의 복잡한 소리와 시각의 상호작용을 이해할 수 있다는 것을 보여주었습니다. 이제 다른 이들이 사용할 수 있게 된 이 데이터셋은, 기계가 우리처럼 세상을 진정으로 "보고" "들을" 수 있는 시스템을 구축하기 위한 새로운 토대를 제공합니다. 이는 도시 환경에서의 인공지능의 미래가 더 나은 라벨이 아닌, 더 나은 이야기에 달려 있음을 시사합니다.