Efficient Audio-Visual Event Recognition via Knowledge Distillation and Dynamic INT8 Quantization of a Hybrid Cross-Attention Network

당신이 로봇에게 단순히 보는 것뿐만 아니라 듣는 것을 통해서도 세상을 이해하도록 가르치려 한다고 상상해 보세요. 이것이 바로 **시청각 이벤트 인식(Audio-Visual Event Recognition, AVER)**의 세계입니다. 이것은 마치 현장을 보고 주변의 소리를 들으며 범죄를 해결하는 탐정과 같습니다. 만약 탐정이 깨진 창문만 본다면, 폭풍 때문이라고 생각할 수도 있습니다. 하지만 야구 배트가 부딪히는 소리까지 듣는다면, 그것이 아이들이 공놀이를 하던 중이었다는 것을 알게 됩니다. 컴퓨터는 **트랜스포머(Transformers)**라고 불리는 특별한 뇌 구조를 사용하여 이 "탐정 업무"를 수행하는 데 매우 능숙해지고 있습니다. 트랜스포머는 책 한 권 전체를 읽거나(또는 전체 비디오를 시청하거나) 단어나 소리 사이의 연결 고리를 한꺼번에 찾아낼 수 있는 매우 똑똑한 도서관과 같습니다.

하지만 문제가 하나 있습니다. 이 초지능적인 도서관들은 거대하고, 무거우며, 에너지를 많이 잡아먹습니다. 그것들은 냉각을 위해 방 하나가 통째로 필요한 거대한 고성능 슈퍼컴퓨터와 같습니다. 만약 당신이 이 탐정을 작은 로봇, 스마트워치, 또는 도시를 날아다니는 드론에 넣고 싶다면, 그 슈퍼컴퓨터는 너무 크고 배터리를 너무 많이 소모합니다. 과학자들의 큰 고민은 이것입니다. 어떻게 하면 이 거대한 뇌를 똑똑함을 잃지 않으면서 주머니에 들어갈 정도로 줄일 수 있을까? 이것이 포르투 대학교와 ResoSight의 연구팀이 해결하고자 했던 퍼즐입니다.

핵심 아이디어: 마스터 셰프와 수셰프

연구진은 거대한 시청각 탐정의 예리함을 잃지 않으면서도 이를 축소하기 위한 영리한 3단계 계획을 세웠습니다. 그들은 이 문제를 바쁜 주방에서 새로운 직원을 교육하는 과정처럼 다루었습니다.

1단계: 마스터 셰프 (스승)
먼저, 그들은 "스승(Teacher)" 모델을 만들었습니다. 이것은 거대하고 매우 정확한 탐정입니다. 이 모델은 두 가지 강력한 도구를 사용하는데, 하나는 비디오를 이해하는 도구(VideoMAE)이고, 다른 하나는 소리를 이해하는 도구(Audio Spectrogram Transformer)입니다. 이 도구들은 이미 요리에 대한 모든 것을 배운 두 명의 전문 셰프와 같습니다. 스승 모델은 "교차 주의(Cross-Attention)"라는 특별한 메커니즘을 사용하여 이들의 지식을 결합합니다. 이것은 두 셰프가 끊임없이 서로에게 "이 소리를 봐!", 혹은 "저 움직임을 봤어?"라고 속삭이며 협력하는 것과 같습니다. 이를 통해 그들은 전체 이야기를 이해할 수 있습니다. 하지만 이 스승 모델은 휴대하기에는 너무 무겁습니다.

2단계: 가벼운 견습생 (제자)
다음으로, 그들은 "제자(Student)" 모델을 만들었습니다. 이것은 작은 기기에 적합하도록 설계된 경량 버전입니다. 그들은 처음부터 새로운 뇌를 만드는 대신, 스승의 뇌를 가져와서 더 작게 만들었습니다. 그들은 뇌가 작동하는 방식(아키텍처)을 바꾸지는 않았지만, 구성 요소들을 더 작게 만들었습니다.

• "숨겨진 차원(hidden dimension, 뇌가 한 번에 보유하는 정보량)"을 512에서 256으로 줄였습니다.
• "주의 집중 헤드(attention heads, 뇌가 한 번에 집중할 수 있는 대상의 수)"를 8개에서 4개로 줄였습니다.
• "피드포워드 네트워크(정보를 처리하는 부분)"를 1024에서 512로 축소했습니다.

이는 거대한 도서관에서 서가와 책의 절반을 제거하되, 사서가 여전히 위치를 파악할 수 있도록 동일한 레이아웃을 유지하는 것과 같습니다.

3단계: 비밀 과외 (지식 증류)
여기에는 마법 같은 기술이 있습니다. 단순히 뇌를 줄인다고 해서 제대로 작동할 것이라 기대할 수는 없습니다. 그것은 마치 학생에게 더 작은 배낭을 주고 똑같은 양의 수학을 알기를 기대하는 것과 같습니다. 그래서 연구진은 **지식 증류(Knowledge Distillation)**를 사용했습니다.
마스터 셰프(스승)가 복잡한 요리를 만드는 것을 상상해 보세요. 스승은 제자에게 단순히 레시피만 주는 것이 아니라, 제자가 요리의 맛을 보게 하고 왜 맛있는지를 설명해 줍니다. 제자는 최종 정답(어떤 이벤트가 일어났는가)뿐만 아니라, 다양한 소리와 시각적 요소들 사이의 "부드러운" 느낌과 관계를 배웁니다. 제자는 스승의 사고 과정을 모방하는 법을 배웁니다. 이렇게 하면 제자는 비록 더 작더라도, 거대한 존재처럼 생각하는 법을 배우게 됩니다.

4단계: 디지털 압축 (동적 INT8 양자화)
마지막으로, 뇌를 축소한 후에도 파일 크기는 여전히 작은 기기에는 조금 컸습니다. 그래서 그들은 **동적 INT8 양자화(Dynamic INT8 Quantization)**를 적용했습니다.
모델의 숫자들을 측정값이라고 생각해 보세요. 보통 컴퓨터는 매우 정밀한 측정값(예: 32비트 부동 소수점 숫자)을 사용하는데, 이는 현미경으로 케이크를 측정하는 것과 같습니다. 매우 정확하지만 공간을 많이 차지합니다. 연구진은 이 측정 방식을 표준 자(8비트 정수)로 전환했습니다. 그들은 학생을 다시 가르칠 필요 없이, 단지 숫자를 저장하는 방식을 바꾼 것입니다. 이는 고화질 사진을 작은 JPEG 파일로 압축하는 것과 같습니다. 이미지는 여전히 훌륭해 보이지만, 파일은 아주 작아집니다.

연구 결과

결과는 인상적이었습니다. 마치 커다란 자동차를 찌그러뜨리지 않고 차고에 집어넣는 방법을 찾아낸 것과 같았습니다.

• 축소 정도: 제자 모델은 스승 모델보다 학습 가능한 파라미터(매개변수)가 59.06% 적었습니다. 쉽게 말해, "뇌"의 크기를 절반 이상 줄인 것입니다.
• 지능: 크기가 절반 수준임에도 불구하고, 제자는 지능을 거의 잃지 않았습니다. 정확도는 스승 모델에 비해 단 **2.14%**만 떨어졌습니다. 즉, 사건을 맞히는 비율이 **84.19%**에서 **82.05%**로 낮아진 것입니다. 이는 모델을 훨씬 작게 만든 것에 비하면 매우 적은 대가입니다.
• 최종 압축: 마지막 "자(ruler)" 압축(INT8 양자화)을 거친 후, 모델 크기는 10.71 MB에서 단 2.04 MB로 떨어졌습니다. 이는 엄청난 감소이며, 자원이 제한된 많은 장치에 적합한 크기입니다.
• 트레이드오프(절충): 최종적으로 초압축된 모델은 여전히 **81.20%**의 사건을 정확히 맞혔습니다. 연구진은 모델이 믿기 힘들 정도로 작아졌지만, 새로운 압축 방식의 오버헤드로 인해 표준 컴퓨터 프로세서에서의 속도는 빨라지지 않고 오히려 약간 느려졌다고 언급했습니다. 하지만 이 거대한 메모리 절감 효과는 공간이 부족한 장치들에게 매우 유용합니다.

이것이 중요한 이유

이 논문은 똑똑한 AI와 작은 AI 사이에서 하나를 선택할 필요가 없다는 점을 시사합니다. 아키텍처 축소, 스마트한 과외(증류), 그리고 영리한 숫자 저장 방식(양자화)을 결합함으로써, 그들은 "탐정"의 예리함을 유지하면서도 휴대하기 가볍게 만들 수 있었습니다.

그들은 이 방법을 4,000개 이상의 영상과 소리가 포함된 AVE 데이터셋을 통해 테스트했으며, 이 방식은 잘 작동했습니다. 연구진은 이 접근 방식이 스마트폰, 자동차, 로봇과 같이 배터리와 메모리가 귀중한 "엣지(edge)" 환경의 AI에 매우 유망하다고 확고히 믿고 있습니다. 그들이 세상의 모든 문제를 해결했다고 주장하는 것은 아니지만, 강력한 시청각 AI를 일상적인 기기에서 실제로 구현 가능하게 만드는 매우 유망한 길을 보여주었습니다.