LG-GER: Language-Guided Group Emotion Recognition via Multimodal Evidence Distillation

인간은 군중의 감정적 온도를 읽는 데 매우 능숙합니다. 우리는 단순히 웃는 얼굴의 개수를 세는 것이 아니라, 치켜든 주먹에 담긴 긴장감, 처진 어깨, 축제나 시위라는 맥락, 그리고 사람들이 서로 어떤 관계를 맺으며 서 있는지 등을 종합적으로 따져봅니다. 꽃다발과 같은 단 하나의 시각적 단서도 결혼식에서는 기쁨을, 장례식에서는 슬픔을 나타낼 수 있습니다. 단 한 장의 사진으로부터 집단의 집단적 기분을 파악하는 것은 '그룹 감정 인식(group emotion recognition)'이라 불리는 복잡한 퍼즐입니다. 컴퓨터에게 이 작업은 매우 어려운 과제였는데, 이는 기계가 동일한 사물이나 몸짓이 상황에 따라 정반대의 의미를 가질 수 있다는 점을 이해하는 데 어려움을 겪기 때문입니다. 인간은 이러한 흩어진 단서들을 직관적으로 결합하여 하나의 감정으로 만들어내지만, 인공지능은 전통적으로 나무를 보느라 숲을 놓치는 경향이 있는 경직된 다단계 프로세스에 의존해 왔습니다.

사우스캐롤라이나 대학교의 연구진은 이 문제를 해결하기 위해 컴퓨터가 전통적인 탐지 시스템의 무거운 장치 없이도 인간처럼 군중을 볼 수 있도록 가르치는 새로운 접근 방식을 개발했습니다. LG-GER라고 불리는 이 방법은 이미지 속의 모든 사람이나 사물을 먼저 식별하고 분리할 필요를 건너뜁니다. 대신, 강력한 사전 학습된 언어 모델을 교사로 사용하여 상세한 감정적 증거 지도를 생성합니다. 이 교사 모델은 이미지를 보고 "기쁜 표정으로 트로피를 들고 있는 사람" 또는 "시위 현장의 치켜든 주먹"과 같은 구체적인 관찰 내용을 작성하며, 해당 단서가 특정 감정을 얼마나 강하게 암시하는지에 대한 신뢰도 점수도 함께 기록합니다. 연구진은 이 서술된 설명과 그 위치를 사용하여 훨씬 작고 빠른 컴퓨터 모델을 학습시킵니다. 이 학생 모델은 교사의 노트를 길잡이 삼아 이미지를 보고 스스로 그러한 감정적 단서들을 찾아내는 법을 배우며, 더 이상 탐지기를 실행하거나 거대 언 언어 모델을 참조하지 않고도 집단의 기분을 정확하게 예측할 수 있게 될 때까지 학습합니다.

핵심 혁신은 연구진이 학습 데이터를 처리하는 방식에 있습니다. 컴퓨터에게 집단 감정 인식을 가르치기 위한 전통적인 방식은 시스템이 먼저 얼굴을 탐지하고, 그다음 신체를 탐지하고, 그다음 사물을 탐지한 뒤, 마지막으로 이 모든 정보를 융합하려고 시도하는 파이프라인에 의존합니다. 이러한 방식은 느리고, 초기 탐지가 실패할 경우 오류가 발생하기 쉬우며, 상당한 컴퓨팅 자원을 요구합니다. 새로운 프레임워크는 이 다단계 파이프라인을 완전히 거부합니다. 대신, 연구진은 거대 언어 모델을 '오프라인 주석가(offline annotator)'로 사용했습니다. 이 모델은 수천 장의 학습 이미지를 검토하고 각 이미지에 대한 구조화된 증거를 생성했습니다. 모든 이미지에 대해, 모델은 특정 영역에서 무엇이 일어나고 있는지, 그것이 어떤 감정을 암시하는지, 그리고 그 신호에 대한 확신이 어느 정도인지를 기술하는 목록을 생성했습니다. 이를 통해 컴퓨터는 단순히 최종 정답만을 배우는 것이 아니라, 왜 특정 영역이 중요한지에 대한 구체적인 이유까지 학습할 수 있는 풍부하고 공간적으로 근거가 명확한 데이터셋을 갖게 되었습니다.

학생 모델에게 이 증거를 사용하는 법을 가르치기 위해, 연구진은 네 가지 뚜렷한 유형의 학습에 집중한 훈련 과정을 설계했습니다. 첫째, 모델은 이미지의 전반적인 감정을 분류하는 법을 배웠습니다. 둘째, 특정 영역의 시각적 특징을 교사가 제공한 텍스트 설명과 일치시키는 법을 배워, 컴퓨터가 특정 픽셀 덩어리를 단순한 일반 얼굴이 아닌 "웃고 있는 여성"으로 이해하도록 했습니다. 셋째, 해당 영역의 감정 신호를 예측하는 법을 배워, 기쁨, 중립, 혹은 분노를 구분하도록 했습니다. 마지막으로, 그 신호의 강도를 추정하는 법을 배워, 명확하고 활짝 웃는 미소가 부분적으로 가려진 미소보다 더 강한 감정적 단서임을 이해하도록 했습니다. 이 네 가지 학습 목표를 결 조합함으로써, 모델은 노이즈를 무시하면서도 가장 관련성 높은 부분에 집중하는 정교한 능력을 갖추게 되었습니다.

이 접근 방식의 결과는 주요 벤치마크 테스트에서 놀라웠습니다. 그룹 감정 인식을 평가하는 두 가지 주요 데이터셋에서, 이 새로운 방법은 기존의 가장 진보된 시스템들과 대등하거나 이를 능가하는 성능을 보여주었습니다. GAF 3.0 데이터셋에서 84.08%의 정확도에 도달하여 이전의 최고 방법을 넘어섰습니다. 더 큰 규모인 GroupEmoW 데이터셋에서는 92.39%의 정확도를 달 기록하며 최고 성능의 방법 바로 다음 순위를 차지했는데, 여기서 결정적인 차이점이 있었습니다. 새로운 방법은 실제 테스트 단계에서 아무런 탐지도, 여러 데이터 스트림의 복잡한 융합도 필요하지 않았다는 점입니다. 기존의 최고 성능 경쟁 모델이 결과를 얻기 위해 여러 탐지 알고리즘을 실행하고 그 출력값들을 결합해야 했던 반면, 새로운 방법은 단순히 이미지를 보고 답을 내놓았습니다. 이는 새로운 시스템이 훨씬 빠르고 실질적인 적용이 가능하다는 것을 의미하며, 특히 컴퓨팅 자원이 제한적인 실제 환경에서 유용합니다.

연구진은 또한 모델의 주의(attention)가 훈련 과정에서 어떻게 변화하는지 분석함으로써 자신들의 방법이 왜 잘 작동하는지 조사했습니다. 특수 훈련 전에는 모델이 이미지 전체에 주의를 넓게 분산시켜 벽이나 가구와 같은 무관한 배경 세부 사항에 자주 주의를 빼앗기곤 했습니다. 하지만 언어 가이드 증거를 통해 학습한 후, 모델은 사람 간의 중심적인 상호작용이나 특히 표현력이 풍한 얼굴과 같이 감정적 무게를 지닌 특정 영역에 집중하는 법을 배웠습니다. 어떤 경우에는 이러한 집중된 주의력 덕분에 표준 모델이 중립적이라고 잘못 분류했던 장면에서 축제 분위기를 정확하게 식별해 내기도 했습니다. 그러나 이 연구는 한계점도 드러냈습니다. 군중 속에 서로 상충하는 감정들이 섞여 있어 실제로 서로를 상쇄하는 경우, 하나의 강한 신호에 집중하려는 모델의 경향 때문에 중립적인 장면을 부정적으로 오해하는 경우가 발생했습니다. 이는 이 방법이 명확한 감정 신호를 찾는 데는 탁ual하지만, 가장 모호하고 균형 잡힌 시나리오에서는 여전히 과제가 남아 있음을 시사합니다.

궁극적으로 이 연구는 더 나은 인공지능을 향한 길이 반드시 더 크고 복잡한 시스템을 구축하는 것만을 의미하지 않는다는 점을 보여줍니다. 거대 언어 모델을 사용하여 고품질의 구조화된 학습 데이터를 생성하고, 그 지식을 더 단순하고 단일 스트림인 모델로 증류함으로써, 연구진은 정확하면서도 효율적인 시스템을 만들어냈습니다. 이 접근 방식은 컴퓨터가 단순히 가공되지 않은 시각적 패턴이 아니라, 언어로 기술된 구체적인 증거를 찾는 법을 배움으로써 집단 역학의 미묘함을 이해할 수 있다는 것을 입증합니다. 이 방법은 공공 안전 모니터링부터 관객의 반응 이해에 이르기까지, 무거운 계산 부담 없이 실시간 환경에서 감정 인식을 배치할 수 있는 실질적인 청사진을 제공합니다.