Token-Region Guided Cross-Attention Fusion for Multimodal Affect Interpretation

인터넷을 모든 사람이 소리치고, 농담하고, 이야기를 나누는 거대하고 혼란스러운 디지털 광장이라고 상상해 보세요. 이 마을에서 "밈(meme)"은 가장 인기 있는 소통 방식입니다. 밈을 단순히 재미있는 사진이 아니라, 하나의 '디지털 샌드위치'라고 생각해 보세요. 즉, 시각적 층위(이미지)와 텍스트 층위(그 위에 쓰인 글자)를 가지고 있습니다. 보통 이 두 층위는 함께 작용하여 농담을 전달하거나 아이디어를 공유합니다. 하지만 때때로, 특히 정치적인 맥락에서는 이 샌드위치가 까다로워집니다. 텍스트는 비꼬는 말투일 수도 있고, 이미지는 오해를 불러일으킬 수 있으며, 혹은 전체가 어떤 지도자나 정책에 대해 당신이 특정한 감정을 느끼도록 설계된 정교한 함정일 수도 있습니다.

컴퓨터에게 이러한 디지털 샌드위치를 이해하는 것은 악몽과 같습니다. 마치 그림과 글자가 서로 다른 언어로 말하고 있는 수수께끼를 푸는 것과 같습니다. 컴퓨터가 그림만 본다면 농담을 놓칠 수 있습니다. 텍text만 읽는다면 맥락을 놓칠 수 있습니다. 이것은 컴퓨터가 영어만큼 많이 공부하지 못한 언어, 예를 들어 벵골어와 같은 언어일 때 더욱 어려워집니다. "감성 컴퓨팅(affective computing)"—단순히 기계에게 감정과 의도를 이해하도록 가르치는 기술— 분야의 연구자들은 이 밈을 보고 "이 사람이 나를 웃기려는 것인가, 아니면 나의 정치적 견해를 바꾸려 하는 것인가?"를 파악할 수 있는 초스마트 탐정을 구축하려고 노력하고 있습니다.

이것이 바로 방글라데시 공학대학교(BUET)의 연구팀이 다룬 퍼즐입니다. 그들은 예술적이고 정치적 풍자가 가득하며 종종 무질서한 벵골어 밈에 집중했습니다. 그들의 목표는 단순한 재미를 위한 밈과 정치적 의도를 밀어붙이려는 밈을 구별할 수 있는 시스템을 구축하는 것이었습니다. 그들은 이 문제를 해결하는 비결이 모든 정보를 블렌더에 넣고 잘 섞어서 운 좋게 결과가 나오길 바라는 것이 아님을 발견했습니다. 대신, 그들은 컴퓨터가 이미지와 텍스트를 함께 보게 하고, 마치 탐정이 용의자의 인상착의를 범죄 현장 사진과 매칭하듯 특정 단어를 이미지의 특정 부분과 연결하도록 강제하는 매우 세심한 탐정처럼 작동하는 시스템을 구축했습니다.

탐정의 새로운 도구 상자

연구자 무사 투르 파라지(Musa Tur Farazi)와 누파예르 자한 레자(Nufayer Jahan Reza)는 이 문제를 해결하려는 이전의 시도들이 마치 만화책의 한 페이지에 있는 그림과 다른 페이지에 있는 글자를 따로따로 보며 읽으려는 것과 같다는 점을 깨달았습니다. 그들은 "멀티모달 크로스 어텐션 퓨전(Multimodal Cross-Attention Fusion)"이라는 새로운 방법을 제안했습니다. 말이 좀 어렵지만, 간단한 비유로 풀어보겠습니다.

당신이 복잡한 마술을 이해하려고 한다고 상상해 보세요. 당신에게는 마술의 영상(이미지)과 마술사가 말하는 대본(텍스트)이 있습니다. 단순한 컴퓨터는 영상을 보고 나서 대본을 따로 읽은 뒤 무엇이 일어났는지 추측할 것입니다. 하지만 똑똑한 탐정은 마술사의 말이 영상의 어느 지점을 가리키고 있는지 보아야만 의미가 통한다는 것을 알고 있습니다.

팀의 새로운 시스템은 다음과 같이 작동합니다:

1. 눈과 귀: 먼저, 시스템은 (배경이 시끄럽거나 폰트가 이상하더라도) 밈의 무질서하고 예술적인 텍스트를 읽기 위해 강력한 "눈"(비전-언어 모델)을 사용합니다. 또한 이미지의 전반적인 분위기와 단어의 의미를 이해하기 위해 수백만 개의 사진과 문장을 학습한 "두뇌"를 사용합니다.
2. 매치메이커(중매쟁이): 이것이 마법 같은 부분입니다. 단순히 그림과 텍스트를 붙여버리는 대신, 시스템은 "크로스 어텐션(Cross-Attention)" 메커니즘을 사용합니다. 밈 속의 단어들이 이미지에게 "헤이, 너 지금 이 부분에 대해 말하고 있어?"라고 묻고, 이미지가 "응, 맞아!" 또는 "아니, 여기를 봐!"라고 대답하는 것과 같습니다. 시스템은 특정 단어를 이미지의 특정 영역과 정렬합니다. 만약 텍스트에 "부패한"이라는 단어가 있고 이미지가 정치인을 보여준다면, 시스템은 이 둘을 긴밀하게 연결합니다. 만약 텍스트에는 "영웅"이라고 되어 있는데 이미지는 악당을 보여준다면, 시스템은 그 불일치를 포착합니다.
3. 규칙집: 그들은 또한 컴퓨터를 돕기 위해 "정치적 규칙집(lexicon)"을 추가하는 실험도 했습니다. 이것은 탐정에게 정치 연설에 자주 등장하는 단어 목록을 주는 것과 같습니다. 그러나 그들은 놀라운 사실을 발견했습니다. 만약 탐정이 이 목록에 너무 과하게 의존하도록 강제하면, 오히려 실수를 하기 시작한다는 것입니다. 문맥이 완전히 다르더라도 단지 정치적인 단어가 포함되어 있다는 이유만으로 밈이 정치적이라고 판단할 수 있습니다.

그들이 발견한 것

연구팀은 자신들의 새로운 "매치메이커" 시스템을 벵골어 밈이 가득한 PoliMemeDecode1이라는 데이터셋으로 테스트했습니다. 그들은 그림만 보는 방식, 텍스트만 읽는 방식, 혹은 특별한 매칭 없이 단순히 그림과 텍스트를 합치는 방식 등 기존의 방법들과 자신들의 방법을 비교했습니다.

결과는 인상적이었습니다. 단어를 이미지의 부분과 세심하게 매칭하는 새로운 시스템은 약 0.94의 "매크로-F1(Macro-F1)" 점수를 기록했습니다. 이를 설명하자면, 이는 매우 높은 점수로, 시스템이 거의 항상 옳았음을 의미합니다. 이 시스템은 기존 방식들을 크게 앞질렀습니다. 예를 들어, 그림만 보는 방식은 약 0.88을 기록했고, 텍스트만 읽는 방식은 약 0.85를 기록했습니다. "매치메이커" 어텐션 없이 단순히 그림과 텍스트를 붙였을 때는 점수가 0.935까지 올라갔지만, 새로운 어텐션 방식은 이를 0.940까지 끌어올렸습니다.

하지만, 이 논문은 한 가지 인기 있는 아이디어를 반박했습니다. 많은 연구자가 "정치적 규칙집(lexicon)"을 추가하면 컴퓨터가 더 똑똑해질 것이라고 생각했습니다. 저자들은 정반대의 결과를 발견했습니다. 규칙집을 사용하여 시스템의 확신을 높이려 했을 때, 오히려 성능이 떨어졌습니다. 규칙집을 포함한 전체 시스템을 사용했을 때 점수는 0.915로 떨어졌습니다. 왜 그럴까요? 규칙집이 컴퓨터를 너무 경직되게 만들었기 때문입니다. 컴퓨터는 해롭지 않은 농담조차도 정치적 의도가 있다고 보기 시작하여, 더 많은 오보를 냈습니다. 이 논문은 컴퓨터가 미리 작성된 키워드 목록을 따르도록 강요받기보다, 이미지와 텍스트 사이의 연결 고리를 스스로 찾아낼 때 더 잘 학습한다는 점을 시사합니다.

이것이 중요한 이유

연구진은 단순히 숫자만 확인한 것이 아닙니다. 그들은 컴퓨터가 어떻게 생각하는지 내부를 들여다보았습니다. 그들은 시스템이 실제로 올바른 것에 주목하고 있다는 것을 발견했습니다. "SmoothGrad"라는 기술을 사용하여 컴퓨터가 이미지의 어느 부분에 집중하고 있는지 확인했을 때, 시스템은 무작위 배경 소음은 무시하고 사람의 얼굴과 이미지 위에 겹쳐진 텍스트를 강조했습니다. 이는 컴퓨터가 단순히 추측하는 것이 아니라, 시각적 증거와 텍스트의 의미를 진정으로 연결하고 있음을 증명했습니다.

그들은 또한 컴퓨터가 답변에 대해 얼마나 확신을 갖는지도 확인했습니다. 결과에 따르면 시스템은 잘 보정(well-calibrated)되어 있었습니다. 즉, 시스템이 90% 확신한다고 말했을 때 실제로 맞을 확률이 높았습니다. 틀린 몇 안 되는 경우들은 밈 자체가 정말로 혼란스럽거나 모호했기 때문이었는데, 이는 인간이나 기계 모두에게 어려운 과제입니다.

결국, 이 논문은 벵골어와 같은 저자원 언어의 경우, 컴퓨터에게 "나쁜 단어" 사전을 암기시키는 것이 최선이 아니라는 것을 보여줍니다. 대신, 컴퓨터가 전체적인 그림을 보고, 단서를 매칭하며, 이야기를 이해하는 좋은 탐정이 되도록 가르치는 것이 최선입니다. 토큰(단어)을 시각적 영역과 정렬하는 방법을 사용함으로써, 연구팀은 더 정확하고 신뢰할 수 있는 도구를 만들어냈으며, 이는 인터넷 밈의 복잡하고 소란스러우며 종종 정치적인 세계를 해독하는 데 있어 이 접근 방식이 강력한 방법임을 입증하는 최첨단 성능을 달성했습니다.