MEGC2026: Micro-Expression Grand Challenge on Visual Question Answering

이 논문은 MLLM 과 LVLM 의 다중 모달 추론 능력을 활용하여 짧은 비디오와 긴 비디오 모두에서 미세 표정 (ME) 을 이해하고 분석하는 두 가지 새로운 과제 (ME-VQA 및 ME-LVQA) 를 포함하는 2026 년 미세 표정 그랜드 챌린지 (MEGC2026) 를 소개합니다.

핵심

1. 미세 표정 (Micro-Expression) 이란 무엇일까요?

상상해 보세요. 누군가 슬픈 소식을 들었지만, 남들에게는 절대 슬프다고 보이지 않으려고 입술을 꾹 다물고 참는 순간이 있죠? 이때 얼굴 근육이 아주 짧게 (0.5 초도 안 되어) 움직이면서 감정이 새어 나옵니다.

이걸 **'미세 표정'**이라고 합니다. 마치 **거울에 비친 아주 작은 금 (찢어진 금)**처럼, 금방 사라지지만 그 사람의 진짜 마음을 보여주는 중요한 단서입니다. 보통의 표정은 "노래를 부르는 것"처럼 크고 명확하지만, 미세 표정은 "바람에 흔들리는 나뭇잎"처럼 아주 작고 빠르게 지나갑니다.

2. 이번 대회 (MEGC 2026) 의 두 가지 미션

이번 대회는 인공지능 (AI) 에게 이 미세한 표정을 찾아내고 설명하는 두 가지 과제를 줍니다.

🎯 미션 1: 짧은 영상 퀴즈 (ME-VQA)

• 상황: AI 에게 아주 짧은 영상 (0.5 초 정도) 과 질문을 줍니다.
• 질문 예시: "이 사람이 입꼬리를 아래로 내렸나요?", "이 표정은 화난 건가요, 슬픈 건가요?"
• 목표: AI 가 영상을 보고 "네, 입꼬리가 내려갔고, 이는 슬픔을 나타냅니다"라고 **자연스러운 말 (글)**로 답해야 합니다.
• 비유: 마치 수업 시간에 짧은 영상을 보고 선생님이 내는 짧은 퀴즈를 푸는 것과 같습니다.

🎯 미션 2: 긴 영상 퀴즈 (ME-LVQA) - 이번 대회의 새로운 도전!

• 상황: 이번에는 훨씬 긴 영상 (실제 생활 장면 같은 긴 영상) 과 질문을 줍니다.
• 질문 예시: "이 1 분짜리 영상에서 미세 표정이 몇 번이나 나왔나요?", "그중에서 진짜 화난 표정은 언제였나요?"
• 목표: 긴 영상 속에서 수많은 표정 (웃음, 대화, 침묵 등) 이 섞여 있는데, 그중에서 숨겨진 미세 표정만 골라내어 시간과 내용을 설명해야 합니다.
• 비유: 1 시간짜리 드라마 전체를 보고, '주인공이 진짜로 울었던 장면'을 정확히 찾아내어 요약해 주는 것처럼 매우 어렵습니다.

3. 현재 AI 의 실력은 어떨까요? (결과 요약)

대회 주최진은 최신 AI 모델 (Qwen 시리즈) 을 시험해 보았습니다. 결과는 다음과 같습니다.

• 짧은 영상 (미션 1): AI 가 대략적인 감정 (기분 좋은지, 나쁜지) 은 어느 정도 알아맞힙니다. 하지만 정확한 미세한 감정 (예: '화'인지 '슬픔'인지) 을 구별하는 것은 여전히 어렵습니다. 마치 "사람이 웃고 있다"는 건 알지만, "그 웃음 뒤에 숨겨진 슬픔"을 읽는 것은 아직 서툰 상태입니다.
• 긴 영상 (미션 2): 훨씬 더 어렵습니다. 긴 영상 속에서 미세 표정을 찾아내는 것은 바다에서 바늘을 찾는 것과 비슷합니다. AI 는 여전히 표정이 몇 번 나왔는지 세는 데 실수를 많이 하거나, 어떤 표정이 진짜 미세 표정인지 헷갈려 합니다.

💡 왜 이 대회가 중요할까요?

지금까지 AI 는 큰 표정만 잘 알아봤습니다. 하지만 진짜 사람의 심리나 거짓말 탐지, 심리 치료 같은 분야에서는 이 '숨겨진 미세한 신호'를 읽는 것이 핵심입니다.

이 대회는 AI 에게 **"눈을 크게 뜨고, 아주 작은 변화까지 놓치지 말고, 긴 이야기 속에서도 진실을 찾아내라"**는 훈련을 시키는 것입니다. 참가자들은 더 많은 데이터와 똑똑한 알고리즘을 개발하여, AI 가 인간의 미세한 감정을 이해하는 '심리 전문가'가 되도록 돕는 것이 목표입니다.

한 줄 요약:

"이번 대회는 AI 에게 **'숨겨진 감정의 속삭임'**을 듣고, 긴 영상 속에서도 그 진실을 찾아내어 자연스럽게 설명하는 능력을 키우는 훈련입니다."

기술 요약

1. 문제 정의 (Problem)

마이크로표현 (ME) 은 고위험 상황에서 감정을 억누르려 할 때 발생하는 비자발적이고 매우 짧은 (500ms 미만) 얼굴 움직임입니다. 기존 연구는 주로 ME 의 인식 (Recognition) 이나 스포팅 (Spotting) 에 집중했으나, 최근 MEGC 2026 은 다음과 같은 두 가지 새로운 과제를 통해 ME 분석의 한계를 확장하고자 합니다.

• 한계점: 기존 ME 분석은 정형화된 레이블 (감정 카테고리, 행동 단위 등) 에 의존하여 해석 가능성과 유연성이 부족했습니다. 또한, 실제 자연스러운 환경의 긴 영상에서 발생하는 미세한 ME 를 탐지하고 시간적 맥락을 이해하는 것은 여전히 어려운 과제입니다.
• 해결 목표: 자연어 기반의 질문 응답 (VQA) 방식을 도입하여 ME 의 속성, 감정, 시간적 특징 등을 인간과 유사한 방식으로 설명하고, 장시간 영상에서의 복잡한 추론 능력을 평가하는 것입니다.

2. 제안된 과제 및 방법론 (Methodology)

MEGC 2026 은 두 가지 주요 과제를 정의하며, 이를 위해 MLLM/LVLM 아키텍처를 활용합니다.

과제 1: ME 비디오 질문 응답 (ME-VQA)

• 정의: 상대적으로 짧은 ME 비디오 클립과 자연어 질문을 입력받아, 관찰된 ME 의 감정, 행동 단위 (AU), 속성 등을 자연어로 답변하는 과제입니다.
• 데이터셋: SAMM, CASME II, SMIC, CAS(ME)3, 4DME 등의 기존 데이터를 기반으로 구축된 ME-VQA-v2 데이터셋을 사용합니다. (테스트셋: SAMM 7 클립, CAS(ME)3 17 클립)
• 기반 모델 (Baseline): Qwen2.5VL-3B와 Qwen3VL-4B 모델을 사용합니다.
  • Zero-shot (ZS): 사전 학습된 모델의 일반화 능력 평가.
  • Fine-tuning (FT): QLoRA(Quantized Low-Rank Adaptation) 기법을 사용하여 비전 인코더, 프로젝션 레이어, 언어 모델의 쿼리/키 파라미터를 미세 조정합니다.

과제 2: ME 장시간 비디오 질문 응답 (ME-LVQA)

• 정의: ME-VQA 를 확장하여, 자연스러운 환경의 **긴 영상 (Long-video)**에서 ME 를 탐지하고 시간적 추론을 수행하는 과제입니다.
• 질문 유형:
  • 이벤트 카운팅: 전체 표정, ME, 거시표정 (MaE) 의 발생 횟수 예측 (회귀 문제).
  • 이벤트 분류: 특정 인덱스의 이벤트가 ME 인지 MaE 인지 판별 (이진 분류).
  • 속성 분석: 영상 전체에 나타난 고유한 행동 단위 (AU) 나 리스트 생성 (셋 예측).
• 데이터셋: SAMM-LV 와 CAS(ME)3 의 긴 영상을 기반으로 구축된 ME-LVQA 데이터셋을 사용합니다. (테스트셋: SAMM 10 개, CAS(ME)3 20 개)
• 기반 모델: ME-VQA 와 동일한 Qwen2.5VL-3B 및 Qwen3VL-4B 모델을 사용하며, 5 명의 SAMM 과 5 명의 CAS(ME)3 피사체로 구성된 제한된 데이터셋으로 QLoRA 를 통해 미세 조정합니다.

3. 평가 지표 (Evaluation Metrics)

과제의 특성에 따라 다양한 지표를 사용합니다.

• ME-VQA:
  • 감정 분류: coarse-grained(긍정, 부정, 놀람) 및 fine-grained(기쁨, 놀람, 두려움, 혐오, 분노, 슬픔) 에 대해 UF1(Unweighted F1 Score) 및 UAR(Unweighted Average Recall) 사용.
  • 텍스트 생성 품질: BLEU 및 ROUGE-1 점수 사용.
• ME-LVQA:
  • 이벤트 수 예측 (회귀): MAE(Mean Absolute Error) 및 RMSE(Root Mean Squared Error).
  • AU 리스트 예측 (셋 예측): F1 Score(Set-based) 및 Jaccard Index.
  • ME/MaE 분류: UF1 및 UAR.

4. 주요 결과 (Results)

• ME-VQA 결과:
  • Zero-shot 설정에서 모델들은 coarse-grained 감정 분류에서 어느 정도 성능을 보였으나 (UF1 약 0.24~0.33), fine-grained 감정 분류에서는 성능이 극도로 낮았습니다 (UF1 거의 0).
  • 미세 조정 (FT) 을 통해 언어 생성 품질 (BLEU/ROUGE) 은 개선되었으나, 미세한 감정 구별 능력은 여전히 부족했습니다. 이는 대형 VLM 이 미세한 ME 의 뉘앙스를 포착하는 데 어려움을 겪고 있음을 시사합니다.
• ME-LVQA 결과:
  • 짧은 클립 분석에 비해 장시간 영상 이해는 훨씬 더 큰 도전 과제로 나타났습니다.
  • ME 카운팅 및 AU 인식 오류가 여전히 높았으며, 시간적 위치 파악 (Temporal Localisation) 과 미세한 얼굴 동작 모델링이 주요 병목 현상이었습니다.
  • 미세 조정으로 성능이 일부 개선되었으나, 제한된 학습 데이터 (10 명의 피사체) 로 인해 개인 간 일반화 (Identity-invariant learning) 가 어렵고 과적합 가능성이 있음을 알 수 있었습니다.

5. 기여 및 의의 (Significance)

• 새로운 패러다임 제시: 기존의 분류/탐지 중심의 ME 연구에서 자연어 기반의 해석 가능한 (Interpretable) VQA 방식으로의 전환을 주도합니다.
• 실용적 적용성 증대: 실제 환경의 긴 영상 (Long-video) 을 대상으로 한 ME-LVQA 과제를 통해, 연구가 실험실 환경을 넘어 실제 응용 (High-stakes scenarios) 에 더 가까워질 수 있는 토대를 마련했습니다.
• MLLM/LVLM 의 한계와 기회: 대규모 언어 모델이 ME 분석에 적용될 때의 잠재력을 보여주었지만, 동시에 미세한 시간적 변화와 개인 차이를 포착하는 데 있어 여전히 해결해야 할 기술적 난제 (데이터 부족, 모델 아키텍처의 미세 조정 필요성 등) 가 있음을 명확히 규명했습니다.
• 오픈 소스 및 벤치마크: ME-VQA-v2 및 ME-LVQA 데이터셋과 리더보드를 공개하여 전 세계 연구자들의 참여와 기술 발전을 촉진합니다.

요약

MEGC 2026 은 마이크로표현 연구의 새로운 지평을 열기 위해 비디오 기반 질문 응답 (VQA) 과제를 도입했습니다. Qwen2.5VL/3VL 과 같은 최신 LVLM 을 기반으로 한 실험 결과는, 모델이 거시적인 감정 분류는 어느 정도 수행할 수 있으나 미세한 ME 의 세부 사항과 장시간 영상의 시간적 추론에서는 여전히 한계가 있음을 보여주었습니다. 이는 향후 더 다양하고 대규모의 데이터셋과 시간적 맥락을 고려한 모델 아키텍처 개발의 필요성을 강조합니다.