💻 computer science

Dual-View Optical Flow for 4D Micro-Expression Recognition - A Multi-Stream Fusion Attention Approach

이 논문은 4D 메쉬 데이터의 복잡성을 해결하기 위해 이중 뷰 광학 흐름과 삼중 스트림 퓨전 어텐션 메커니즘을 결합하여 4DMR IJCAI 워크숍 챌린지 2025 에서 공식 베이스라인 대비 50% 이상 높은 성능으로 1 위를 차지한 미세 표식 인식 방법을 제안합니다.

원저자: Luu Tu Nguyen, Thi Bich Phuong Man, Vu Tram Anh Khuong, Thanh Ha Le, Thi Duyen Ngo

게시일 2026-03-31

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Luu Tu Nguyen, Thi Bich Phuong Man, Vu Tram Anh Khuong, Thanh Ha Le, Thi Duyen Ngo

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🎭 1. 문제: "눈치 채기 힘든 속마음의 신호"

우리가 누군가의 진짜 감정을 알기 위해 표정을 읽으려 할 때, 사람들은 종종 의도적으로 감정을 숨기거나 억누릅니다. 이때 순간적으로 튀어나오는 아주 짧고 미세한 표정 (마이크로 익스프레션) 이 진짜 감정을 보여줍니다.

하지만 이 신호는 **너무 짧고 **(0.5 초 미만), 너무 작아서 일반 카메라나 기존 기술로는 잡기 매우 어렵습니다. 마치 바람에 흔들리는 나뭇잎의 아주 작은 떨림을 포착해야 하는 것과 비슷합니다. 게다가 이번 연구에서는 2D(평면) 영상이 아니라, 3D 얼굴 모델이 움직이는 4D 데이터를 다루는데, 이 데이터는 처리하기 너무 무겁고 복잡합니다.

🛠 2. 해결책: "두 개의 눈으로 움직임을 추적하다"

연구팀은 이 문제를 해결하기 위해 세 가지 핵심 아이디어를 사용했습니다.

① "3D 데이터를 2D '흐름도'로 변환하기"

3D 얼굴 데이터를 그대로 분석하면 컴퓨터가 너무 무거운 짐을 지게 됩니다. 그래서 연구팀은 **3D 얼굴의 움직임을 2D '광학 흐름 **(Optical Flow)로 바꿨습니다.

비유: 3D 얼굴 모델이 움직이는 것을 강물의 흐름으로 생각해보세요. 물이 얼마나 빠르게, 어느 방향으로 흐르는지 (위, 아래, 오른쪽, 왼쪽) 를 색깔로 표현한 지도를 만드는 것입니다. 이렇게 하면 복잡한 3D 모양 대신, 순수한 '움직임'만 깔끔하게 추출할 수 있습니다.

② "왼쪽 눈과 오른쪽 눈, 두 가지 시점"

얼굴은 한쪽에서만 보면 왜곡될 수 있습니다. 연구팀은 얼굴을 왼쪽과 오른쪽 두 시점으로 나누어 각각의 움직임을 분석했습니다.

비유: 마술사의 손놀림을 볼 때, 한쪽 눈으로만 보면 속을 알 수 없지만, 양쪽 눈으로 동시에 보거나 다른 각도에서 보면 진짜 움직임을 파악하기 쉽습니다. 두 시점을 합쳐서 더 정확한 움직임을 포착한 것입니다.

③ "세 개의 전문가 팀이 협력하기 (Triple-Stream)"

이제 추출한 움직임 정보를 분석할 때, 연구팀은 세 가지 다른 채널을 따로따로 처리하는 '세 줄기 (Triple-Stream)' 구조를 만들었습니다.

**수평 흐름 **(u) 좌우로 움직이는 것 (예: 입꼬리 올리기)
**수직 흐름 **(v) 위아래로 움직이는 것 (예: 눈썹 치켜올리기)
**크기 흐름 **(m) 움직임의 강도 (얼마나 세게 움직였는지)

비유: 감정을 분석하는 팀이 세 명의 전문가로 나뉘었다고 상상해보세요.
- A 는 "좌우 움직임"만 전문적으로 봅니다.
- B 는 "위아래 움직임"만 봅니다.
- C 는 "움직임의 세기"만 봅니다.
- 각자가 자신의 전문 분야에 집중해서 분석한 뒤, 마지막에 한자리에 모여 중요한 정보를 골라냅니다.

🧠 3. 핵심 기술: "지능형 회의실 (퓨전 어텐션)"

세 전문가가 분석한 내용을 어떻게 합칠까요? 단순히 다 더하는 게 아니라, 상황에 따라 중요한 정보를 더 크게 강조하는 '퓨전 어텐션 (Fusion Attention)' 모듈을 썼습니다.

비유: 세 전문가가 회의실에 모였을 때, **회의의 주제 **(표정)에 따라 누가 더 중요한 말을 하는지 알아서 목소리를 키우는 역할을 합니다.
- 예를 들어, '놀람' 표정이라면 눈썹이 위로 올라가는 것 (수직) 이 중요하므로 B 전문가의 말을 크게 듣고, '조소'라면 입꼬리가 옆으로 당겨지는 것 (수평) 이 중요하므로 A 전문가의 말을 더 크게 듣습니다.
- 이렇게 상황에 맞춰 중요한 신호를 증폭하고, 잡음을 줄여서 최종 판단을 내립니다.

🏆 4. 결과: "세계 1 등 달성"

이 방법은 4DMR 2025라는 국제 대회에서 테스트되었습니다.

결과: 연구팀이 개발한 방법 (Red-Green-Blue 팀) 은 공식 기준점보다 50% 이상 높은 점수를 받아 1 위를 차지했습니다.
의미: 복잡한 3D 데이터를 직접 다루는 무거운 방법보다, 움직임의 흐름을 잘게 쪼개고 지능적으로 합치는 방법이 훨씬 효과적임을 증명했습니다.

💡 요약

이 논문은 "복잡한 3D 얼굴 데이터를, 두 눈으로 움직이는 흐름 (광학 흐름) 으로 바꾸고, 세 가지 전문가 팀이 각자의 역할을 하며 지능적으로 협력하게 만들어, 사람의 숨겨진 감정을 찾아냈다"는 이야기입니다.

마치 미세한 떨림을 포착하는 정교한 센서를 만들어, 사람의 속마음을 더 정확하게 읽어내는 기술을 개발한 셈입니다.

논문 요약: 4D 미세 표식 인식을 위한 듀얼 뷰 광류 (Optical Flow) 기반 멀티 스트림 퓨전 어텐션 접근법

1. 문제 정의 (Problem)

미세 표식 (Micro-Expressions, MEs) 의 난이도: 미세 표식은 의도적으로 감추려 할 때 발생하는 비자발적이고 매우 짧으며 저강도의 얼굴 움직임입니다. 이는 기존 2D 비디오 기반의 LBP-TOP 나 HOG 같은 전통적 방법이나 CNN/RNN 기반의 딥러닝 모델로도 포착하기 어렵습니다.
4D 데이터의 한계: 3D 메시 (Mesh) 와 시간 정보를 결합한 4D 데이터는 얼굴의 기하학적 변화를 정밀하게 포착할 수 있지만, 원시 4D 데이터 (동적 3D 메시) 를 직접 처리하는 것은 PointNet++ 나 3D CNN 과 같은 복잡한 기하학적 아키텍처를 요구하여 계산 비용과 메모리 사용량이 매우 높습니다.
기존 방법의 부족: 기존 멀티 스트림 방식은 다양한 운동 성분을 단순히 연결 (concatenation) 하는 경우가 많아, 미세 표식의 방향성 (수평, 수직 등) 에 따른 차이를 효과적으로 반영하지 못합니다. 또한, 조명 변화나 시점 변화에 대한 강인성이 부족합니다.

2. 제안된 방법론 (Methodology)

저자들은 4D 데이터를 효율적으로 처리하기 위해 듀얼 뷰 (Dual-View) 광류 (Optical Flow) 기반의 Triple-Stream MicroAttNet 아키텍처를 제안했습니다.

데이터 전처리 및 듀얼 뷰 분리:
- 4DME 데이터셋의 3D 메시 시퀀스에서 추출된 고해상도 텍스처 이미지 (.jpg) 를 사용합니다.
- 입력 이미지의 좌측과 우측 얼굴 뷰를 분리하여 동기화된 두 개의 시퀀스로 만듭니다.
- 시퀀스 내 모든 프레임에 대해 일관된 공간 정렬을 위해 최대 면적의 바운딩 박스를 기준으로 얼굴을 자릅니다.
자동 정점 (Apex) 프레임 감지:
- 미세 표식의 정점 (가장 강한 움직임) 을 찾기 위해 Farneback 알고리즘을 사용하여 광류를 계산합니다.
- 수평 ( $u$ ) 과 수직 ( $v$ ) 성분의 합인 총 운동 강도 ( $I_f$ ) 가 최대가 되는 프레임을 정점 (Apex) 으로 자동 감지합니다. 이는 좌/우 뷰 각각에 대해 독립적으로 수행됩니다.
위상 인지 (Phase-Aware) 광류 추출:
- 미세 표식의 시간적 특성 (시작 - 정점 - 종료) 을 반영하기 위해 시퀀스를 Onset-Apex(상승 구간) 와 Apex-Offset(하강 구간) 으로 분해합니다.
- 각 구간에서 수평 (u), 수직 (v), 크기 (magnitude, m) 의 3 가지 광류 채널을 추출합니다.
Triple-Stream MicroAttNet 아키텍처:
- 3 개 스트림: 추출된 $u, v, m$ 채널을 각각 독립적인 컨볼루션 스트림으로 처리하여 상호 보완적인 공간 및 운동 특징을 학습합니다.
- 퓨전 어텐션 (Fusion Attention) 모듈: 3 개 스트림의 특징을 단순 연결하지 않고, 전역 평균 풀링 (Global Average Pooling) 과 MLP 를 통해 적응형 가중치 ( $\alpha_h, \alpha_v, \alpha_m$ ) 를 학습하여 각 미세 표식 인스턴스에 가장 중요한 운동 방향을 강조합니다.
- Squeeze-and-Excitation (SE) 블록: 크기 (Magnitude) 스트림의 특징 판별력을 높이기 위해 SE 블록을 적용하여 채널 간 의존성을 모델링하고 중요한 채널을 증폭합니다.
학습 전략:
- 클래스 불균형 문제를 해결하기 위해 Focal Loss를 사용했습니다.
- 데이터 증강: Onset-Apex 와 Apex-Offset 구간을 모두 학습에 활용하는 'Phase-Aware Temporal Augmentation'을 적용하여 모델의 일반화 성능을 높였습니다.

3. 주요 기여 (Key Contributions)

MicroAttNet 제안: 4D 데이터의 미세 표식 인식을 위해 설계된 3 분기 (Triple-branch) 아키텍처와 통합 어텐션 메커니즘을 제안했습니다.
효율적인 4D 광류 특징 추출: 3D 메시 시퀀스에서 $u, v, magnitude$ 광류 특징을 효율적으로 추출하고 분석하는 방법을 제시했습니다.
적합한 데이터 증강 전략: 4D 미세 표식에 특화된 위상 인지 시간적 증강 (Phase-Aware Temporal Augmentation) 전략을 도입했습니다.
성능 검증: 최초의 고품질 4D 자발적 미세 표식 데이터셋인 4DMR Challenge 에서 제안된 방법을 검증하고 최상위 성과를 거두었습니다.

4. 실험 결과 (Results)

평가 데이터셋: 24 명의 참가자, 5 가지 감정 카테고리 (Negative, Positive, Repression, Surprise, Others) 로 구성된 4DMR IJCAI Workshop Challenge 2025 데이터셋.
성능 지표: Multi-label 분류를 위한 Macro-UF1 Score를 사용했습니다.
결과:
- 제안된 방법 (팀명: Red-Green-Blue) 은 0.536의 UF1 점수를 기록하여 공식 베이스라인 (0.355) 보다 50% 이상 향상된 성능을 보였습니다.
- 1 위를 차지하며 다른 경쟁 팀들을 압도했습니다.
Ablation Study (성분 분석):
- Fusion Attention 모듈 제거 시 UF1 점수 감소 (0.524).
- SE 블록 제거 시 UF1 점수 감소 (0.518).
- 두 구성 요소 모두 제거 시 점수 하락 (0.510).
- 이는 각 모듈이 UF1 점수를 최대 3.6 포인트까지 향상시키는 데 기여함을 입증했습니다.
- 최적의 결정 임계값 (Threshold) 은 0.20 으로 설정되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

계산 효율성과 정확성의 균형: 고차원인 4D 데이터를 직접 처리하는 대신, 2D 광류 맵으로 투영하여 계산 비용을 줄이면서도 3D 데이터의 기하학적 운동 정보를 효과적으로 보존하는 방법을 입증했습니다.
해석 가능성: 듀얼 뷰와 위상 인지 (Phase-aware) 광류를 결합하여 미세 표식의 방향성과 강도를 명확하게 모델링할 수 있는 해석 가능한 솔루션을 제시했습니다.
실용성: 제한된 컴퓨팅 자원을 가진 실제 환경에서도 배포 가능한 경량화된 아키텍처를 통해 미세 표식 인식 기술의 실용성을 높였습니다.

이 논문은 4D 데이터를 활용한 미세 표식 인식 분야에서 멀티 뷰 정보와 어텐션 기반의 멀티 스트림 퓨전 기법이 강력한 성능을 발휘할 수 있음을 보여주었으며, 향후 정서 컴퓨팅 및 행동 분석 분야에서 중요한 기여를 할 것으로 기대됩니다.