🤖 machine learning

Faithful Action-unit Causal Reasoning for Counterfactually Faithful Emotion Explanations

이 논문은 모델이 행동 단위(AU) 설명을 구조적 인과 그래프와 정렬하도록 학습시킴으로써, 호출된 AU가 예측을 위해 인과적으로 필수적이며 생성된 텍스트에 검증 가능하게 반영되도록 보장함으로써 멀티모달 감정 추론에서 반사실적 충실성을 강제하는 프레임워크인 FACR을 소개한다.

원저자: Van Thong Huynh, Hong Hai Nguyen, Thuy Pham, Trong Nghia Nguyen, Soo-Hyung Kim

게시일 2026-06-16

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Van Thong Huynh, Hong Hai Nguyen, Thuy Pham, Trong Nghia Nguyen, Soo-Hyung Kim

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 사람의 얼굴을 보고 "이 사람은 고통을 느끼고 있습니다"라고 말하는 스마트 카메라를 가지고 있다고 상상해 보십시오. 보통 이런 카메라들은 자신감 넘치지만 정직하지 못한 학생과 같습니다. 정답(고통)은 맞히지만, 만약 당신이 왜 그렇게 생각하는지 묻는다면, 실제로는 그렇게 생각하지 않았음에도 그럴듯하게 들리는 이야기를 지어냅니다. 그들은 "눈썹이 올라가 있으니 고통이라고 아는 거예요"라고 말할 수도 있지만, 실제로는 고통과는 전혀 상관없는 다른 요소에 반응하고 있었을 수도 있습니다.

이 논문은 FACR(Faithful Action-unit Causal Reasoning, 충실한 액션 유닛 인과 추론)이라는 새로운 시스템을 소개합니다. 이 시스템의 목표는 카메라가 단순히 그럴듯한 이야기를 하는 것이 아니라, 자신의 결정에 대해 진실을 말하도록 강제하는 것입니다.

작동 방식은 다음과 같습니다. 쉬운 비유를 들어 설명하겠습니다.

1. 문제점: "그럴듯한 거짓말쟁이"

대부분의 AI 시스템은 수학 원리는 이해하지 못한 채 답안지를 통째로 외워버린 학생과 같습니다. 만약 수학 문제의 숫자(이를 "반사실적(counterfactual)" 변화라고 합니다)를 바꾼다면, 그 학생은 여전히 틀린 답을 내놓으면서 똑같이 틀린 설명을 늘어놓을 것입니다.

문제점: 현재의 AI는 감정을 느낄 때 움직이는 얼굴 근육(이를 액션 유닛 또는 AU라고 부릅니다)의 이름을 나열할 수는 있습니다. 하지만 AI는 실제로 그 근육들을 사용하여 결정을 내리는 것이 아니라, 어떤 근육이 감정을 유발하는지 추측만 할 뿐입니다.

2. 해결책: "엄격한 규칙책"

저자들은 **인과 그래프(Causal Graph)**를 구축했습니다. 이것은 엄격한 규칙책이나 지도와 같습니다.

지도: 이 지도는 특정 근육의 움직임과 특정 감정을 연결하는 선을 명시적으로 그려 놓았습니다. 예를 들어, "만약 당신이 고통을 감지하고 싶다면, 반드시 근육 A와 근육 B를 살펴봐야 한다. 만약 근육 C가 보이더라도, 그것은 고통을 판단하는 데 중요하지 않다"라고 규정합니다.
반전: AI가 단순히 이 지도를 사용하여 감정을 추측하는 것에 그치지 않고, 스스로를 설명할 때도 이 지도를 따르도록 강제합니다.

3. 훈련: "개입 테스트"

AI를 정직하게 만들기 위해, 저자들은 **반사실적 충실성(Counterfactual Faithfulness)**이라는 훈련법을 사용합니다. 이는 마치 선생님이 학생과 "만약 ~라면?"이라는 게임을 하는 것과 같습니다.

시나리오 A: "자, 내가 만약 근육 A(지도가 고통의 원인이라고 명시한 근육)가 얼어붙어서 움직일 수 없다고 가정해 보자. 만약 네 시스템이 정직하다면, 네 대답은 '고통'에서 '고통 없음'으로 바뀌어야 해."
시나리오 B: "이제, 내가 만 if 근육 C(지도가 고통과 상관없다고 명시한 근육)가 얼어붙었다고 가정해 보자. 네 대답은 정확히 그대로 유지되어야 해."

만약 AI가 이 테스트에서 실패한다면—즉, 결정적인 근육이 사라졌는데도 여전히 "고통"이라고 말하거나, 무관한 근육 때문에 마음을 바꾼다면—AI는 벌점을 받습니다. 이는 AI가 자신의 뇌를 재배선하여, 자신의 결정이 실제로 규칙책에 기재된 근육들에 의존하도록 강제합니다.

4. 결과: "진실을 말하는" AI

논문은 두 가지 측면에서 이 시스템을 테스트했습니다.

고통 감지: 저자들은 "특정 근육의 조합이 고통이다"라는 공식이 알려진 데이터셋을 사용했습니다.
- 이전: AI의 설명이 진실과 일치하는 경우는 8%에 불과했습니다.
- 이후: 새로운 훈련법을 적용한 후, 설명이 진실과 일치하는 비율이 57%로 높아졌습니다.
- 트레이드오프(Trade-off): AI가 단순히 "고통"인지 "고통 아님"을 맞히는 능력은 약간 떨어졌습니다(미세한 정확도 하락). 하지만 왜 그런 결정을 내렸는지 설명하는 능력은 훨씬 좋아졌습니다. 이는 진단 속도는 약간 느려졌지만, 증상에 대한 훨씬 더 정확한 설명을 제공하는 의사와 같습니다.
교차 데이터셋 전이(Cross-Dataset Transfer): 일반적인 감정(고통이 아닌 다른 감정)을 다루는 다른 데이터셋에서도 테스트했습니다.
- AI는 새로운 데이터에서도 규칙책을 고수하는 법을 배웠습니다.
- 핵심 발견: AI는 규칙책이 정확한 만큼만 정직합니다. 만약 규칙책에 오류가 있다면, AI는 잘못된 규칙을 충실하게 따를 것입니다. 하지만 규칙책이 검증되고 정확하다면, AI의 설명은 현실을 진실하게 반영하게 됩니다.

5. "목소리" 업그레이드

마지막으로, 이 시스템에 언어 모델을 결합했습니다.

수정 전: AI는 얼굴을 보고 행복하다고 결정한 뒤, "사람이 웃고 있으므로 행복해 보입니다"와 같은 문장을 생성합니다. 설령 AI가 그 결정을 내릴 때 실제로 "웃음" 근육을 사용하지 않았더라도 말이죠.
수정 후: AI는 "게이트(gate)"가 설정됩니다. AI는 특정 근육이 결정을 유발했을 때만 그 근육을 문장에서 언급할 수 있습니다. 만약 이미지에서 해당 근육을 제거하면, AI는 문장에서도 그 근육을 반드시 제거해야 합니다. 이제 설명은 구조적으로 진실이 되도록 만들어집니다.

요약

이 논문은 이 시스템이 완벽한 의사나 독심술사가 된다고 주장하는 것이 아닙니다. 대신, FACR이 설명의 **충실성(Faithful)**을 만들어낸다고 주장합니다.

기존 AI: "고통인 것 같아요. 왜냐하면... 음, 고통스러워 보이니까요." (그럴듯하지만 아마도 거짓말을 하는 중).
새로운 AI (FACR): "근육 X와 근육 Y가 활성화되어 있고, 제 규칙책이 이 두 근육을 고통이라고 정의했기 때문에 고통이라고 생각합니다. 만약 이 근육들을 제거한다면, 저는 고통이라고 말하지 않을 것입니다." (충실하며 검증 가능한 상태).

이 논문은 비록 단순한 추측 게임에서의 정확도는 약간 낮아질지라도, AI가 자신의 추론에 대해 "정직"하도록 훈련할 수 있음을 증명합니다. 이것은 트레이드오프입니다. 즉, 약간의 속도와 정확도를 희생하는 대신, 훨씬 더 높은 신뢰와 투명성을 얻는 것입니다.

기술 요약: 충실한 행동 단위 인과 추론 (Faithful Action-unit Causal Reasoning, FACR)

1. 문제 정의

자동 안면 감정 인식 시스템은 단순히 그럴듯한(plausible) 설명을 넘어, 예측을 실제로 구동하는 요인을 반영하는 충실한(faithful) 설명을 요구하는 추세입니다. 현재의 접근 방식은 다음 두 가지 범주로 나뉘며, 모두 충실성이 결여되어 있습니다:

구조적 인과 방법론: 행동 단위(Action Units, AUs)와 표정을 인과 그래프로 모델링하지만, 이는 순수하게 판별적(discriminative)입니다. 이들은 회복된 구조를 추론 단계에서 버리고, 언어화된 근거 없이 레이블이나 어텐션 맵만을 출력합니다.
멀티모달 대규모 언어 모델(MLLMs): AU를 기반으로 자연어 감정 근거를 생성합니다. 그러나 이들의 텍스트는 검증된 인과 구조에 의해 제약되지 않으며, 오직 그럴듯함(예: 텍스트 중첩 또는 GPT 기반 평가)만을 기준으로 평가됩니다. 결과적으로, 이들은 인과적 귀속을 템플릿 매칭으로 대체하며, 반사실적 편집(counterfactual edits) 하에서도 설명을 업데이트하는 데 실패합니다.

핵심적인 격차는 AU $\to$ 감정 추론기를 검증된 인과 그래프에 접지(grounding)시키고, **반사실적 충실성(counterfactual faithfulness)**을 강제하여, 특정 AU에 개입했을 때 예측과 근거가 모두 변하는 동시에 무관한 AU에 대한 개입은 둘 다 변화하지 않도록 보장하는 시스템의 부재입니다.

2. 방법론: FACR

제안된 시스템인 **충실한 행동 단위 인과 추론(FACR)**은 다음 세 가지 통합된 단계를 통해 이 격차를 해결합니다.

A. 구조적 AU $\to$ 감정 인과 그래프 유도 ( $G$ )

FACR는 외부 그래프를 재사용하는 대신, 독립적으로 방향성과 극성을 가진 인과 그래프 $G = (A \cup C, E)$ 를 유도합니다. 그래프는 세 가지 소스로부터 구성됩니다:

AU $\to$ 감정 엣지: AffectNet $\times$ FABA 공동 코퍼스에 대한 L1 정규화 로지스틱 회귀를 통해 추정되었습니다.
AU $\to$ AU 엣지: EmotioNet에 대한 이웃 선택(neighborhood selection)을 통해 추정되었습니다.
검증된 하위 구조: 통증 하위 구조는 PSPI(Prkachin–Solomon Pain Intensity) 공식을 사용하여 그라운드 트루스로 고정됩니다. 다른 감정의 경우, EMFACS 프로토타입으로부터 엣지를 채웁니다.
극성: 각 엣지는 흥분성(excitatory) 또는 억제성(inhibitory) 관계를 나타내는 부호( $s \in \{-1, +1\}$ )를 가집니다.

B. 그래프 조건부 추론기 (Graph-Conditioned Reasoner)

시스템은 입력 얼굴 $x$ 를 분리된 AU 잠재 변수(disentangled AU latent) $z \in \mathbb{R}^K$ 로 매핑하며, 여기서 각 좌표 $z_k$ 는 AU $k$ 의 존재를 나타냅니다.

예측: 그래프 조건부 헤드가 $z$ 를 기반으로 감정 클래스 $\hat{y}$ 를 예측합니다.
근거: 언어 구체화기(language verbalizer)는 활성화된 AU와 $G$ 내의 인과적 엣지를 명시하는 자연어 설명을 생성합니다.
개입 메커니즘: 잠재 공간은 잘 정의된 $do $-개입(예:$ do(z_k=0)$)을 허용하여, 특정 AU의 제거를 시뮬레이션합니다.

C. 반사실적 충실성 목적 함수 (Counterfactual-Faithfulness Objective)

FACR는 예측과 근거를 그래프 $G$ 에 결합하는 두 가지 항을 통해 훈련 목적 함수를 도입합니다.

민감도 항 ( $L_{sens}$ ): $G$ 가 클래스 $c$ 에 대해 인과적이라고 표시한 AU $a_k$ 를 제거했을 때, 클래스 로짓이 엣지의 극성이 암시하는 방향으로 이동해야 함을 요구합니다.
불변성 항 ( $L_{inv}$ ): 클래스 $c$ 에 대해 무관하다고 표시된 AU $a_k$ 를 제거했을 때, 클래스 로짓이 변하지 않아야 함을 요구합니다.

전체 손실 함수는 분류 손실, AU 접지 손실, 그리고 이러한 충실성 항들을 결합합니다:
$L = L_{cls} + \lambda_a L_{au} + \lambda_s L_{sens} + \lambda_i L_{inv}$

D. 언어화된 근거 구축

생성된 텍스트가 충실하도록 하기 위해, 구체화기는 **구조에 의해 게이팅(gated by construction)**됩니다. 각 AU 토큰의 방출은 해당 AU의 잠재 활성화 $z_k$ 에 의해 편향됩니다. 만약 잠재 공간에서 특정 AU가 비활성 상태라면, 텍스트에서 해당 AU가 이름 불리는 것이 강력하게 억제됩니다. 이는 잠재 공간에서 AU를 절제(ablate)하는 것이 생성된 설명에서 해당 AU를 확실히 제거하도록 보장합니다.

3. 주요 기여

정형화: AU $\to$ 감정 추론을 근거, 레이블, 그리고 인과 그래프 사이의 반사실적 일관성 문제로 규정했습니다.
FACR 시스템: 독립적으로 유도된 극성 인식 인과 그래프에 MLLM 추론기를 접지시키고, 분리된 잠재 공간에서의 $do$-개입을 통해 충실성을 강제하는 시스템을 제 제안합니다.
충실성 지표: 알려진 구조(통증에 대한 PSPI, 감정에 대한 EMFACS)에 대해 평가되는 반사실적 충실성 지표(민감도 및 불변성)를 도입했습니다. 결정적으로, 이 지표는 구조의 재발견이 아니라 제공된 구조에 대한 충실도를 테스트합니다.
실증적 검증: 충실성 목적 함수가 홀드아웃 데이터에 대해 활성화된 AU와 인과 구조(PSPI 및 EMFACS) 사이의 합의를 유의미하게 증가시키는 동시에, 이를 탐지 정확도와의 트레이드오프 관점에서 명시적으로 정량화함을 입증했습니다.

4. 실험 결과

A. UNBC-PAIN (통증 탐지)

LOSO(leave-one-subject-out) 교차 검증을 사용하여 평가되었습니다:

충실성 이득: 충실성 목적 함수는 검증된 PSPI 구성과의 합의를 기존의 0.08(목적 함수 없음)에서 0.57로 높였습니다.
정확도 트레이드오프: 이러한 이득은 탐지 정확도의 완만한, 정량화된 비용을 수반하며, AUC는 0.83(대조군)에서 0.79(FACR)로 감소했습니다.
불변성 회복: 불변성 가중치( $\lambda_i$ )를 조정함으로써 민감도와 불변성 제약을 동시에 만족할 수 있었습니다.

B. 교차 데이터셋 감정 전이 (AffectNet $\times$ FABA $\to$ Aff-Wild2)

일반화: 목적 함수는 7개 클래스 감정 작업에서 그래프-인과 합의를 0.50에서 0.84로 높였습니다.
그래프 품질 의존성:
- 학습된(노이즈가 있는) 그래프를 사용할 경우, 실제 활성화된 AU와의 합의는 0.24에 머물러 대조군과 일치했습니다.
- **검증된 그래프(EMFACS)**를 사용할 경우, 실제 활성화된 AU와의 합의는 0.59로 상승하는 한편, 그래프-인과 합의는 0.74로 높게 유지되었습니다.
- 이는 그래프에 대한 충실성이 현실과의 정렬을 위한 필요조건이지만 충분조건은 아님을 확인시켜 줍니다. 즉, 그래프의 정확성이 상한선을 설정합니다.
EmoLA와의 비교: 발표된 감정 MLLM인 EmoLA는 많은 AU를 무차별적으로 언급함으로써 더 높은 재현율(0.52 vs 0.37)을 달달성했습니다. 그러나 검증된 그래프를 사용한 FACR는 더 높은 정밀도(0.59 vs 0.51)와 더 높은 충실성(0.74 vs 0.63)을 달성하여, 단순히 많은 AU를 말하는 것이 아니라 올바른 인과적 AU를 선택한다는 것을 보여주었습니다.

C. 언어화된 근거 감사 (Verbalized Rationale Audit)

구축 vs 학습: 게이팅 없이 활성 AU를 이름 짓도록 학습된 구체화기는 불충실했습니다(절제된 AU 중 텍ks에서 제거된 비율이 6%에 불과).
게이팅 성공: 게이팅 제약이 있는 경우, 인과적 AU를 절제하면 생성된 텍스트에서 해당 AU가 확실히 제거되었습니다.
백본 불가지론(Backbone Agnostic): 충실성 메커니즘이 두 번째 언어 모델 백본인 Gemma 3로 전이됨으로써, 이 메커니즘이 특정 베이스 모델에 국한되지 않음을 확인했습니다.

5. 의의 및 주장

본 논문은 FACR가 AU $\to$ 감정 추론에서 단순히 그럴듯한 것이 아닌, 제약된 설명으로 가는 경로를 제공한다고 주장합니다.

충실성은 정확성과 구별됨: 연구는 충실성과 정확성이 별개의 축임을 보여줍니다. 모델은 더 정확해지지 않고도 더 충실해질 수 있으며, 이는 별도의 메트릭을 필요로 합니다.
개입 핸들: 기존 연구와 달리, FACR는 예측에 대한 설명의 의존성을 테스트할 수 있는 감사 가능한 개입 핸들(AU 잠재 변수)을 제공합니다.
설계 원칙: 충실성은 용량이나 데이터만을 통해 학습될 때보다 구축에 의해 강제될 때(게이팅 및 인과 제약을 통해) 가장 강력합니다.
한계점: 저자들은 FACR가 최첨단(SOTA) 인식 모델은 아니라는 점(완만한 AUC/F1 점수)과, 현실과의 정렬이 제공된 인과 그래프의 정확성에 의해 제한된다는 점을 명시적으로 밝힙니다. 이 방법은 구조를 재발견하는 것이 아니라, 제공된 구조를 충실히 따르는 것을 목표로 합니다.