⚡ electrical engineering

Dimensional Coactivation for Representational Consistency in Frozen Vision Foundation Models

본 논문은 표준 정규화 없이 원시 특징 차원의 동활성을 분석하여 고정된 비전 기초 모델 내의 샘플 간 표현 일관성을 측정하는 새로운 지표인 차원 동활성 (DCA) 을 소개하며, 합성 얼굴의 구조적 불일치를 식별함으로써 딥페이크 탐지에서의 유효성을 입증합니다.

원저자: Izaldein Al-Zyoud Abdulmotaleb El Saddik

게시일 2026-05-12

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Izaldein Al-Zyoud Abdulmotaleb El Saddik

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 가짜 사진을 식별하는 법을 전혀 배우지 않은 매우 똑똑한 얼어붙은 로봇이 있다고 가정해 봅시다. 이 로봇은 수백만 장의 실제 사진을 바라보며 세상을 '보는' 법을 막 배웠을 뿐입니다. 이제 여러분이 이 로봇에게 한 장의 얼굴 사진을 보여줍니다.

보통 우리는 로봇에게 이렇게 묻습니다. "이것은 실제 사람처럼 보이나요?" 하지만 이 논문은 조금 더 미묘하고 다른 질문을 던집니다. "로봇은 이 얼굴을 하나의 통합된 이야기로 보나요, 아니면 서로 맞지 않는 퍼즐 조각들의 뭉치로 보나요?"

간단한 비유를 사용하여 그들이 발견한 내용을 다음과 같이 정리해 봅니다.

1. 문제: "프랑켄슈타인" 얼굴

딥페이크 (가짜 영상) 가 점점 더 무서울 정도로 정교해지고 있습니다. 가짜 눈은 완벽해 보이고, 가짜 코는 완벽해 보이며, 가짜 입은 완벽해 보입니다. 눈만 보면 실제 같고, 입만 봐도 실제 같습니다.

하지만 실제 인간의 얼굴에서는 눈, 코, 입이 정체성의 숨겨진 '접착제'로 연결되어 있습니다. 그들은 같은 사람에게 속해 있습니다. 반면 가짜 얼굴에서는 그 접착제가 끊어집니다. 개별적으로는 각 부분이 실제처럼 보이지만, 서로에게 '같은 언어'로 말하지는 않습니다.

2. 도구: "차원 동활성화 (DCA)" 지문

연구자들은 이 '접착제'를 측정하는 새로운 방법을 고안했습니다. 이를 차원 동활성화 (Dimensional Coactivation, DCA) 라고 부릅니다.

로봇의 뇌를 1,024 개의 서로 다른 '스위치' (차원) 를 가진 것으로 상상해 보세요. 로봇이 무언가를 볼 때 이 스위치들이 켜집니다.

기존 방식: 대부분의 도구는 얼굴 전체를 보고 "이것은 실제 얼굴과 80% 비슷해 보인다"라고 말합니다. 모든 것을 평균 내는 방식입니다.
새로운 방식 (DCA): 이 도구는 특정 특징 쌍 (예: 눈과 입) 을 살펴보고 다음과 같이 묻습니다. "로봇이 눈을 볼 때 어떤 특정 스위치가 켜집니까? 그리고 입을 볼 때, 정확히 같은 스위치들이 켜집니까?"

실제 얼굴이라면 눈과 입을 볼 때 동일한 스위치들이 켜집니다. 왜냐하면 그들은 같은 정체성에 속하기 때문입니다. 가짜 얼굴이라면 눈과 입을 볼 때 스위치들이 무작위로 켜지고 서로 다릅니다. '접착제'가 없는 것입니다.

3. 핵심 비법: "제약 해방"

이것이 이 논문에서 가장 중요한 부분입니다. 연구자들은 이 '접착제'를 보려면 로봇의 뇌를 일반적인 수학 문제처럼 취급하는 것을 멈춰야 함을 발견했습니다.

보통 비교할 때 수학자들은 '공정성'을 확보하기 위해 다음 세 가지 작업을 수행합니다.

중앙화 (Centering): 평균을 빼는 것 (기선을 제거).
정규화 (Normalization): 모든 것을 같은 크기로 만드는 것 (큰 숫자를 줄임).
혼합 (Mixing): 모든 스위치가 다른 모든 스위치와 어떻게 상호작용하는지 보는 것.

이 논문은 이 특정 작업에 있어서는 이러한 '공정성' 규칙들이 실제로는 신호를 파괴한다고 주장합니다.

비유: 방속에서 속삭임을 들어보려고 한다고 상상해 보세요.
- 중앙화는 속삭임을 더 잘 들으려고 방의 소음을 끄는 것과 같습니다.
- 정규화는 속삭임을 외침과 같은 크기로 강제로 만드는 것과 같습니다.
- 혼합은 속삭임이 모든 벽에 반사되어 울리는 메아리를 듣는 것과 같습니다.

연구자들은 얼어붙은 로봇 (재학습을 하지 않은 로봇) 의 경우, 스위치들의 크기 (magnitude) 와 기선 (mean) 이 실제로 얼굴 정체성의 비밀 코드를 담고 있음을 발견했습니다. 데이터를 '정규화'하거나 '중앙화'하면, 찾으려던 그 핵심 요소를 실수로 지워버리게 됩니다. 그들은 이를 "제약 해방 (Constraint Liberation)" 이라고 부릅니다. 즉, 데이터를 상자에 억지로 넣지 않고 원시 데이터가 스스로 말하게 하는 것입니다.

4. 결과: "눈 - 입 - 코" 지문

그들은 유명한 가짜 얼굴 탐지기인 DINOv3를 사용하여 이를 테스트했습니다.

그들은 얼굴의 눈, 입, 코를 가져왔습니다.
이 세 부분 사이에서 '스위치'들이 어떻게 동활성화되는지 측정했습니다.
이 세 부분 간의 관계를 설명하는 3,072 차원 지문 (긴 숫자 목록) 을 생성했습니다.

점수:

딥페이크 데이터셋 (CelebDF-v2) 에서 이를 테스트했을 때, 로봇이 이전에 그 특정 가짜 얼굴을 본 적이 없음에도 불구하고 가짜를 식별하는 정확도가 91% 였습니다.
"아하!" 순간: 그들이 다시 '공정성' 규칙 (중앙화/정규화) 을 적용하려 했을 때, 정확도는 46% 로 폭락했습니다 ( basically 추측 수준). 이는 그들의 '원시' 방식만이 작동했다는 것을 증명했습니다.

5. 로봇이 중요한 이유

그들은 로봇의 뇌를 바꿔보기도 했습니다.

DINOv3 (스스로 배운): 매우 잘 작동했습니다. 눈과 입에 대해 스위치들이 동일한 의미를 갖는 안정적인 '좌표계'를 가지고 있었습니다.
FaRL (부품 라벨링을 배운): 매우 나쁘게 작동했습니다 (정확도 58%). 이 로봇은 단순히 "저건 눈이고 저건 코야"라고 말하도록 훈련되었습니다. 눈과 코 사이의 깊고 안정적인 연결을 배우지 못했습니다.

이는 '끊어진 접착제'를 식별하는 능력이 단순히 얼굴 부품을 찾는 것에 달려 있는 것이 아니라, 로봇이 세상에 대한 안정적인 내부 지도를 가지고 있는지에 전적으로 달려 있음을 증명합니다.

요약

논문의 결론은 다음과 같습니다. 부품 자체만 보지 말고, 로봇의 뇌 안에서 부품들이 서로 어떻게 대화하는지 보십시오.

만약 일반적인 수학 규칙 (정규화, 중앙화) 을 제거하고 눈과 입을 볼 때 켜지는 원시 '스위치'들을 본다면, 숨겨진 지문을 볼 수 있습니다. 그 지문이 엉망이면 얼굴은 가짜입니다. 일관성이 있으면 얼굴은 실제입니다. 그리고 놀랍게도, 데이터를 정리하기 위해 우리가 평소 사용하는 '엉망진창인' 수학 규칙들이 실제로는 이 진실을 숨기고 있습니다.

기술 요약: 동결된 비전 기반 모델에서의 표현 일관성을 위한 차원 동활성화

1. 문제 정의: 표현 일관성 (RC)

본 논문은 동결된 비전 기반 모델이 평가되는 방식의 간극을 다룹니다. 이러한 모델들이 특징을 추출하는 것으로 알려져 있지만, 저자들은 시각적 구조를 조직화하기 위해 학습된 좌표계를 부과한다고 주장합니다. 핵심 문제는 **표현 일관성 (Representational Consistency, RC)**입니다: 단일 동결 모델이 단일 입력을 그 의미 하위 영역 전반에 걸쳐 내부적으로 일관되게 표현하는지 여부를 판단하는 것입니다.

다른 모델, 계층, 또는 분포 간의 표현을 비교하는 표준 유사도 측정 (예: CKA, RSA) 과 달리, RC 는 단일 샘플 내, 단일 모델 내, 영역 간 측정입니다. 이는 동일한 물리적 정체성 (예: 얼굴의 눈, 코, 입) 을 가진 의미 영역이 모델의 특징 공간 내에서 조화를 유지하는지 여부를 묻습니다. 저자들은 합성 이미지 (딥페이크) 가 국소적으로 그럴듯한 영역을 재현할 수는 있지만, 이를 연결하는 표현적 구조를 유지하지 못하여, 실세계 이미지로 훈련된 동결 모델이 감지할 수 있는 내부 불일치를 생성한다고 주장합니다.

2. 방법론: 차원 동활성화 (DCA)

RC 를 측정하기 위해 저자들은 동결된 좌표계의 특정 속성을 보존하도록 설계된 차원별 연산자 **차원 동활성화 (Dimensional Coactivation, DCA)**를 도입합니다.

핵심 메커니즘:
샘플링된 패치 토큰 행렬 $F_{r_1}, F_{r_2} \in \mathbb{R}^{K \times D}$ 을 가진 두 의미 영역 $r_1$ 과 $r_2$ 가 주어졌을 때, DCA 는 이러한 영역 간의 동일한 특징 차원들의 동활성을 계산합니다:
$\text{DCA}(F_{r_1}, F_{r_2})[d] = \frac{1}{K} \sum_{k=1}^{K} F_{r_1}[k, d] \cdot F_{r_2}[k, d]$
이것은 영역 간 패치 토큰 곱의 대각선을 나타내는 $D$ (특징 차원) 크기의 벡터를 생성합니다. 얼굴의 경우, 눈 - 입, 눈 - 코, 입 - 코 쌍에 대한 DCA 벡터를 연결하여 3,072 차원의 지문 ( $D=1024$ 사용) 을 형성합니다.

제약 조건 해방:
방법론의 중요한 측면은 표준 유사도 전처리 단계를 의도적으로 피하는 것으로, 이를 **"제약 조건 해방 (Constraint Liberation)"**이라고 부릅니다. 저자들은 모델 간 비교에 유용한 연산이 단일 샘플 내 측정에는 부적합하다고 주장합니다:

중앙화 (Centering) 없음: 평균 활성화는 편향이 아니라 정체성 일관성을 인코딩할 수 있으므로 보존됩니다.
L2 정규화 없음: 더 강력한 차원이 더 무거운 정체성 부하를 전달할 수 있으므로 크기가 보존됩니다.
전체 그람 결합 (Full Gram Coupling) 없음: 노이즈를 피하고 동결된 좌표계가 읽혀지는 대각선 구조를 보존하기 위해 대각선 외의 차원 간 상호작용은 폐기됩니다.

파이프라인:

특징 추출: 동결된 DINOv3 ViT-L/16 백본이 최종 정규화 토큰을 피하고 중간 블록 -18 패치 토큰을 추출합니다.
영역 할당: 동결된 FaRL 파서가 토큰을 의미 영역 (눈, 입, 코) 에 할당합니다.
지문 생성: "눈 - 입 - 코" (EMN) 삼중체에 대해 DCA 벡터를 계산합니다.
검증: 경량 선형 프로브 (로지스틱 회귀) 를 소스 데이터셋 (FF++ c23) 에서만 훈련하여, 지문이 타겟 데이터셋 (CelebDF-v2, DFD) 의 불일치를 제로샷으로 감지하는 능력을 평가합니다.

3. 주요 기여

RC 의 정의: 본 논문은 동결된 기반 모델에 대한 별도의 측정 축으로서 표현 일관성을 정의하며, 모델 간 유사성이 아닌 단일 샘플 내 일관성에 초점을 맞춥니다.
DCA 연산자: 특징 공간을 스칼라 요약으로 축소하거나 표준 정규화 제약을 적용하지 않고 영역 간 일관성을 측정하는 차원별 도구로서 DCA 를 제안합니다.
제약 조건 해방: 중앙화, L2 정규화, 차원 간 결합을 제거하는 것이 단순한 단순화가 아니라 고정된 좌표계에서 일관성 신호를 보존하기 위한 필수 조건임을 입증합니다.
백본 의존성: RC 측정의 성공이 영역 추출 파이프라인뿐만 아니라 백본의 차원별 좌표계 안정성 (예: DINOv3) 에 의존함을 검증합니다.

4. 실험 결과

이 방법은 FF++ c23에서 훈련된 모델이 CelebDF-v2와 DFD에서 제로샷으로 평가되는 교차 데이터셋 딥페이크 감지를 통해 검증되었습니다.

성능: EMN DCA 지문은 CelebDF-v2 에서 0.9106 AUC, DFD 에서 0.9289 AUC를 달성했습니다.
제약 조건 제거 분석: 표준 제약 조건을 다시 도입하면 성능이 심각하게 저하되었습니다:
- 중앙화를 추가하면 CelebDF-v2 AUC 가 0.459로 떨어졌습니다.
- L2 정규화를 추가하면 0.862로 떨어졌습니다.
- 전체 그람 결합 (차원 간) 을 추가하면 0.478로 떨어졌습니다.
백본 민감도: DINOv3 를 FaRL(지도식 파싱 모델) 로 교체하면 CelebDF-v2 AUC 가 0.582로 붕괴되었으며, 이는 FaRL 이 RC 에 필요한 안정적인 차원별 좌표계를 갖추지 못했음을 나타냅니다.
영역 선택: "눈 - 입 - 코" 삼중체가 최적임이 확인되었습니다. 머리카락 (공간적으로 가변적) 이나 피부 (신호 희석) 를 포함하면 성능이 저하되었습니다.
스칼라 대 벡터: DCA 지문을 스칼라 요약 (예: 평균 DCA, 코사인 유사도) 으로 축소하면 AUC 가 0.47~0.66 사이로 나타나, 판별 신호가 특징 차원에 걸쳐 분포되어 있으며 집약 과정에서 손실됨을 증명했습니다.

5. 중요성과 주장

본 논문은 DCA 를 기존 모든 방법보다 우수한 범용 딥페이크 탐지기가 아니라, 관계적, 특징 차원적, 그리고 백본 의존적인 일관성이라는 특정 유형의 신호를 드러내는 측정 원리로 위치시킵니다.

탐지보다 측정: 주요 기여는 미세 조정 없이 딥페이크를 노출하는 측정 가능한 "일관성 잔여물"이 동결된 기반 모델에 내재되어 있음을 입증한 것입니다. 이 신호는 지역적 (단일 영역이 어떻게 보이는지) 이 아니라 관계적 (영역들이 어떻게 상호작용하는지) 입니다.
좌표계 안정성: 자기 증류로 훈련된 DINOv3 와 같은 모델은 동일한 의미 요인이 공간적 위치 전반에 걸쳐 동일한 차원을 활성화하는 안정적인 좌표계를 개발한다는 결과가 시사합니다. 이 속성은 RC 측정에 필수적이며, 범주 경계 최적화 모델 (FaRL 등) 에는 부재합니다.
한계: 저자들은 겸손하게 이 방법이 현재 얼굴에 국한되어 있으며, 경험적으로 선택된 특정 블록 깊이 (블록 18) 에 의존하며, 현대의 확산 기반 조작이나 인구 통계학적 견고성에 대해 검증되지 않았음을 지적합니다. 본 논문은 이 작업을 배포 가능한 포렌식 모델이 아닌 기초 측정 도구로 규정합니다.