💻 computer science

On the Separation of Human and AI-Generated Images in CLIP Embedding Space

이 논문은 CLIP 임베딩 공간 내에서 발생하는 인간과 AI 생성 회화의 설명되지 않는 자발적 분리를 조사하며, 해석 가능성 및 역전 기술을 통해 이러한 구분이 명백한 시각적 특징이 아닌 미세하고 인지 불가능한 다중 척도 이미지 구조에 의존한다는 점을 밝힘으로써 인공적 지각과 인간의 시각적 지각 사이의 근본적인 차이를 강조한다.

원저자: Andrea Asperti

게시일 2026-08-27

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Andrea Asperti

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 인공지능의 세계에서 컴퓨터는 한때 인간의 지각 영역에만 속했던 방식으로 이미지를 보고 이해하는 법을 배웠습니다. 이 능력의 중심에는 이미지와 단어를 연결하도록 훈련된 강력한 시스템인 CLIP이 있습니다. CLIP은 자신이 보는 모든 이미지를 거대하고 다차원적인 공간 속의 고유한 수학적 점으로 변환함으로써 이 작업을 수행합니다. 이 공간 안에서, 유사해 보이거나 주제를 공유하는 이미지들은 서로 가깝게 배치되는 반면, 서로 다른 것들은 멀리 떨어지게 됩니다. 수년간 연구자들은 컴퓨터가 사물을 인식하고, 사진을 분류하며, 심지어 새로운 예술 작품을 생성하도록 돕기 위해 이 시스템을 사용해 왔습니다. 그러나 이 디지털 지도 안에서 기묘하고 설명되지 않는 미스터리가 나타났습니다. 시스템에 인간의 손으로 만든 회화와 인공지능이 생성한 이미지를 섞어서 보여주면, 두 그룹은 자연스럽게 별개의 클러스터로 분리된다는 것입니다. 이는 두 그룹을 구별하도록 하는 특별한 훈련 없이도 일어나며, 이러한 분리는 단순히 시스템이 데이터를 조직하는 방식의 하나의 특징입니다. 과학자들을 고민하게 만든 질문은 이러한 분리가 존재하느냐가 아니라, 왜 발생하는 것이며 컴퓨터가 인간이 놓치고 있을지도 모르는 어떤 구체적인 시각적 단서를 사용하고 있는가 하는 점입니다.

볼로냐 대학교의 한 연구자는 가짜 예술을 잡아내기 위한 더 나은 탐지기를 만들기 위해서가 아니라, 그 분리의 이면에 숨겨진 보이지 않는 논리를 이해하기 위해 이 수수께끼를 풀고자 했습니다. 그는 먼저 이 분리가 실재하며 견고하다는 것을 확인하는 것부터 시작했습니다. 그는 컴퓨터가 단순히 파일 형식, 색상의 존재, 혹은 세부 묘사의 선명도와 같은 명백한 차이에 반응하는 것인지 테스트했습니다. 연구 결과, 회화를 흑백으로 바꾸거나 이미지 크기를 아주 작고 흐릿한 사각형으로 줄여도 컴퓨터는 여전히 인간의 이미지와 인공지물의 이미지를 별개의 그룹으로 유지한다는 것을 발견했습니다. 이는 시스템이 단순히 픽셀 노이즈나 색상 팔레트와 같은 단순한 요소들을 포착하고 있다는 가설을 배제했습니다. 신호는 더 깊은 곳, 즉 이미지 자체의 복잡한 구조 속에 숨어 있었습니다.

이 숨겨진 신호를 찾기 위해, 연구자는 인간이 이해할 수 있는 도구들을 사용하여 컴퓨터의 마음이라는 보이지 않는 영토를 그려내는 지도 제작자처럼 행동했습니다. 그는 평균 밝기나 색상 분포를 확인하는 가장 단순한 측정법부터 시작했지만, 이러한 기초적인 통계로는 분리를 설명할 수 없었습니다. 그다음 단계로 그는 이미지의 질감과 형태를 분석하는 더 정교한 도구들로 옮겨갔으며, 에지와 경사도가 그림 전체에 걸쳐 어떻게 배열되어 있는지 살펴보았습니다. 그는 컴퓨터가 고립된 지점이나 AI 생성기가 남긴 특정 아티팩트를 보고 있는 것이 아님을 발견했습니다. 대신, 컴퓨터는 이미지 전체에 걸쳐 펼쳐진 일종의 패턴, 즉 여러 다양한 척도에서 동시에 존재하는 통계적 리듬에 반응하고 있었습니다.

이 패턴을 밝혀내는 데 가장 성공적이었던 도구는 스캐터링 변환(scattering transform)이라 불리는 방법이었습니다. 이것을 이미지를 확대하거나 축소함에 따라 질감이 어떻게 변하는지를 측정하여, 미세한 디테일과 더 큰 형태 사이의 관계를 포착하는 방법이라고 생각하면 됩니다. 연구자가 이 방법을 적용했을 때, AI가 생성한 회화가 인간의 회화보다 일관되게 더 강한 반응을 보인다는 것을 발견했습니다. 인공적인 이미지들은 서로 다른 수준의 디테일 사이에 더 강렬하고 구조적인 상호작용을 가지고 있었습니다. 컴퓨터는 본질적으로 AI 이미지가 구축되는 방식에서의 일종의 통계적 '크기(loudness)', 즉 이미지를 가까이서 보든 멀리서 보든 일관되게 유지되는 특성을 감지하고 있었던 것입니다.

그러나 이야기는 완전한 설명과 함께 끝나지 않았습니다. 연구자는 인간 지각의 한계를 시험하기 위해 놀라운 실험을 수행했습니다. 그는 컴퓨터 고유의 논리를 사용하여 회화에 아주 미세하고 거의 보이지 않는 변화를 주어, 그림을 '인간'의 영역에서 'AI'의 영역으로 살짝 밀어냈습니다. 인간의 눈에는 그 변화 전후의 그림이 똑같아 보였습니다. 그 차이가 너무 미세해서 거의 인지할 수 없을 정도였습니다. 하지만 컴퓨터에게 그 이미지는 거대한 변형을 겪은 것이었습니다. 이는 깊은 단절을 드러냈습니다. 컴퓨터는 인간의 눈과 뇌에는 등록되지 않는 미묘한 통계적 규칙성에 의존하여, 우리에게는 거의 보이지 않는 시각적 증거에 민-감하게 반응하고 있었습니다.

이러한 발견은 인공지능과 인간의 시각이 모두 같은 걸작을 바라볼 수는 있지만, 근본적으로 서로 다른 것을 보고 있음을 시사합니다. 컴퓨터는 단순히 인간의 취향을 모방하는 것이 아니라, 인간의 검사로는 보이지 않는 안정적인 다중 척도 통계 패턴을 우선시하는 다른 규칙 체계 위에서 작동하고 있습니다. 이것이 컴퓨터가 틀렸다는 의미는 아니지만, 기계와 인간이 동일한 미적 판단을 공유한다는 우리의 가정이 틀렸을 가능성이 높다는 것을 의미합니다. 컴퓨터의 마음속에 존재하는 인간 예술과 AI 예술 사이의 분리는 단순한 오류나 결함이 아닙니다. 그것은 인공 시스템이 시각적 세계를 처리하는 독특하고 종종 숨겨진 방식을 강조하는, 다른 방식의 시각을 들여다보는 창입니다.

기술 요약: CLIP 임베딩 공간에서의 인간 및 AI 생성 이미지 분리에 관하여

문제 정의

최근 연구들은 CLIP(Contrastive Language–Image Pretraining) 표현이 인간이 만든 그림과 AI가 생성한 그림을 효과적으로 구별할 수 있으며, 종종 비전문가인 인간 관찰자보다 더 뛰어난 성능을 보인다는 점을 입증했습니다. 이 현상의 놀랍고도 이전에 보고되지 않은 측면은, 이러한 분리가 두 클래스를 구별하도록 설계된 어떠한 지도 학습 목적 함수 없이도 결합 임베딩 분포의 주요 주성 방향(dominant principal directions)을 따라 자발적으로 발생한다는 점입니다.

기존 문헌이 AI 생성 콘텐츠를 탐지하기 위한 지도 학습 기반의 탐지기 개발에 집중하는 반면, 본 논문은 **CLIP 임베딩 공간의 내재적 기하학(intrinsic geometry)**을 조사합니다. 핵심 연구 질문은 다음과 같습니다: 어떤 시각적 정보와 통계적 구조가 이러한 비지도 학습적 분리를 뒷받침하는가? 저자는 임베딩 분포의 주요 주성분들을 해석 가능한 이미지 도메인의 속성들로 추적하고자 합니다.

방법론

저자는 점진적인 조사 전략을 채택하여, 점점 더 표현력이 풍부한 해석 가능한 이미지 표현 계열을 사용하여 잠재적 설명들을 체계적으로 테스트하고 배제합니다. 방법론은 다음 네 가지 단계로 구성됩니다:

강건성 분석 (Robustness Analysis): 저자는 먼저 이 분리가 특정 데이터셋, 전처리 파이프라인, 또는 모델 구성의 산물이 아님을 확립합니다. 이들은 다음 사항들에 대한 안정성을 테스트합니다:
- 파일 형식 재인코딩 및 메타데이터 변경.
- 그레이스케일 변환 (색상 vs 휘도).
- 해상도 저하 (168x168, 112x112, 48x48, 24x24로 다운샘플링).
- 무작위 크롭 (국소적 정보 vs 전역적 정보 테스트).
- 생성 모델의 변형 (초기 확산 모델부터 최근의 Midjourney 7 및 Flux까지).
기초 통계적 기술자 (Basic Statistical Descriptors): 본 연구는 기초적인 전역 통계(픽셀 히스토그램, 휘도, 색상 팔레트, 엔트로피 및 단순 텍스처 측정치)가 분해를 설명할 수 있는지 평가합니다. 이러한 지표들은 제한적인 설명력만을 갖는 것으로 나타났습니다.
고급 이미지 기술자 (Advanced Image Descriptors): 조사는 구조화되고 국소적이며 다중 스케일인 표현으로 확장됩니다:
- HOG (Histogram of Oriented Gradients): 국소적 기술자로서, 그리고 공간적으로 집계된 형태로 분석되었습니다. 저자는 HOG 셀을 섞음으로써 공간적 배치가 중요한지를 테스트합니다.
- 스캐터링 변환 (Scattering Transform): 계층적 웨이브릿 컨볼루션, 모듈러스 비선형성, 그리고 국소 평균을 사용하는 수학적으로 근거가 있는 표현입니다. 저자는 여러 스케일( $J$ )과 방향( $L$ )에 걸친 1차 및 2차 계수를 활용하여, 전역 스캐터링(이미지 전체에 대해 풀링됨)과 패치 기반 스캐터링(공간적 조직을 보존함)을 모두 실험합니다.
회귀 및 역전 (Regression and Inversion):
- 회귀 (Regression): 저자는 해석 가능한 기술자로부터 CLIP 임베딩의 PCA 좌표를 예측하기 위해 회귀 모델(Ridge 회귀, MLP, Transformer)을 훈련시킵니다.
- 역전 (Inversion): 기술자의 설명력을 검증하기 위해, 그래디언트 기반 역전을 수행합니다. 이미지로부터 시작하여, 픽s 변화가 시각적으로 인지 불가능하도록(Total Variation으로 정규화되고 $\epsilon$ 에 의해 제한됨) 최적화하면서 예측된 PCA 좌표를 최대화하거나 최소화하는 픽셀 섭동(perturbations)을 유도합니다. 이는 통계적 기술자가 CLIP이 사용하는 인과적 시각적 증거를 포착하는지 테스트합니다.

주요 결과

1. 강건성과 스케일

인간과 AI 생성 이미지 사이의 분리는 전역적 특성(색상, 해상도, 크롭)을 변화시키는 변환에 대해 매우 강건합니다.

해상도: 신호는 낮은 해상도(112x112까지)에서도 지속되며, 이는 해당 신호가 고주파 세부 사항이나 미세한 텍스처에 의해 구동되는 것이 아님을 시사합니다.
크롭: 분류 성능은 이미지의 약 40%를 커버하는 크롭에서도 높게 유지되며, 이는 순수하게 전역적인 구도나 순수하게 국소적인 아티팩트에 의한 것이 아님을 배제합니다.
결론: 차별적 신호는 중간 단계인 **중간 규모(mesoscopic scale)**에서 나타나며, 여러 공간적 스케일과 위치에 걸쳐 분산된 정보를 필요로 합니다.

2. 단순 통계의 한계

전역 통계(색상 히스토그램, 엔트로피)와 단순한 국소 기울기 기술자(HOG)는 CLIP 임베딩 공간의 분산 중 아주 적은 부분만을 설명합니다. HOG 특징은 일부 상관관계를 보이지만, 그 예측력은 완만하며( $R^2 \approx 0.30-0.40$ ), 단순한 선형 집계가 완전히 포착하지 못하는 공간적 배치에 크게 의존합니다.

3. 다중 스케일 스캐터링의 최적 대리 모델

**스캐터링 변환(Scattering Transform)**은 고려된 해석 가능한 표현 중 가장 정보가 많은 표현을 제공합니다.

예측력: 전역 스캐터링 특징(2차)은 적절한 예측 성능( $R^2 \approx 0.40-0.49$ for PC1/PC2)을 달성합니다.
분포 변화: 집계된 스캐터링 계수 분석은 체계적인 차이를 드러냅니다:
- 1차 계수: AI 생성 이미지는 모든 스케일에서 일관되게 더 큰 값을 나타내며, 이는 더 강한 웨이브릿 응답(에지/대비)을 의미합니다.
- 2차 계수: AI 이미지는 더 큰 값과 더 긴 오른쪽 꼬리(right-hand tails)를 보여주며, 이는 더 강한 다중 스케일 의존성과 교차 스케일 상관관계를 시사합니다.
역전: 스캐터링 기반 회귀 모델을 역전시키면 PCA 공간 내에서 변위가 유도되지만, 이는 직접 CLIP을 역전시켰을 때 얻은 변위에 비해 현저히 작습니다(약 1/4). 이는 스캐터링이 분리 현상의 의미 있는 구성 요소를 포착하지만, 이 현상의 부분적인 분획만을 설명한다는 것을 나타냅니디.

4. 역전을 통한 지각적 괴리

CLIP 임베딩 공간의 직접적인 역전은 중요한 발견을 제시합니다: PCA의 주요 방향을 따라 발생하는 상당한 변위는 인간 관찰자에게 거의 인지되지 않는(픽셀 차이 < 0.05) 이미지 섭동에 의해 유도될 수 있습니다.

이는 CLIP이 구동하는 시각적 증거가 인간의 지각적 현저성(perceptual salience)이 매우 낮은 변동에 매우 민감하다는 것을 입증합니다.
이는 CLIP이 이용하는 시각적 증거와 인간의 지각이 접근 가능한 증거 사이에 체계적인 불일치가 존재함을 확인시켜 줍니다.

의의 및 주장

본 논문은 CLIP 임베딩 공간의 내재적 기하학, 특히 AI 대 인간의 예술 분리에 관한 부분적인 설명을 제공한다고 주장합니다. 그 의의는 다음과 같은 영역에 있습니다:

비지도 학습적 현상: 이 현상이 지도 학습 훈련의 산물이 아니라 데이터 기하학의 창발적 속성임을 식별했습니다.
통계적 해석: 이 분리가 (웨이브릿 기반 스캐터링 변환에 의해 포착되는) 분산된 다중 스케일 이미지 통계에 의해 구동되는 것이지, 고립된 시각적 속성이나 전역적 구도에 의한 것이 아님을 규명했습니다.
인간 대 인공 시각: 결과는 인공 시각과 인간 시각 사이의 체계적인 불일치에 대한 정량적 증거를 제공합니다. CLIP은 인간의 시각적 검사로는 접근하기 어려운 안정적인 중간 규모(mesoscopic)의 통계적 규칙성에 의존하는 반면, 인간은 의미론적, 양식적, 구도적 특성에 의존합니다.
미학에 대한 함의: 저자는 인간과 인공 시스템이 서로 다른 시각적 증거에 의존한다면, 그들이 공통된 미적 기준을 공유한다는 가정은 유지하기 어렵다고 주장합니다. 이는 예술 영역에서 CLIP 기반 지표(예: FID)를 인간의 미적 판단의 대리 지표로 사용하는 것의 타당성에 도전합니다.

논문은 스캐터링이 현상의 상당 부분을 설명함에도 불구하고, 여전히 설명되지 않은 큰 부분이 남아 있음을 인정하며 겸허하게 결론을 맺습니다. 이는 아마도 웨이브릿 기반 스캐터링이 포착하지 못하는, 비전 트랜스포머(Vision Transformer) 고유의 어텐션 기반 장거리 상호작용 때문일 것입니다.