💻 computer science

GlobalForge: Towards Robust AI-Generated Image Detection

이 논문은 취약한 국소적 아티팩트(local artifacts)에서 국소 정보 병목(Local Information Bottleneck) 및 전역 구조적 추론(Global Structural Reasoning) 모듈을 통한 안정적인 전역 구조적 추론으로 초점을 전환함으로써, 실제 열화된 이미지와 새로 제안된 RealDeg-Bench에서 기존의 최첨단 방식들을 크게 능가하는 강력한 AI 생성 이미지 탐지 프레임워크인 GlobalForge를 소개한다.

원저자: Manni Cui, Ruiqi Liu, Dianyuan Zou, Ziheng Qin, Jingrui Xu, ZiAn Wang, Jianglan Wei, Han Zhou, Yu Liu, Yan Wang, Shu Wu

게시일 2026-07-17

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Manni Cui, Ruiqi Liu, Dianyuan Zou, Ziheng Qin, Jingrui Xu, ZiAn Wang, Jianglan Wei, Han Zhou, Yu Liu, Yan Wang, Shu Wu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 위조품을 찾아내려는 탐정이라고 상상해 보십시오. 디지털 이미지의 세계에서 "AI 생성" 사진들은 육안으로는 실제 사진과 구별할 수 없을 정도로 정교해지고 있습니다. 이는 매우 중대한 문제입니다. 나쁜 의도를 가진 사람들이 이러한 가짜 이미지를 이용해 거짓을 퍼뜨리거나, 실존 인물의 딥페이크를 만들거나, 예술 작품을 도용할 수 있기 때문입니다. 이에 맞서 싸우기 위해 과학자들은 "탐지기(detectors)"를 구축했습니다. 이 컴퓨터 프로그램들은 AI가 그림을 그릴 때 저지르는 아주 작고 눈에 보이지 않는 실수들을 찾아내도록 설계되었습니다.

오랫동안 이 탐지기들은 실험실 안에서는 훌륭하게 작동했습니다. 하지만 여기에는 함정이 있었습니다. 이들은 마치 깨끗하고 손대지 않은 캔버스 위에 남겨진 특정한 종류의 얼룩만을 찾아낼 줄 아는 탐정과 같았습니다. 누군가 그 캔스를 구기거나, 복사하거나, 휴대폰 화면에 맞게 크기를 줄이는 순간(이미지가 온라인에서 공유될 때마다 일어나는 일들입니다), 탐지기들은 혼란에 빠졌습니다. 이들은 이미지의 작은 패치 안에 있는 작고 취약한 결함인 "로컬 아티팩트(local artifacts)"를 찾고 있었기 때문입니다. 이미지가 압축되거나 흐릿해지면 이러한 미세한 결함들은 사라져 버리고, 탐정은 눈이 먼 상태가 됩니다. 문제는, 증거가 엉망이 되어도 당황하지 않는 탐지를 어떻게 구축할 것인가였습니다.

여기서 GlobalForge라는 논문이 등장합니다. 연구진은 기존의 탐지기들이 잘못된 단서에 집중하고 있다는 사실을 깨달았습니다. 미세하고 쉽게 파괴되는 얼룩을 쫓는 대신, 그들은 AI에게 "큰 그림", 즉 전체적인 구조와 멀리 떨어진 이미지의 각 부분이 서로 어떻게 연관되어 있는지를 보도록 가르치기로 했습니다. 그들은 GlobalForge라고 불리는 새로운 프레임워크를 구축하여, AI가 취약한 로컬 디테일에 의존하는 대신 이미지의 견고한 전역적 형태(global shape)에 의존하도록 강제했습니다.

그들은 다음과 같은 몇 가지 창의적인 기법을 사용하여 이를 수행했습니다.

첫째, 그들은 **"로컬 정보 병목 현상(Local Information Bottleneck, LIB)"**을 설치했습니다. 이것은 이미지의 미세한 고주파 디테일을 흐릿하게 만드는 특수 안경과 같습니다. 마치 탐정에게 "개별적인 붓터치를 보지 마세요. 그것들은 가짜일 수도 있고 지워질 수도 있습니다. 그저 그림의 전반적인 흐름만 보세요"라고 말하는 것과 같습니다. 이러한 로컬 디테일을 흐림 처리함으로써, AI는 압축될 때 사라지는 미세하고 특정한 결함을 암기하여 속임수를 쓰는 것을 방지할 수 있습니다.

둘째, 그들은 "전역 구조 추론(Global Structural Reasoning, GSR)" 모듈을 추가했습니다. 당신이 퍼즐을 풀고 있는데, 바로 옆에 있는 조각들을 보는 것이 금지되었다고 상상해 보십시오. 대신 테이블 건너편으로 시선을 옮겨 왼쪽 상단의 조각이 오른쪽 하단의 조각과 어떻게 연결되는지를 봐야 합니다. 이는 AI가 이미지의 장거리 관계, 즉 "전역적 구조"를 이해하도록 강제합니다. 만약 이미지가 AI에 의해 생성된 것이라면, 로컬 디테일이 완벽하더라도 이러한 원거리 연결은 어색하거나 부자연스럽게 느껴질 수 있습니다.

이 새로운 탐정이 실제 세상에서도 충분히 강인한지 확인하기 위해, 팀은 RealDeg-Bench라는 새로운 테스트 환경을 만들었습니다. 단순히 깨끗한 이미지나 한 가지 유형의 손상만을 테스트하는 대신, 그들은 "복합 열화 체인(compound degradation chain)"을 시뮬레이션했습니다. 이것은 사진을 찍고, 압축하고, 크기를 조절하고, 흐리게 처리하는 과정을 다섯 번 연속으로 반복하는 것과 같으며, 이는 이미지가 소셜 미디어를 통해 전달될 때 실제로 일어나는 일을 모방한 것입니다.

결과는 인상적이었습니다. 이러한 까다로운 실제 환경 테스트에서, 기존의 방식들이 무너지는 동안 GlobalForge는 정확도를 유지했습니다. 구체적으로, 이 새로운 방법은 8개의 "인 더 와일드(in-the-wild)" 벤치마크 그룹에서 이전의 최고 방법들보다 평균 균형 정확도(실제와 가짜를 모두 얼마나 잘 찾아내는지에 대한 척도)를 5.89% 향상시켰습니다. 복잡한 손상 체인을 포함한 새로운 RealDeg-Bench에서 GlobalForge는 평균 균형 정확도 **85.81%**에 도달하며 다른 최상위 탐지기들을 명확히 앞질렀습니다.

저자들은 기존의 로컬 아티팩트에 의존하는 방식이 실패의 근본 원인이었음을 발견했습니다. 로컬 단서를 보지 못하도록 차단했을 때, AI는 오히려 본 적 없는 이미지에 대해서도 가짜를 찾아내는 능력이 더 좋아졌습니다. 또한, 단순히 더 많은 "데이터 증강(data augmentation, 학습 중에 더 많은 손상된 이미지를 보여주는 것)"을 추가하는 것만으로는 충분하지 않다는 것을 보여주었습니다. AI는 단순히 무엇을 보느냐가 아니라, 이미지를 어떻게 보느냐를 바꾸도록 강제되어야 했습니다.

요약하자면, GlobalForge는 현실 세계의 복잡한 상황 속에서 AI 가짜를 잡아내기 위해서는 미세하고 취약한 단서를 찾는 것을 멈추고, 거대하고 구조적인 진실을 바라보기 시작해야 한다는 점을 시사합니다. 이는 얼룩을 찾아내는 탐정에서 전체 이야기를 이해하는 탐정으로의 전환입니다.

기술 요약: GlobalForge: 강건한 AI 생성 이미지 탐지를 향하여

문제 정의

AI 생성 이미지(AIGI) 탐지기들은 깨끗한 벤치마크에서는 높은 정확도를 달anim하지만, 이미지가 실제 환경의 전파 채널(예: 소셜 미디어 공유)을 거칠 때 성능이 급격히 저하됩니다. 본 논문은 이러한 취약성이 현재 탐지 패러다임의 근본적인 결함에서 기인한다고 지적합니다. 즉, 탐지기들이 생성 모델에 의해 남겨진 로컬 아티팩트(작은 공간적 이웃, 고주파 스펙트럼 흔적 또는 업샘플링 그리드)에 과적합된다는 것입니다. 이러한 로컬 단서들은 JPEG 압축, 블러(blur), 리사이징과 같은 일반적인 열화(degradation)에 의해 쉽게 파괴됩니다. 데이터 증강이나 이미지 복원과 같은 기존의 방어 기법들은 대체로 수동적입니다. 증강은 보이지 않는 열화에 대한 특징 선호도를 변화시키지 못하며, 복원은 생성 모델 특유의 흔적을 보존하기보다는 이미지를 자연 이미지 통계로 끌어당기는 경후가 있습니다. 또한, 현재의 평가 벤치마크는 단일 섭동(perturbation)만을 테스트하거나 통제되지 않은 "인 더 와일드(in-the-wild)" 데이터에 의존하여, 실제 전파 과정에서 나타나는 복합적인 열화 체인을 포착하지 못하는 한계가 있습니다.

방법론: GlobalForge

저자들은 탐지의 결정적 단서를 취약한 로컬 아티팩트에서 강건한 **글로벌 구조적 일관성(global structural coherence)**으로 전환하도록 설계된 탐지 프레임워크인 GlobalForge를 제안합니다. 이 프레임워크는 열화 인지적 대조 구조 손실(degradation-aware contrastive structural loss) 하에 공동 학습되는 두 가지 상호 보완적인 모듈로 구성됩니다.

로컬 정보 병목 (Local Information Bottleneck, LIB):
- 목표: 모델이 "지름길(shortcut)" 형태의 로컬 아티팩트를 학습하는 것을 방지하기 위해 로컬 고주파 성분을 억제합니다.
- 메커니즘: 원본 입력에 저역 통과 필터(low-pass filtering)를 적용하는 대신(이는 링잉 현상과 같은 부작용을 유발할 수 있음), LIB는 **특징 도메인(feature domain)**에서 작동합니다. 백본으로부터 추출된 딥 피처(deep features)를 가져와, 학습 가능한 스칼라 게이트( $\alpha$ )를 사용하여 원본 피처를 데프스와이즈 가우시안 컨볼루션(depthwise Gaussian convolution)으로 얻은 매끄러운 버전과 융합합니다. 이 제어된 융합은 저주파 구조 정보는 보존하면서 고주파 노이즈와 로컬 그리드 흔적을 감쇄시킵니다.
글로벌 구조적 추론 (Global Structural Reasoning, GSR):
- 목표: 모델이 로컬 상관관계가 아닌 장거리 관계에 의존하도록 강제합니다.
- 메커니즘: LIB의 출력을 기반으로 구축된 GSR은 셀프 어텐션(self-attention) 메커니즘을 수정합니다. 이는 어텐션 스코어 행렬에 로컬 마스킹 윈도우(체비쇼프 거리)를 적용하여, 쿼리 토큰과 그 즉각적인 이웃 간의 어텐션 가중치를 $-\infty$ 로 설정합니다. 이를 통해 모든 토큰이 먼 영역으로부터만 증거를 수집하도록 강제함으로써, 모델이 결정을 내리기 위해 교차 영역의 구조적 정보를 통합하도록 만듭니다.
시너지 최적화 (Synergistic Optimization, LDCS):
- 모듈들은 **열화 인지적 대조 구조 손실(Degradation-Aware Contrastive Structural Loss, LDCS)**을 사용하여 함께 학습됩니다. 각 입력에 대해 온라인 방식으로 복합 열화된 뷰(view)가 생성됩니다. 이 손실 함수(InfoNCE 기반)는 특징 공간에서 깨끗한 뷰와 열화된 뷰의 글로벌 이미지 표현을 정렬합니다. 이는 모델이 열화 불변적인 구조적 정보를 보존하도록 독려하여, 실제적인 전파 상황에서도 안정성을 확보하게 합니다.

주요 기여

취약성 진단: 본 논문은 로컬 아티팩트 의존성을 열화 취약성의 근본 원인으로 식identifying하는 통제된 진단을 제공합니다. 실험을 통해 로컬 아티팩트에 대한 접근을 차단하는 것이 열화 강건성과 교차 생성기 일반화 성능을 모두 향상시킨다는 것을 입증했습니다.
GlobalForge 프레임워크: 저자들이 아는 바로는, 이는 로컬 지름길을 능동적으로 억제하고 장거리 구조적 단서에 대한 결정적 추론을 강제하여, 강건성을 생성기 특유의 로컬 시그니처로부터 분리시킨 최초의 AIGI 탐지 프레임워크입니다.
RealDeg-Bench: 저자들은 7가지 일반적인 열화 연산자와 다단계 복합 체인(최대 5단계)을 다루는 새로운 평가 벤치마크를 도입했습니다. 이 벤치마크는 현실적이고 통제 가능한 전파 깊이와 강도를 시뮬레이션함으로써 기존 연구의 한계를 해결합니다.
성능 향상: GlobalForge는 8개의 in-the-wild 벤치마크 그룹에서 이전 SOTA 대비 평균 균형 정확도(BAcc)를 5.89% 개선하였으며, RealDeg-Bench에서 평균 **85.81%**의 BAcc에 도달했습니다.

실험 결과

평가는 두 가지 세트에서 수행되었습니다: RealDeg-Bench(통제된 열화) 및 In-the-Wild 벤치마크(Chameleon, WildRF, real-chain을 포함한 8개 그룹).

RealDeg-Bench: GlobalForge(변형 모델 Ours-d2 및 Ours-d3)는 Clean, Multi-Kind, Compound Degradation 조건 모두에서 가장 높은 평균 BAcc(85.81%)를 달성했습니다. 열화 강도나 체인 길이가 증가함에 따라 "절벽 같은" 성능 저하를 보인 베이스라인들(예: DDA, GAPL, B-Free)과 달리, GlobalForge는 매끄러운 감쇠 곡선을 유지하여 글로벌 구조적 특징의 안정성을 확인시켜 주었습니다.
In-the-Wild 평가: 8개 벤치마크 그룹의 17개 테스트 서브셋에 대해, GlobalForge는 평균 **85.93%**의 BAcc를 기록하며 가장 강력한 베이스라인인 DDA를 5.89% 차이로 앞질렀습니다. 8개 그룹 중 3개에서 1위를 차지했으며, 여러 베이스라인이 분포 외(out-of-distribution) 서브셋에서 무너지는 것과 대조적으로 다양한 플랫폼과 생성기에 대해 일관된 성능을 유지했습니다.
소거 연구(Ablation Studies): 핵심 구성 요소(LIB, GSR, LDCS) 중 하나라도 제거하면 유의미한 성능 저하가 발생했습니다. LIB와 GSR의 조합은 특히 효과적이었는데, LIB는 로컬 지름길을 억제하고 GSR은 장거리 추론을 강제했습니다. 대안 분석 결과, 입력 측 필터링(픽셀 또는 주파수 도메인)은 특징 도메인 병목 방식보다 열등했으며, 제약 없는 글로벌 어텐션은 마스킹된 로컬 윈도우 방식보다 효과가 떨어지는 것으로 나타났습니다.

의의 및 주장

본 논문은 현재 AIGI 탐지기의 취약성이 로컬 아티팩트에 대한 의존성에 뿌리를 둔 구조적 문제라고 주장합니다. 이러한 아티팩트를 억제하고 글로벌 구조적 추론을 강제하도록 학습 과정에 개입함으로써, GlobalForge는 특정 생성기 시그니처로부터 분리된 강건한 프로파일을 달성합니다. 저자들은 GlobalForge를 단순한 성능 개선이 아니라, 취약한 로컬 단서를 방어하는 것에서 안정적인 글로벌 구조를 활용하는 것으로의 패러다임 전환이라고 규정합니다. RealDeg-Bench의 도입은 단일 섭동이나 통제되지 않은 "in-the-wild" 평가의 한계를 넘어, 현실적이고 복합적인 열화 체인 하에서의 탐지기 강건성을 정밀하게 진단하기 위한 중요한 단계로 강조됩니다.