🤖 AI

Visual Distortion Detection in UGC Images Using Large Multimodal Models

본 논문은 기존의 텍스트 기반 접근 방식의 한계를 해결하고 시각적 왜곡 탐지에서의 합성-실제 간 일반화 격차를 해소하기 위해, 다단계 특징 검출기와 엄격하게 큐레이션된 14만 개의 샘플 데이터셋을 갖춘 거대 멀티모달 모델을 활용하는 새로운 프레임워크인 VIGIL을 제안한다.

원저자: Ziheng Jia, Yingji Liang, Jiaying Qian, Xiongkuo Min

게시일 2026-08-11

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ziheng Jia, Yingji Liang, Jiaying Qian, Xiongkuo Min

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 휴대폰으로 사진 한 장을 보고 있다고 상상해 보세요. 셀카일 수도 있고, 당신의 강아지 사진일 수도 있으며, 등산을 하며 찍은 노을 사진일 수도 있습니다. 때로는 사진 전체가 아주 멋져 보입니다. 하지만 어떤 때는 하늘은 완벽한데 친구의 얼굴이 흐릿하거나, 잔디 위에 이상한 색의 얼룩이 있는 경우도 있습니다. 오랫동안 사진을 분석하는 컴퓨터들은 마치 시험 전체에 대해 단 하나의 점수만 매기는 엄격한 선생님과 같았습니다. 그들은 사진이 전체적으로 "좋다" 혹은 "나쁘다"라고 말할 수는 있었지만, 구체적으로 어디에서 실수가 발생했는지는 짚어내지 못했습니다. 이는 매우 큰 문제인데, 왜냐하면 현실 세계에서 우리는 사진 전체를 고치는 것이 아니라 딱 흐릿한 그 부분만을 고치고 싶어 하기 때문입니다.

이 문제를 해결하려는 분야를 이미지 품질 평가(Image Quality Assessment)라고 부릅니다. 이것을 컴퓨터에게 예술 비평가가 되는 법을 가르치는 것이라고 생각해보세요. 최근 과학자들은 "대규모 멀티모달 모델(Large Multimodal Models, LMM)"을 사용하기 시작했습니다. 이 모델들을 사진을 보면서 동시에 글도 읽을 수 있는 아주 똑똑한 로봇이라고 생각할 수 있습니다. 이들은 모든 사진술 서적을 다 읽은 천재 미대생과 같습니다. 하지만 로봇이 똑똑하다고 해서 반드시 아주 작고 구체적인 오류를 잘 찾아내는 것은 아닙니다. 대부분의 로봇은 "하늘이 흐릿하다"와 같은 텍text 설명이 포함된 사진을 보여주며 학습되었지만, 실제로 흐릿한 하늘 주위에 상자를 그리는 데는 어려움을 겪습니다. 또한 이들은 "가짜" 연습용 사진(과학자들이 인위적으로 흐림 현상을 추가한 사진)에서 사람들이 실제로 찍은 무질서한 실제 사진으로 넘어갈 때 어려움을 겪기도 합니다.

이 논문은 VIGIL(Visual Intelligence for Generalized Image Localization)이라는 새로운 로봇을 소개합니다. 연구진은 단순히 "이 사진은 나쁘다"라고 말하는 것이 아니라, 손가락으로 가리키며 "이 부분이 흐릿하고, 이것은 압축 오류입니다"라고 말할 수 있는 시스템을 만들고자 했습니다. 그들은 로봇에게 단순히 텍스트 설명을 쓰게 하는 기존 방식이 충분히 정밀하지 않다는 것을 발견했습니다. 그래서 그들은 로봇에게 장면을 묘사하는 작가가 되기보다는, 단서를 찾는 탐정이 되도록 가르치는 다른 접근 방식을 시도했습니다.

연구팀은 먼저 인터넷에서 100만 개 이상의 고품질 이미지를 모아 거대한 라이브러리를 구축했습니다. 그들은 이 이미지들이 선명하고 밝은지 확인하기 위해 세심하게 필터링한 다음, 이미지의 무작위 부분에 8가지 유형의 왜곡(흐림, 노이즈, 혹은 이상한 색상 등)을 인위적으로 추가하여 "틀린 그림 찾기" 게임을 진행했습니다. 그들은 VIGIL-140K라는 훈련 세트를 만들었는데, 여기에는 14만 개 이상의 왜곡된 이미지와 20만 개 이상의 라벨링 된 "나쁜 지점"들이 포함되어 있습니다.

연구진은 로봇에게 문장을 쓰라고 요구하는 대신, 로봇의 뇌를 탐정 팀으로 바꾸었습니다. 그들은 로봇의 내부 사고 과정인 서로 다른 레이어들을 별개의 "탐지기"로 사용했습니다. 한 명의 학생이 손을 들어 대답하는 대신, 다섯 명의 서로 다른 학생이 각기 다른 안경을 쓰고 같은 사진을 동시에 보는 교실을 상상해 보세요. 어떤 학생은 흐릿한 가장자리를 보는 데 능숙할 것이고, 다른 학생은 색상 변화를 포착하는 데 뛰어날 것입니다. 그들은 동시에 자신의 추측을 외칩니다. 그러면 로봇은 이 모든 추측을 결합하여 최종적으로 매우 정확한 결정을 내립니다.

연구진은 또한 "합성-실제 간(Synthetic-to-Authentic)" 격차라고 불리는 까다로운 문제를 해결했습니다. 이것은 마치 종이 과녁에 완벽하고 둥근 황금색 과녁을 그려놓고 궁술 연습을 하다가, 실제 숲속에서 흔들리고 불규칙한 과녁을 맞추려고 하는 것과 같습니다. 종이 과녁(합성 데이터)은 너무 깔끔해서 보기에 따라 로봇이 실제의 무질서한 왜곡을 마주했을 때 혼란을 느낄 수 있습니다. 이를 해결하기 위해, 연구팀은 로봇이 어떤 지점이 "깨끗하다"고 생각할 때조차 주의를 기울이도록 가르쳤습니다. 만약 로봇이 어떤 지점이 깨끗하다고 거의 확신하지만 아주 미세한 의구심이 남는다면, 그 의구심을 하나의 가능한 단서로 간주하게 했습니다. 이는 실제 세상이 무질서해질 때 로봇이 경계심을 유지하도록 도와줍니다.

VIGIL을 테스트했을 때, 결과는 엄청난 성공이었습니다. 가짜 왜곡을 이용한 연습 테스트에서, VIGIL은 다른 최고 수준의 모델들보다 훨씬 더 잘 오류를 찾아냈습니다. 하지만 진짜 마법은 이 모델이 한 번도 본 적 없는 실제 사진들로 테스트했을 때 일어났습니다. 다른 모델들이 혼란스러워하며 오류를 놓칠 때, VIGIL은 침착함을 유지하며 실제 사용자 사진 속의 흐릿하거나 노이즈가 낀 부분을 정확하게 짚어냈습니다. 이 논문은 내부 탐지기 팀을 사용하고 "깨끗한" 영역에 대해서도 열린 마음을 갖는다면, 컴퓨터가 사진의 어느 부분이 잘못되었는지 훨씬 더 잘 찾아낼 수 있음을 보여주며, 이는 우리의 사진을 자동으로 수정할 수 있는 더 스마트한 도구로 가는 길을 열어줍니다.

기술 요약: VIGIL – 대규모 멀티모달 모델을 이용한 UGC 이미지 내 시각적 왜곡 탐지

문제 정의

이미지 품질 평가(IQA)는 전통적으로 평균 의견 점수(MOS)와 정렬된 전역적 지각 품질 등급에 집중해 왔습니다. 그러나 사용자 생성 콘텐츠(UGC) 이미지의 경우, 하드웨어 한계나 캡처 조건으로 인해 발생하는 특정 공간적 아티팩트를 식별하기 위한 **국소적 왜곡 탐지(localized distortion detection)**에 대한 결정적인 요구가 존재합니다. 대규모 멀티모달 모델(LMM)을 활용하는 기존 방식은 주로 **텍스트 기반 지도 미세 조정(SFT)**에 의존하며, 모델이 텍스트 설명이나 바운딩 박스 좌표를 생성하도록 합니다. 이 패러다임은 다음과 같은 두 가지 중요한 한계에 직면해 있습니다:

탐지 정밀도 제한: 텍스트 생성은 정밀한 좌표 회귀에 필요한 엄격한 매칭 및 분류 프로세스가 부족하여, 전경-배경(FG-BG) 분리를 모호하게 만듭니다.
합성-실제 간(S2A) 일반화 격차: 학습 데이터는 대개 규칙적인 형태와 균일한 강도를 가진 합성 왜곡 이미지를 포함합니다. 이는 실제 UGC의 본래적(authentic) 왜곡과는 크게 다르며, 이로 인해 모델이 도메인 외(OOD) 시나리오에 배치될 때 실패를 초래합니다.

방법론: VIGIL 프레임워크

저자들은 텍스트 생성 SFT에 의존하지 않고 왜곡을 탐지하고 국지화하도록 설계된 LMM 기반 프레임워크인 VIGIL을 제안합니다. 대신, 이 모델은 LMM 아키텍처를 고전적인 객체 탐지 패러다임에 맞게 적응시킵니다.

1. 데이터셋 구축: VIGIL-140K

데이터 부족과 다양성 문제를 해결하기 위해 저자들은 VIGIL-140K 데이터셋을 구축했습니다:

소스 풀: COCO, CLIP 사전 학습 데이터, 온라인 비디오 스크린샷, Unsplash에서 가져온 103만 개 이상의 후보 풀.
품질 필터링: 왜곡 주입 전 고품질 소스 이미지를 보장하기 위해 6개의 무참조(no-reference) IQA 모델(예: TOPIQ, TReS, LIQE)을 사용하여 엄격하게 필터링함 (점수 > 85/100).
왜곡 주입: 8가지 주요 왜곡 카테고리(블러, 노이즈, 압축, 노출, 채도, 샤프닝 등 10가지 유형에서 파생됨)를 31개의 세부 유형 및 두 가지 심각도 수준과 결합하여 적용하는 전략을 사용함.
규모: 최종 학습 세트는 205K개 이상의 레이블된 왜곡 영역을 포함하는 140K개 이상의 왜곡된 이미지로 구성됨.

2. 모델 아키텍처

VIGIL은 강력한 인코더-디코더로서의 역할을 수행하기 위해 InternVL-3-8B(Qwen2.5-7B 기반) LMM을 재용도화합니다:

다중 탐지기 동기화(Multi-Detector Synchronization): 단일 디코더 레이어를 사용하는 표준 탐지기와 달리, VIGIL은 LMM 디코더의 **여러 레이어( $M$ )**를 병렬의 독립적인 탐지기로 활용합니다. 이는 왜곡 탐지에 중요한 저수준 단서를 포착하는 계층적 특징을 활용하기 위함입니다.
동기식 탐지: 각 레이어에는 학습 가능한 영역 쿼리 토큰과 분류(9개 클래스, "비왜곡" 포함) 및 박스 회귀를 위한 선형 헤드가 장착되어 있습니다.
학습 목표: 모델은 각 탐지기에 대해 독립적으로 **헝가리안 매칭(Hungarian Matching)**을 적용하여 예측값을 정답(ground truth)과 매칭하며, 분류 신뢰도와 박스 회귀(GIoU 및 L1)의 결합 손실을 최적화합니다.

3. S2A 일반화 전략

합성 학습과 실제 테스트 사이의 격차를 메우기 위해:

비왜곡 예측 유지: 모델은 처음에 "비왜곡(배경)"으로 분류된 예측을 유지합니다. 만약 박스가 배경으로 예측되었으나 왜곡 클래스에 대한 확률이 높은 경우(두 번째로 높은 확률), 이를 유효한 후보로 취급합니다. 이는 본래적이고 불규칙한 왜곡에서 흔히 발생하는 FG-BG 구별 불가능 문제를 완화합니다.
후처리: 클래스별 비최대 억제(NMS)와 확률 임계값( $T_{Prob}$ )을 포함하는 2단계 필터링 프로세스를 통해 최종 출력을 정제하며, 이를 통해 S2A 기법의 공격적인 정보 채굴과 노이즈 감소 사이의 균형을 맞춥니다.

주요 기여

VIGIL-140K 데이터셋: 다양한 UGC 시나리오와 8가지 주요 왜곡 카테를 포괄하는 20만 개 이상의 레이블된 왜곡 영역을 포함하는 대규모의 엄격하게 필터링된 학습 세트.
VIGIL-8B 모델: 다중 레이어 동기식 탐지와 새로운 S2A 일반화 기법(비왜곡 클래스 단서 재사용)을 사용하여 국지화 정확도를 향상시킨 LMM 기반 탐지기.
최첨단 성능: 모델은 전문화된 탐지 모델(YOLO, Grounding-DINO, DETR) 및 일반 LMM(InternVL, Qwen-VL, GPT-4o/5, Gemini)과 비교하여 도메인 내 합성 왜곡 탐지 및 도메인 외 실제 왜곡 국지화 모두에서 우수한 결과를 달성함.

실험 결과

저자들은 VIGIL-8B를 일반 LMM(예: InternVL, Qwen-VL, GPT-4o/5, Gemini) 및 전용 객체 탐지 모델(예: YOLO, Grounding-DINO, DETR)과 비교 평가했습니다.

도메인 내(합성) 탐지: VIGIL-8B는 mAP 0.736 및 AP50 0.879를 달성하여, 텍스트 생성에 의존하는 다른 LMM들을 크게 앞질렀으며, 전문화된 탐지 모델인 YOLO-V11(mAP 0.708) 및 Grounding-DINO(mAP 0.687)와 경쟁할 만한 성능을 보였습니다.
도메인 외(실제) 탐지: S2A 작업에서 VIGIL-8B는 mAP 0.482 및 AP50 0.502로 명확한 우위를 입증했습니다. 이는 차순위 모델인 Grounding-DINO(mAP 0.362)를 상당히 상회하며, 일반 LMM(mAP 0.24 미만)보다 월등히 높은 수치로, S2A 일반화 기법의 효과를 입증합니다.
절제 연구(Ablation Studies):
- 텍스트 vs. 탐지 패러다임: 탐지 헤드를 텍스트 생성 SFT로 교체했을 때 성능이 크게 하락하여(합성 작업에서 mAP가 0.736에서 0.457로 감소), 국지화를 위해 토큰 생성보다 직접 회귀가 더 우수함을 확인했습니다.
- 다중 탐지기: 여러 디코더 레이어를 사용하는 것이 마지막 레이어만 사용하는 것보다 S2A 성능을 개선했습니다.
- S2A 기법: 비왜곡 예측 유지를 제거하면 실제 mAP가 0.482에서 0.407로 감소했습니다.

의의 및 주장

본 논문은 VIGIL이 지각적 시각 품질의 미세한 국소적 특성화를 위한 설득력 있는 솔루션을 제공한다고 주장합니다. 텍스트 기반 SFT에서 벗어나 다중 탐지 객체 탐지 패러다임을 통해 LMM의 계층적 표현 능력을 활용함으로써, 모델은 UGC 왜곡 분석에 내재된 정밀도 및 일반화 문제를 성공적으로 해결했습니다.

저자들은 이 접근 방식이 LMM의 원래 텍스트 생성 능력을 저해하지 않으면서 왜곡 탐지로 기능을 확장할 수 있게 해주며, 더욱 다재다능한 시각 품질 평가 모델로 가는 경로를 제시한다고 강조합니다. 이 연구는 합성 데이터가 규모 확장에 필수적이지만, 이러한 모델이 실제 환경의 본래적 시나리오에 효과적으로 일반화되려면 특정 아키텍처 전략(다중 레이어 탐지 및 배경 단서 유지 등)이 필요하다는 점을 시사합니다.