기술 요약: 4KLSDB: 4K 이미지 복원 및 생성을 위한 대규모 데이터셋

1. 문제 제기

초해상도 (SR), 이미지 복원 (노이즈 제거, 흐림 제거), 텍스트 - 이미지 (T2I) 확산 생성을 포함한 데이터 기반 고해상도 비전의 발전은 현재 공개된 대규모 네이티브 4K 데이터셋의 부재로 인해 방해받고 있습니다.

기존 자원들은 몇 가지 중요한 한계를 보입니다:

• 해상도 격차: DIV2K 및 LSDIR 와 같은 주요 데이터셋은 HD 또는 2K 해상도로 제한되어 있으며, DIV8K 와 같은 다른 데이터셋은 더 높은 해상도를 제공하지만 현대의 대규모 모델에 필요한 규모 (예: DIV8K 는 훈련 이미지가 1,500 개만 있음) 가 부족합니다.
• 합성 대 네이티브: 많은 고해상도 데이터셋은 합성 업스케일링이나 비공개 컬렉션에 의존하여 재현성과 공정한 비교를 어렵게 만듭니다.
• 작업 분열: 기존 자원은 종종 분열되어 있습니다. 일부는 복원을 지원하지만 네이티브 4K 규모가 부족하고, 다른 일부는 생성을 지원하지만 쌍을 이룬 저해상도/고해상도 (LR/HR) 데이터가 없거나 복원과 생성 모두를 아우르는 공개 벤치마크로 설계되지 않았습니다.
• 품질 관리: 단순히 높은 픽셀 수를 가진다고 해서 사용성을 보장하는 것은 아닙니다. 많은 고해상도 이미지는 압축 아티팩트, 흐림, 또는 poor aesthetics 로 인해 고품질 모델 훈련에 해롭습니다.

2. 방법론: 4KLSDB 파이프라인

이러한 격차를 해결하기 위해 저자들은 129,484 개의 네이티브 4K 이미지(그리고 2,000 개의 검증 이미지와 1,984 개의 테스트 이미지)로 구성된 선별된 데이터셋인 4KLSDB를 소개합니다. 이 데이터셋의 구축에는 엄격한 다단계 선별 파이프라인이 포함됩니다:

2.1. 소스 선정 및 사전 필터링

• 소스 코퍼스: 초기 풀은 확립된 공개 데이터셋인 LAION-2B, Photo Concept Bucket, PD12M에서 추출됩니다.
• 기하학적 제약: 이미지는 엄격한 기하학적 기준에 따라 사전 필터링됩니다:
  • 최소 차원 (높이 또는 너비) $\ge$ 3840 픽셀.
  • 총 픽셀 수 $\ge$ 3840 $\times$ 2160.
  • 극단적인 파노라마를 제외하기 위해 종횡비를 $[0.6, 1.6]$으로 제한합니다.

2.2. 자동 콘텐츠 주석

• 비전 - 언어 모델 (Qwen2-VL-7B) 을 사용하여 유지된 이미지에 다음을 주석합니다:
  • 샷 스케일: 롱 샷, 미디엄 샷, 클로즈업, 익스트림 클로즈업.
  • 콘텐츠 카테고리: 자연 풍경, 게임/CGI, 애니메이션, 회화 등.
• 이러한 주석은 데이터셋 분할 중 다양성 모니터링을 보장합니다.

2.3. 지각적 품질 및 텍스처 필터링

기술적으로 4K 이지만 시각적으로 부적합한 (예: 흐릿하거나, 평면적이거나, 아티팩트가 많은) 이미지를 제거하기 위해 파이프라인은 다음을 적용합니다:

• 미적 점수 매기기: Q-Align을 사용하여 약 390,000 개의 1 단계 이미지에 점수를 매깁니다. 지각적 품질과 데이터셋 크기 간의 균형을 바탕으로 상위 80% 를 유지합니다.
• 텍스처 풍부도 필터링: 평면적이거나 대비가 낮은 이미지를 억제하기 위해 두 가지 엣지 기반 필터를 적용합니다:
  • 라플라시안 필터: 분산을 통해 전역 엣지 강도를 측정합니다. 경험적으로 선택된 구간 밖의 분산을 가진 이미지는 제거됩니다.
  • 소벨 - 패치 평탄도 비율: 이미지를 $240 \times 240$ 패치로 나눕니다. 각 패치에 대해 기울기 크기 분산을 계산합니다. "평탄한" 패치 (분산 $< T_{flat}$) 의 비율이 임계값 ($T_{ratio} = 65\%$) 을 초과하면 이미지는 거부됩니다.

2.4. 인간 검증

• 두 명의 인간 주석자가 HTML 기반 도구를 사용하여 나머지 약 134,000 개의 이미지를 검토합니다.
• 668 개의 샘플이 시각적으로 매력적이지 않거나, 세부 정보가 부족하거나, 부적절하다는 이유로 수동으로 제거됩니다.
• 최종 분할은 129,484 개의 훈련 이미지, 2,000 개의 검증 이미지, 1,984 개의 테스트 이미지로 구성되며, 모두 카테고리 및 샷 스케일 다양성이 검증되었습니다.

3. 주요 기여

1. 4KLSDB 데이터셋: 이미지 복원 및 이미지 생성 연구를 모두 지원하도록 설계된 대규모 공개 네이티브 4K 이미지 데이터셋 (129k 개의 훈련 이미지).
2. 강건한 필터링 파이프라인: 규칙 기반 검사, 대규모 멀티모달 모델 (LMM) 미적 점수 매기기, 인간 검증을 결합하여 업스케일링되거나 저품질인 샘플을 최소한의 수동 노력으로 제거하는 다단계 품질 관리 프레임워크.
3. 종합 벤치마크: 픽셀 회귀 SR 모델과 확산 기반 SR 모델을 모두 지원하는 쌍을 이룬 LR/HR 평가 세트를 갖춘 4K 복원 벤치마크.
4. 정렬된 이미지 - 텍스트 쌍: 초고 충실도의 텍스트 - 이미지 생성, 이미지 캡셔닝, 멀티모달 모델링에 대한 향후 연구를 위한 자원.

4. 실험 결과

저자들은 4KLSDB 를 세 가지 작업에 걸쳐 평가하여 기존 저해상도 데이터셋으로 훈련된 모델과 4KLSDB 로 파인튜닝된 동일한 아키텍처를 비교했습니다.

4.1. 고전적 초해상도

• 모델: HiT-SR, SwinIR, MambaIR.
• 설정: $\times4, \times8, \times16$의 Bicubic 다운샘플링 인자.
• 결과: 4KLSDB 로 파인튜닝하는 것이 도메인 내 4KLSDB 테스트 세트와 교차 데이터셋 DIV8K 벤치마크에서 PSNR과 SSIM을 모두 일관되게 향상시켰습니다.
  • HiT-SR 의 경우, PSNR 이 크게 향상되었습니다 (예: 4KLSDB 에서 $\times4$ 시 +4.77 dB).
  • 이 이점은 더 높은 배율 인자 ($\times8, \times16$) 에서 특히 두드러졌으며, 네이티브 4K 데이터가 1K 미만 데이터셋보다 더 강력한 고주파수 사전 지식을 제공함을 나타냅니다.

4.2. 실세계 블라인드 초해상도

• 모델: OSEDiff, SeeSR.
• 지표: PSNR, SSIM, LPIPS, DISTS, NIQE, FID.
• 결과: 파인튜닝은 블라인드 열화 하에서 왜곡 충실도와 지각적 현실감을 모두 향상시켰습니다.
  • SeeSR 의 경우 $\times4$에서 PSNR 이 27.01 에서 28.25 로 증가했고, FID 는 크게 감소했습니다 (38.95 에서 33.88 로).
  • 시각적 비교 결과, 4KLSDB 로 파인튜닝된 모델은 베이스라인에 비해 더 깨끗한 구조, 더 날카로운 엣지, 그리고 더 현실적인 로컬 텍스처를 복원했습니다.

4.3. 4K 텍스트 - 이미지 생성

• 모델: Sana(4KLSDB 이미지 - 캡션 쌍으로 파인튜닝됨).
• 평가: 패치 기반 자동 지표 (pCLIPScore, pNIQE) 및 더블 블라인드 쌍별 사용자 연구.
• 결과:
  • 자동 지표: pCLIPScore 가 증가 (28.62 $\to$ 29.27) 하고 pNIQE 가 감소 (5.21 $\to$ 4.63) 하여 텍스트 - 이미지 정렬과 로컬 지각적 품질이 개선되었음을 나타냅니다.
  • 사용자 연구: 파인튜닝된 모델은 베이스라인 대비 **57.34%**의 전체 선호도를 달성했습니다. 개선은 현실감 (74.27%), 세부 사항 (60.89%), **아티팩트 감소 (64.40%)**에서 가장 두드러졌습니다.
  • 정성적 결과는 확대된 영역에서 더 날카로운 경계와 더 일관된 고주파수 텍스처를 보여주었습니다.

5. 중요성 및 주장

이 논문은 4KLSDB가 진정한 고충실도 이미지 합성 및 복원을 향한 발전을 이끄는 중요한 자원으로 작용한다고 주장합니다. 그 중요성은 다음과 같습니다:

• 해상도 격차 해소: HD/2K 데이터셋의 한계를 넘어 복원 및 생성 작업을 통합하는 첫 번째 대규모 네이티브 4K 벤치마크를 제공합니다.
• 네이티브 4K 가치 입증: 실험은 진정한 4K 해상도 데이터로 훈련하는 것과 충실도 향상 사이의 양의 상관관계를 확인했으며, 특히 미세한 세부 사항과 고주파수 텍스처의 재구성이 필요한 작업에서 두드러집니다.
• 규모 의존적 분석 가능: 검증 및 테스트 샘플을 네이티브 4K 해상도로 유지함으로써, 저해상도 평가에서는 종종 숨겨지는 과잉 평활화, 반복된 텍스처와 같은 규모 의존적 아티팩트를 연구자가 평가할 수 있게 합니다.
• 미래 활용성: 이 데이터셋은 미세한 텍스처와 작은 객체가 저해상도 데이터에서 종종 손실되는 상세한 캡셔닝, 시각적 질문 응답, 영역 수준 추론을 포함한 향후 고해상도 멀티모달 연구를 지원할 수 있도록 위치합니다.

저자들은 4KLSDB 가 연구 커뮤니티가 초고해상도 비전 시스템을 발전시키기 위한 가치 있고 재현 가능한 기반을 제공한다고 결론지었습니다.