Resumo Técnico: 4KLSDB: Um Conjunto de Dados em Grande Escala para Restauração e Geração de Imagens 4K

1. Declaração do Problema

O avanço da visão de alta resolução baseada em dados, especificamente em super-resolução (SR), restauração de imagens (remoção de ruído, desblurramento) e geração por difusão de texto para imagem (T2I), é atualmente impedido pela escassez de conjuntos de dados nativos em 4K públicos, em grande escala.

Os recursos existentes apresentam várias limitações críticas:

• Lacunas de Resolução: Conjuntos de dados proeminentes como DIV2K e LSDIR são limitados a resoluções HD ou 2K, enquanto outros como DIV8K oferecem resoluções mais altas, mas carecem da escala necessária para modelos modernos em grande escala (por exemplo, o DIV8K possui apenas 1.500 imagens de treinamento).
• Sintético vs. Nativo: Muitos conjuntos de dados de alta resolução dependem de upscaling sintético ou coleções privadas, o que prejudica a reprodutibilidade e a comparação justa.
• Fragmentação de Tarefas: Os recursos existentes são frequentemente fragmentados; alguns suportam restauração, mas carecem de escala nativa em 4K, enquanto outros suportam geração, mas carecem de dados pareados de baixa/alta resolução (LR/HR) ou não são projetados como benchmarks públicos que abrangem tanto restauração quanto geração.
• Controle de Qualidade: Ter simplesmente um alto número de pixels não garante usabilidade; muitas imagens de alta resolução sofrem com artefatos de compressão, desfoque ou estética pobre, o que é prejudicial ao treinamento de modelos de alta fidelidade.

2. Metodologia: O Pipeline 4KLSDB

Para abordar essas lacunas, os autores introduzem o 4KLSDB, um conjunto de dados curado de 129.484 imagens nativas em 4K (além de 2.000 imagens de validação e 1.984 imagens de teste). A construção deste conjunto de dados envolve um pipeline de curadoria rigoroso e multiestágio:

2.1. Seleção de Fontes e Pré-Filtragem

• Corpora de Fontes: O pool inicial é extraído de conjuntos de dados abertos estabelecidos: LAION-2B, Photo Concept Bucket e PD12M.
• Restrições Geométricas: As imagens são pré-filtradas com base em critérios geométricos rigorosos:
  • Dimensão mínima (altura ou largura) $\ge$ 3840 pixels.
  • Contagem total de pixels $\ge$ 3840 $\times$ 2160.
  • Proporção de aspecto restrita a $[0,6, 1,6]$ para excluir panoramas extremos.

2.2. Anotação Automática de Conteúdo

• Um modelo de visão e linguagem (Qwen2-VL-7B) é empregado para anotar as imagens retidas com:
  • Escala de enquadramento: Plano geral, plano médio, close-up, close-up extremo.
  • Categorias de conteúdo: Cenas naturais, jogos/CGI, anime, pinturas, etc.
• Essas anotações garantem o monitoramento da diversidade durante a divisão do conjunto de dados.

2.3. Filtragem de Qualidade Perceptiva e Textura

Para remover imagens que são tecnicamente 4K, mas visualmente inadequadas (por exemplo, desfocadas, planas ou repletas de artefatos), o pipeline aplica:

• Pontuação Estética: Utilizando o Q-Align para pontuar aproximadamente 390.000 imagens da Fase 1. Os 80% superiores são retidos com base em um compromisso entre qualidade perceptiva e tamanho do conjunto de dados.
• Filtragem de Riqueza de Textura: Dois filtros baseados em bordas são aplicados para suprimir imagens planas ou de baixo contraste:
  • Filtro Laplaciano: Mede a força global da borda via variância. Imagens com variância fora de um intervalo selecionado empiricamente são removidas.
  • Razão de Planicidade de Patch Sobel: A imagem é dividida em patches de $240 \times 240$. A variância da magnitude do gradiente é calculada para cada patch. Se a razão de patches "planos" (variância $< T_{flat}$) exceder um limiar ($T_{ratio} = 65\%$), a imagem é rejeitada.

2.4. Verificação Humana

• Dois anotadores humanos revisam as ~134.000 imagens restantes usando uma ferramenta baseada em HTML.
• 668 amostras são removidas manualmente por serem visualmente pouco atraentes, insuficientemente detalhadas ou inadequadas.
• A divisão final consiste em 129.484 imagens de treinamento, 2.000 imagens de validação e 1.984 imagens de teste, todas verificadas quanto à diversidade de categoria e escala de enquadramento.

3. Principais Contribuições

1. Conjunto de Dados 4KLSDB: Um conjunto de dados de imagens nativas em 4K, público e em grande escala (129k imagens de treinamento), projetado para apoiar pesquisas em restauração e geração de imagens.
2. Pipeline de Filtragem Robusto: Um framework de controle de qualidade multiestágio que combina verificações baseadas em regras, pontuação estética de Modelo Multimodal Grande (LMM) e validação humana para eliminar amostras upscaladas ou de baixa qualidade com esforço manual mínimo.
3. Benchmark Abrangente: Um benchmark de restauração 4K com conjuntos de avaliação LR/HR pareados, suportando tanto modelos de SR de regressão de pixels quanto modelos de SR baseados em difusão.
4. Pares Imagem-Texto Alinhados: Um recurso para estudos futuros em geração de imagem a partir de texto, legendagem de imagens e modelagem multimodal em ultra-alta fidelidade.

4. Resultados Experimentais

Os autores avaliaram o 4KLSDB em três tarefas, comparando modelos treinados em conjuntos de dados convencionais de menor resolução contra as mesmas arquiteturas ajustadas finamente no 4KLSDB.

4.1. Super-Resolução Clássica

• Modelos: HiT-SR, SwinIR, MambaIR.
• Configurações: Fatores de subamostragem bicúbica de $\times4, \times8, \times16$.
• Descobertas: O ajuste fino no 4KLSDB melhorou consistentemente tanto o PSNR quanto o SSIM no conjunto de teste 4KLSDB in-domain e no benchmark cross-dataset DIV8K.
  • Para o HiT-SR, os ganhos de PSNR foram substanciais (por exemplo, +4,77 dB em $\times4$ no 4KLSDB).
  • Os benefícios foram particularmente pronunciados em fatores de ampliação mais altos ($\times8, \times16$), indicando que dados nativos em 4K fornecem priores de alta frequência mais fortes do que conjuntos de dados sub-1K.

4.2. Super-Resolução Cega do Mundo Real

• Modelos: OSEDiff, SeeSR.
• Métricas: PSNR, SSIM, LPIPS, DISTS, NIQE, FID.
• Descobertas: O ajuste fino melhorou tanto a fidelidade de distorção quanto o realismo perceptivo sob degradações cegas.
  • Para o SeeSR em $\times4$, o PSNR aumentou de 27,01 para 28,25, e o FID diminuiu significativamente (de 38,95 para 33,88).
  • Comparações visuais mostraram que os modelos ajustados finamente no 4KLSDB recuperaram estruturas mais limpas, bordas mais nítidas e texturas locais mais realistas em comparação com as linhas de base.

4.3. Geração de Imagem 4K a partir de Texto

• Modelo: Sana (ajustado finamente em pares imagem-legenda do 4KLSDB).
• Avaliação: Métricas automáticas baseadas em patches (pCLIPScore, pNIQE) e estudos de usuários em dupla cega pareados.
• Descobertas:
  • Métricas Automáticas: O pCLIPScore aumentou (28,62 $\to$ 29,27) e o pNIQE diminuiu (5,21 $\to$ 4,63), indicando melhor alinhamento texto-imagem e qualidade perceptiva local.
  • Estudo de Usuários: O modelo ajustado finamente alcançou uma taxa de preferência geral de 57,34% sobre a linha de base. As melhorias foram mais significativas em realismo (74,27%), detalhe (60,89%) e redução de artefatos (64,40%).
  • Resultados qualitativos demonstraram limites mais nítidos e texturas de alta frequência mais coerentes em regiões ampliadas.

5. Significado e Alegações

O artigo afirma que o 4KLSDB serve como um recurso crítico para impulsionar o progresso em direção à síntese e restauração de imagens genuinamente de alta fidelidade. Seu significado reside em:

• Ponte na Lacuna de Resolução: Fornece o primeiro benchmark nativo em 4K em grande escala que unifica tarefas de restauração e geração, superando as limitações dos conjuntos de dados HD/2K.
• Demonstração do Valor Nativo em 4K: Experimentos confirmam uma correlação positiva entre o treinamento em dados de resolução 4K verdadeira e a melhoria da fidelidade, particularmente para tarefas que exigem a reconstrução de detalhes de pequena escala e texturas de alta frequência.
• Habilitação de Análise Dependente de Escala: Ao manter amostras de validação e teste em resolução nativa 4K, o conjunto de dados permite que pesquisadores avaliem artefatos dependentes de escala (por exemplo, suavização excessiva, texturas repetidas) que são frequentemente ocultos em avaliações de menor resolução.
• Utilidade Futura: O conjunto de dados está posicionado para apoiar pesquisas multimodais de alta resolução futuras, incluindo legendagem detalhada, resposta a perguntas visuais e raciocínio em nível de região, onde texturas finas e objetos pequenos são frequentemente perdidos em dados de menor resolução.

Os autores concluem que o 4KLSDB oferece uma base valiosa e reprodutível para a comunidade de pesquisa avançar sistemas de visão de ultra-alta resolução.