Resumo Técnico: iPhoneBlur

Declaração do Problema

A restauração de desfoque de movimento em dispositivos móveis de consumo enfrenta uma lacuna crítica de implantação. Embora os métodos de desfocagem mais avançados alcancem alto desempenho em conjuntos de dados profissionais (por exemplo, GoPro, rigs DSLR), eles sofrem degradação severa (mais de 7 dB) quando aplicados a capturas de dispositivos móveis de consumo devido a incompatibilidades de domínio no Processamento de Sinal de Imagem (ISP) e nas condições de captura. Além disso, os benchmarks existentes dependem de métricas agregadas que obscurecem variações de desempenho em diferentes severidades de desfoque. Essa falta de granularidade impede que desenvolvedores determinem se dispositivos de borda podem restaurar imagens no próprio dispositivo ou devem transferir o processamento para a nuvem, mascarando modos de falha específicos sob condições de implantação do mundo real.

Metodologia

Construção do Conjunto de Dados

Os autores introduzem o iPhoneBlur, um benchmark composto por 7.400 pares de imagens desfocadas-nítidas sintetizados a partir de 51 vídeos de alta taxa de quadros (177–240 fps) capturados em um iPhone 17 Pro. O conjunto de dados abrange diversos cenários do mundo real, incluindo ambientes internos/externos, movimento veicular e atividades humanas.

O pipeline de construção envolve cinco etapas:

1. Seleção de Candidatos: De aproximadamente 741.000 quadros, candidatos nítidos são selecionados com base na variância de Laplaciano (nitidez) e no contraste RMS.
2. Síntese Linearizada Guiada por PSNR: Diferentemente das abordagens de janela fixa em trabalhos anteriores, este método utiliza janelamento temporal adaptativo. O desfoque é sintetizado pela média de quadros sobre uma janela $W$ centrada em um quadro nítido. Crucialmente, o processo envolve:
   • Linearização: Conversão de quadros sRGB para espaço de luz linear usando correção gama inversa ($\gamma = 2.2$) para simular a integração física do sensor.
   • Seleção Adaptativa de Janela: O tamanho da janela (variando de 3 a 21 quadros) é selecionado dinamicamente para atingir uma faixa de PSNR alvo específica para o nível de dificuldade, garantindo que a dificuldade seja impulsionada pela dinâmica do movimento e não por limiares arbitrários.
   • Recodificação: Conversão da média linear de volta para sRGB.
3. Filtragem de Qualidade: Um filtro multiestágio remove artefatos usando SSIM ($\ge 0,65$), magnitude de fluxo óptico ($\ge 1,0$ px/quadro para desfoque não trivial), LPIPS ($\le 0,35$) e hashing perceptual para remover quase-duplicatas.
4. Estratificação de Dificuldade: As amostras são partitionadas em três níveis com base em limiares de PSNR:
   • Fácil: $\ge 30$ dB (artefatos mínimos).
   • Médio: 24–30 dB (degradação moderada).
   • Difícil: $< 24$ dB (degradação substancial).
5. Divisão: Uma divisão ao nível de vídeo (75% treino, 25% teste) garante que não haja vazamento de dados entre os conjuntos.

Validação

A estratificação é validada através de propriedades físicas da cena, em vez de agrupamento arbitrário:

• Fluxo Óptico: Há um aumento monótono de 2,2× na magnitude do fluxo óptico de Fácil (6,0 px/quadro) para Difícil (13,2 px/quadro), com uma forte correlação negativa com o PSNR ($\rho = -0,41$).
• Supressão de Alta Frequência: A análise espectral confirma que o desfoque sintetizado exibe supressão de alta frequência consistente com degradação autêntica de movimento (d de Cohen = 2,32, comparável ao d = 2,24 do RealBlur-J).
• Estudo com Usuários: As classificações perceptuais humanas correlacionam-se fortemente com os níveis estratificados ($\rho = 0,74$).

Contribuições Principais

1. Benchmark Estratificado por Dificuldade: O primeiro benchmark para desfocagem de movimento em dispositivos de consumo que categoriza explicitamente as amostras em níveis Fácil, Médio e Difícil, validado por dinâmicas de movimento físicas.
2. Metadados Abrangentes: Cada amostra inclui características do ISP, magnitude do fluxo óptico, estimativas de ruído e parâmetros de síntese, permitindo pesquisas em restauração consciente do ISP e inferência adaptativa à dificuldade.
3. Validação Rigorosa de Síntese: O trabalho estende a validação além das métricas perceptuais para incluir análise de integração temporal baseada em física, demonstrando alinhamento estatístico com desfoque de câmera autêntico.
4. Ponte para a Lacuna de Domínio: O conjunto de dados foca em dispositivos de consumo (iPhone 17 Pro), abordando a lacuna entre conjuntos de dados de câmeras profissionais e realidades de implantação móvel.

Resultados

Avaliação de Linha de Base

Seis arquiteturas de última geração (NAFNet, HINet, Restormer, MIMO-UNet, Instruct-IR, FFTformer) foram avaliadas:

• Lacuna de Domínio Cruzado: Modelos pré-treinados em dados GoPro experimentaram uma queda significativa de desempenho (6,1–7,1 dB) ao serem testados no iPhoneBlur em configuração zero-shot, confirmando uma lacuna de domínio distinta entre câmeras profissionais e de consumo.
• Desempenho Estratificado: O ajuste fino no iPhoneBlur melhorou o desempenho, mas uma degradação consistente de 7–9 dB foi observada dos subconjuntos Fácil para Difícil em todas as arquiteturas.
  • Por exemplo, o NAFNet alcançou 35,1 dB em amostras Fáceis, mas caiu para 27,9 dB em amostras Difíceis.
  • Essa faixa de degradação (7,2–9,1 dB) excede a lacuna de domínio cruzado (6,1–7,1 dB), sugerindo que a severidade do movimento representa um desafio mais fundamental do que apenas a mudança de domínio.
• Agnosticismo de Arquitetura: O padrão de degradação foi consistente entre paradigmas arquitetônicos diversos (CNNs, Transformers, Multi-escala), com um desvio padrão de apenas 0,7 dB na magnitude da degradação, indicando que os níveis de dificuldade capturam desafios físicos fundamentais de restauração e não vieses específicos do método.

Análise Qualitativa

A inspeção visual confirma que amostras Fáceis permitem restauração quase perfeita, amostras Médias mostram artefatos emergentes e amostras Difíceis sofrem com desfoque residual severo e rastro de movimento, validando que a estratificação captura pontos de ruptura perceptuais.

Significado e Afirmações

O artigo afirma que o iPhoneBlur permite uma avaliação sistemática da confiabilidade do modelo e modos de falha que estão totalmente ocultos por relatórios agregados. Ao vincular o desempenho a propriedades mensuráveis da cena (fluxo óptico, tamanho de janela adaptativo), o benchmark facilita:

• Decisões Críticas para Implantação: Determinar se processar no dispositivo ou transferir para a nuvem com base na dificuldade.
• Adaptação Direcionada: Demonstrar que o ajuste fino direcionado pode recuperar substancialmente a lacuna de domínio de profissional para consumidor (reduzindo a lacuna de ~7 dB para ~2,5 dB).
• Direções Avançadas de Pesquisa: Suportar modelagem de restauração consciente do ISP, previsão de dificuldade para roteamento de inferência adaptativa e currículos de treinamento progressivo.

Os autores enfatizam que o benchmark foi projetado para expor padrões de falha agnósticos à arquitetura e fornecer uma base para extensões impulsionadas pela comunidade na fotografia computacional móvel.