Resumo Técnico: Edges Before Embeddings: Um Portão de Desfoque Consciente de Confiança para Pipelines de Visão-Linguagem

Declaração do Problema

Pipelines de visão em produção frequentemente operam sob a suposição implícita de que as imagens de entrada são legíveis. No entanto, em implementações do mundo real, as entradas frequentemente sofrem com desfoque de movimento, desfoque de definição (defocus), artefatos de compressão ou ruído de baixa luminosidade. Quando essas imagens degradadas entram em componentes subsequentes, como motores de OCR, sistemas de recuperação ou Modelos de Visão-Linguagem (VLMs), elas causam modos de falha específicos:

1. Corrupção Silenciosa de OCR: O texto desfocado é transcrito como tokens sintaticamente válidos, mas semanticamente inúteis, que os motores de regras subsequentes não conseguem distinguir de texto legítimo.
2. Desperdício de Computação: Chamadas caras de VLM consomem orçamentos de tokens por quadros que não geram saída utilizável.
3. Curadoria Ineficiente: Filtrar imagens de baixa qualidade de grandes conjuntos de dados manualmente é inviável, enquanto o feedback de ida e volta para a nuvem para captura móvel é muito lento.

As soluções existentes são insuficientes: redes de restauração pesadas (ex: DeblurGANs) são computacionalmente caras demais para o controle de entrada (gating), enquanto heurísticas clássicas (ex: variância Laplaciana) são rápidas, mas frágeis, falhando em cenas texturizadas, porém nítidas, ou suaves, porém nítidas. O artigo propõe um "portão" leve, executável em CPU, que se posiciona a montante para decidir se deve passar uma imagem, rejeitá-la ou abster-se.

Metodologia

Arquitetura e Entrada

O sistema utiliza um backbone MobileNetV3-Large (3,3 milhões de parâmetros) compilado em um artefato ONNX de 17 MB. A inovação central é o Módulo de Prior de Borda (EPM - Edge Prior Module), que injeta evidência espectral clássica diretamente na rede:

• Mecanismo EPM: O módulo converte a entrada RGB para luminância, aplica um kernel Laplaciano fixo de 3×3 e padroniza o mapa de magnitude. Este "mapa de bordas" de canal único é concatenado como um quarto canal de entrada à foto RGB.
• Inicialização: A primeira camada convolucional é expandida de 3 para 4 canais. O peso do novo canal é inicializado para $0,1\times$ a média dos filtros RGB para garantir um início estável.
• Racional: Isso permite que a CNN acesse a evidência no domínio da frequência na qual as heurísticas clássicas de desfoque dependem, em vez de ter que reaprender isso a partir de estatísticas de pixels brutos.

Treinamento e Dados

• Dataset: O treinamento é realizado no dataset GoPro Large, que fornece quadros nítidos e quadros com desfoque de movimento sintético pareados. Os autores incluem a subpasta blur_gamma (um segundo estilo de desfoque) para aumentar a robustez.
• Configuração: A receita final utiliza uma resolução de 384×384, treinada por 25 épocas com AdamW ($lr=10^{-4}$), cosine annealing e color jitter suave.
• Espaço de Busca: Os autores conduziram uma busca empírica através de 46 configurações (8 varreduras), variando resolução, aumento de dados, capacidade do backbone e estratégias de ensembling.

Inferência e Roteamento

O sistema emprega um formalismo de roteamento consciente de confiança fundamentado na teoria da predição seletiva (regra de Chow).

• TTA Multi-escala: Na inferência, a imagem é redimensionada para cinco escalas ($\{256, 320, 384, 448, 512\}$ px). As predições softmax são calculadas pela média entre essas escalas para produzir uma distribuição de probabilidade final.
• Lógica de Decisão:
  • Nítido/Desfocado: Se a probabilidade máxima de softmax $c \ge \tau$ (padrão $\tau=0,60$), a imagem é roteada para a classe correspondente.
  • Incerteza (Abstenção): Se $c < \tau$, o sistema roteia a imagem para um modelo de fallback mais pesado ou revisão humana.
• Latência: A inferência de escala única roda em $\sim7$ ms em um único núcleo de CPU; o TTA de 5 escalas leva $\sim35$ ms.

Resultados Principais

Métricas de Desempenho

Avaliado no split de teste do GoPro Large:

• Baseline (384px fixo, sem EPM): F1 = 0,9672 (com TTA de 5 escalas).
• Receita Final (MobileNetV3-Large + EPM + TTA de 5 escalas): F1 = 0,9803 (AUC 0,9989).
• Melhoria: O EPM sozinho contribui com um ganho de +1,31 ponto no F1 sobre o baseline de ambiente correspondente. O TTA multi-escala adiciona outros +0,40 pontos sobre a inferência de escala única.

Descobertas Empíricas da Busca

• Dominância da Resolução: A resolução de entrada é o principal alavancador. Mover de 128 px para 384 px adicionou aproximadamente 13 pontos de F1. A capacidade do backbone (MobileNetV3-Large vs. Small) só rendeu benefícios em resoluções $\ge 384$ px.
• Resultados Negativos:
  • Treinamento com Resolução Aleatória: Amostrar resoluções aleatórias durante o treinamento não melhorou o desempenho e, na verdade, degradou o ganho do TTA, provavelmente porque as estatísticas de Laplaciana no canal EPM mudaram com a resolução, confundindo o modelo.
  • Ensembling: Ensembles ingênuos dos top-N modelos forneceram ganhos negligenciáveis devido a erros altamente correlacionados.
  • Calibração: Regressão isotônica e temperature scaling não forneceram ganho mensurável de F1; o max-softmax bruto foi suficiente para o limiar (thresholding).

Significância e Alegações

O artigo posiciona este trabalho não como um novo backbone ou função de perda, mas como uma receita estrutural para sistemas de visão em produção.

1. Um Padrão de Design Recorrente: Os autores argumentam que o padrão "portão barato + sinal de confiança + roteamento para consumidor caro" é uma arquitetura padrão para sistemas de IA modernos. Eles traçam paralelos com o Magika (detecção de tipo de arquivo), Risk-Controlled OCR (gating de VLM) e DocVLM (orçamento de tokens), sugerindo que este é um formato fundamental de controle-teórico para o uso eficiente de ferramentas.
2. Eficiência Prática: O portão satisfaz quatro requisitos críticos de produção simultaneamente: é barato (executável em CPU), rápido ($\sim7$ ms), binário (nítido/desfocado/incerto) e capaz de abstenção. É a primeira abordagem que satisfaz todos os quatro, enquanto métodos existentes falham em pelo menos um (ex: heurísticas carecem de abstenção; juízes VLM são lentos/caros demais).
3. Limitações Honestas: Os autores declaram explicitamente que os resultados são limitados à distribuição de desfoque de movimento do GoPro Large com uma única semente aleatória. Métricas de calibração (ECE) são qualitativas, e a generalização para outros datasets (ex: desfoque de definição, desfoque de documentos) ainda não foi validada. O artigo apresenta estas como limitações explícitas e trabalhos futuros, em vez de problemas resolvidos.

Em resumo, o artigo demonstra que um portão leve, amigável à CPU, aprimorado por um prior de borda clássico de entrada e inferência multi-escala, pode filtrar eficazmente entradas desfocadas antes que elas desperdicem recursos em VLMs ou OCRs subsequentes, alcançando alta precisão (F1 $\approx$ 0,98) com latência mínima.