Resumen Técnico: Edges Before Embeddings: Un Filtro de Desenfoque Consciente de la Confianza para Pipelines de Visión y Lenguaje

Planteamiento del Problema

Los pipelines de visión en producción suelen operar bajo el supuesto implícito de que las imágenes de entrada son legibles. Sin embargo, en despliegues del mundo real, las entradas sufren frecuentemente de desenfoque por movimiento, desenfoque por fuera de foco, artefactos de compresión o ruido por baja iluminación. Cuando estas imágenes degradadas entran en componentes posteriores como motores de OCR, sistemas de recuperación o Modelos de Visión y Lenguaje (VLMs), causan modos de fallo específicos:

1. Corrupción Silenciosa de OCR: El texto desenfocado se transcribe como tokens sintácticamente válidos pero semánticamente basura, lo que impide que los motores de reglas posteriores los distingan del texto legítimo.
2. Desperdicio de Cómputo: Las llamadas costosas a VLMs consumen presupuestos de tokens por fotogramas que no producen ningún resultado utilizable.
3. Curación Ineficiente: Filtrar imágenes de baja calidad de grandes conjuntos de datos de forma manual es inviable, mientras que el feedback de ida y vuelta a la nube para la captura móvil es demasiado lento.

Las soluciones existentes son insuficientes: las redes de restauración pesadas (ej. DeblurGANs) son demasiado costosas computacionalmente para el filtrado por carga, mientras que los heurísticos clásicos (ej. varianza de Laplaciano) son rápidos pero frágiles, fallando en escenas con textura pero nítidas o suaves pero nítidas. El artículo propone un "filtro" ligero, ejecutable en CPU, que se sitúa aguas arriba para decidir si pasa una imagen, la rechaza o se abstiene.

Metodología

Arquitectura y Entrada

El sistema utiliza un backbone MobileNetV3-Large (3.3M de parámetros) compilado en un artefacto ONNX de 17 MB. La innovación central es el Módulo de Prior de Bordes (EPM), que inyecta evidencia espectral clásica directamente en la red:

• Mecanismo EPM: El módulo convierte la entrada RGB a luminancia, aplica un kernel Laplaciano fijo de 3×3 y estandariza el mapa de magnitud. Este mapa de bordes de un solo canal se concatena como un cuarto canal de entrada a la foto RGB.
• Inicialización: La primera capa convolucional se expande de 3 a 4 canales. El peso del nuevo canal se inicializa a $0.1\times$ la media de los filtros RGB para asegurar un inicio estable.
• Racional: Esto permite que la CNN acceda a la evidencia en el dominio de la frecuencia en la que confían los heurísticos de desenfoque clásicos, en lugar de tener que reaprenderlo a partir de estadísticas de píxeles brutos.

Entrenamiento y Datos

• Dataset: El entrenamiento se realiza en el dataset GoPro Large, que proporciona fotogramas nítidos y desenfocados por movimiento sintético emparejados. Los autores incluyen la subcarpeta blur_gamma (un segundo estilo de desenfoque) para mejorar la robustez.
• Configuración: La receta final utiliza una resolución de 384×384, entrenada durante 25 épocas con AdamW ($lr=10^{-4}$), annealing de coseno y jitter de color suave.
• Espacio de Búsqueda: Los autores realizaron una búsqueda empírica a través de 46 configuraciones (8 barridos), variando la resolución, la aumentación, la capacidad del backbone y las estrategias de ensamble.

Inferencia y Enrutamiento

El sistema emplea un formalismo de enrutamiento consciente de la confianza basado en la teoría de la predicción selectiva (regla de Chow).

• TTA Multi-escala: En la inferencia, la imagen se redimensiona a cinco escalas ($\{256, 320, 384, 448, 512\}$ px). Las predicciones softmax se promedian a través de estas escalas para producir una distribución de probabilidad final.
• Lógica de Decisión:
  • Nítido/Desenfocado: Si la probabilidad máxima de softmax $c \ge \tau$ (por defecto $\tau=0.60$), la imagen se enruta a la clase correspondiente.
  • Incertidumbre (Abstención): Si $c < \tau$, el sistema enruta la imagen a un modelo de respaldo más pesado o a revisión humana.
• Latencia: La inferencia de escala única se ejecuta en $\sim7$ ms en un solo núcleo de CPU; el TTA de 5 escalas toma $\sim35$ ms.

Resultados Clave

Métricas de Rendimiento

Evaluado en el split de prueba de GoPro Large:

• Baseline (384px fijo, sin EPM): F1 = 0.9672 (con TTA de 5 escalas).
• Receta Final (MobileNetV3-Large + EPM + TTA de 5 escalas): F1 = 0.9803 (AUC 0.9989).
• Mejora: El EPM por sí solo contribuye con una ganancia de +1.31 puntos en F1 sobre el baseline de entorno emparejado. El TTA multi-escala añade un adicional de +0.40 puntos sobre la inferencia de escala única.

Hallazgos Empíricos de la Búsqueda

• Dominancia de la Resolución: La resolución de entrada es el factor dominante. Pasar de 128 px a 384 px añadió aproximadamente 13 puntos de F1. La capacidad del backbone (MobileNetV3-Large vs. Small) solo aportó beneficios en resoluciones $\ge 384$ px.
• Resultados Negativos:
  • Entrenamiento con Resolución Aleatorizada: El muestreo de resoluciones aleatorias durante el entrenamiento no mejoró el rendimiento y, de hecho, degradó la ganancia de TTA, probablemente porque las estadísticas del Laplaciano en el canal EPM cambiaban con la resolución, confundiendo al modelo.
  • Ensamble: Los ensambles ingenuos de los top-N modelos proporcionaron ganancias insignificantes debido a errores altamente correlacionados.
  • Calibración: La regresión isotónica y el escalado de temperatura no proporcionaron ninguna ganancia medible en F1; el máximo-softmax bruto fue suficiente para el umbral.

Significado y Reivindicaciones

El artículo posiciona este trabajo no como un nuevo backbone o función de pérdida, sino como una receta estructural para sistemas de visión en producción.

1. Un Patrón de Diseño Recurrente: Los autores argumentan que el patrón "filtro barato + señal de confianza + enrutamiento al consumidor costoso" es una arquitectura por defecto para los sistemas de IA modernos. Establecen paralelismos con Magika (detección de tipo de archivo), Risk-Controlled OCR (gating de VLM) y DocVLM (presupuesto de tokens), sugiriendo que esta es una forma fundamental de control-teórico para el uso eficiente de herramientas.
2. Eficiencia Práctica: El filtro satisface simultáneamente cuatro requisitos de producción críticos: es barato (ejecutable en CPU), rápido ($\sim7$ ms), binario (nítido/desenfocado/incierto) y capaz de abstenerse. Es el primer enfoque que satisface los cuatro, mientras que los métodos existentes fallan en al menos uno (ej. los heurísticos carecen de abstención; los jueces VLM son demasiado lentos/costosos).
3. Limitaciones Honestas: Los autores declaran explícitamente que los resultados están limitados a la distribución de desenfoque por movimiento de GoPro Large con una única semilla aleatoria. Las métricas de calibración (ECE) son cualitativas, y la generalización a otros datasets (ej. desenfoque de documentos, desenfoque por fuera de foco) aún no ha sido validada. El artículo enmarca estas como limitaciones explícitas y trabajo futuro en lugar de problemas resueltos.

En resumen, el artículo demuestra que un filtro ligero, compatible con CPU, mejorado por un input de prior de bordes clásico y una inferencia multi-escala, puede filtrar eficazmente las entradas desenfocadas antes de que desperdicien recursos en VLMs o OCR posteriores, logrando una alta precisión (F1 $\approx$ 0.98) con una latencia mínima.