Résumé technique : Edges Before Embeddings : Une porte de flou sensible à la confiance pour les pipelines vision-langage

Problématique

Les pipelines de vision en production opèrent souvent sous l'hypothèse implicite que les images d'entrée sont lisibles. En déploiement réel, cependant, les entrées souffrent fréquemment de flou de mouvement, de défaut de mise au point, d'artefacts de compression ou de bruit lié à une faible luminosité. Lorsque ces images dégradées entrent dans des composants en aval comme les moteurs d'OCR, les systèmes de recherche ou les modèles vision-langage (VLM), elles provoquent des modes de défaillance spécifiques :

1. Corruption silencieuse de l'OCR : Le texte flou est transcrit sous forme de jetons (tokens) syntaxiquement valides mais sémantiquement aberrants, que les moteurs de règles en aval ne peuvent distinguer d'un texte légitime.
2. Gaspillage de calcul : Des appels coûteux à des VLM consomment des budgets par jeton sur des images qui ne produisent aucun résultat exploitable.
3. Curation inefficace : Filtrer manuellement les images de faible qualité à partir de grands ensembles de données est irréalisable, tandis que le retour d'information via un aller-retour vers le cloud pour la capture mobile est trop lent.

Les solutions existantes sont insuffisantes : les réseaux de restauration lourds (ex: DeblurGANs) sont trop coûteux en calcul pour un filtrage par téléchargement, tandis que les heuristiques classiques (ex: variance du Laplacien) sont rapides mais fragiles, échouant sur des scènes texturées-mais-nettes ou lisses-mais-nettes. L'article propose une « porte » légère, exécutable sur CPU, qui se situe en amont pour décider s'il faut laisser passer une image, la rejeter ou s'abstenir.

Méthodologie

Architecture et Entrée

Le système utilise un squelette (backbone) MobileNetV3-Large (3,3 millions de paramètres) compilé en un artefact ONNX de 17 Mo. L'innovation centrale est le Module de Priorité de Bordure (EPM - Edge Prior Module), qui injecte des preuves spectrales classiques directement dans le réseau :

• Mécanisme de l'EPM : Le module convertit l'entrée RGB en luminance, applique un noyau Laplacien fixe de 3×3 et normalise la carte de magnitude. Cette carte de bordure (edge map) à canal unique est concaténée comme un 4ème canal d'entrée à la photo RGB.
• Initialisation : Le premier cal de convolution est étendu de 3 à 4 canaux. Les poids de ce nouveau canal sont initialisés à $0,1\times$ la moyenne des filtres RGB pour assurer un démarrage stable.
• Raisonnement : Cela permet au CNN d'accéder aux preuves dans le domaine fréquentiel sur lesquelles reposent les heuristiques de flou classiques, plutôt que de devoir les réapprendre à partir de statistiques de pixels bruts.

Entraînement et Données

• Jeu de données : L'entraînement est effectué sur le jeu de données GoPro Large, qui fournit des images nettes et des images avec flou de mouvement synthétique appariées. Les auteurs incluent le sous-dossier blur_gamma (un second style de flou) pour améliorer la robustesse.
• Configuration : La recette finale utilise une résolution de 384×384, entraînée pendant 25 époques avec AdamW ($lr=10^{-4}$), un recuit cosinus (cosine annealing) et un léger jitter de couleur.
• Espace de recherche : Les auteurs ont mené une recherche empirique sur 46 configurations (8 balayages), faisant varier la résolution, l'augmentation, la capacité du backbone et les stratégies d'ensemble.

Inférence et Routage

Le système emploie un formalisme de routage sensible à la confiance fondé sur la théorie de la prédiction sélective (règle de Chow).

• TTA multi-échelle : Lors de l'inférence, l'image est redimensionnée à cinq échelles ($\{256, 320, 384, 448, 512\}$ px). Les prédictions softmax sont moyennées sur ces échelles pour produire une distribution de probabilité finale.
• Logique de décision :
  • Net/Flou : Si la probabilité softmax maximale $c \ge \tau$ (par défaut $\tau=0,60$), l'image est routée vers la classe correspondante.
  • Incertitude (Abstention) : Si $c < \tau$, le système route l'image vers un modèle de repli plus lourd ou vers une révision humaine.
• Latence : L'inférence à échelle unique s'exécute en $\sim7$ ms sur un seul cœur CPU ; le TTA à 5 échelles prend $\sim35$ ms.

Résultats Clés

Métriques de Performance

Évalué sur la division de test de GoPro Large :

• Baseline (384px fixe, sans EPM) : F1 = 0,9672 (avec TTA 5-échelle).
• Recette Finale (MobileNetV3-Large + EPM + TTA 5-échelle) : F1 = 0,9803 (AUC 0,9989).
• Amélioration : L'EPM seul contribue un gain de +1,31 point en F1 par rapport à la baseline de l'environnement apparié. Le TTA multi-échelle ajoute un gain supplémentaire de +0,40 points par rapport à l'inférence à échelle unique.

Résultats Empiriques de la Recherche

• Dominance de la Résolution : La résolution d'entrée est le levier dominant. Passer de 128 px à 384 px a ajouté environ 13 points de F1. La capacité du backbone (MobileNetV3-Large vs Small) n'a apporté des bénéfices qu'à des résolutions $\ge 384$ px.
• Résultats Négatifs :
  • Entraînement à Résolution Randomisée : L'échantillonnage de résolutions aléatoires pendant l'entraînement n'a pas amélioré les performances et a même dégradé le gain du TTA, probablement parce que les statistiques du Laplacien dans le canal EPM changeaient avec la résolution, confondant le modèle.
  • Ensemble : Les ensembles naïfs des modèles Top-N ont fourni des gains négligeables en raison d'erreurs hautement corrélées.
  • Calibration : La régression isotonique et le way-scaling (temperature scaling) n'ont apporté aucun gain mesurable de F1 ; le max-softmax brut était suffisant pour le seuillage.

Signification et Revendications

L'article positionne ce travail non pas comme un nouveau backbone ou une nouvelle fonction de perte, mais comme une recette structurelle pour les systèmes de vision en production.

1. Un Modèle de Conception Récurrent : Les auteurs soutiennent que le motif « porte peu coûteuse + signal de confiance + routage vers un consommateur coûteux » est une architecture par défaut pour les systèmes d'IA modernes. Ils établissent des parallèles avec Magika (détection de type de fichier), Risk-Controlled OCR (filtrage VLM) et DocVLM (budget de jetons), suggérant qu'il s'agit d'une forme fondamentale de contrôle-théorique pour l'utilisation efficace d'outils.
2. Efficacité Pratique : La porte satisfait simultanément quatre exigences critiques de production : elle est peu coûteuse (exécutable sur CPU), rapide ($\sim7$ ms), binaire (net/flou/incertain) et capable d'abstention. Elle est la première approche à satisfaire ces quatre critères, là où les méthodes existantes en échouent au moins un (ex: les heuristiques manquent d'abstention ; les juges VLM sont trop lents/coûteux).
3. Limites Honnêtes : Les auteurs déclarent explicitement que les résultats sont limités à la distribution de flou de mouvement de GoPro Large avec un seul germe aléatoire (seed). Les métriques de calibration (ECE) sont qualitatives, et la généralisation à d'autres jeux de données (ex: flou de mise au point, flou de documents) n'est pas encore validée. L'article présente ces points comme des limitations explicites et des travaux futurs plutôt que comme des problèmes résolus.

En résumé, l'article démontre qu'une porte légère, compatible CPU, améliorée par une entrée de priorité de bordure classique et une inférence multi-échelle, peut filtrer efficacement les entrées floues avant qu'elles ne gaspillent des ressources sur des VLM ou des OCR en aval, atteignant une précision élevée (F1 $\approx$ 0,98) avec une latence minimale.