Technische Samenvatting: Edges Before Embeddings: Een Confidence-Aware Blur Gate voor Vision-Language Pipelines

Probleemstelling

Productie-vision-pipelines gaan vaak uit van de impliciete aanname dat invoerbeelden leesbaar zijn. In de praktijk kampen inputs echter vaak met bewegingsonscherpte (motion blur), defocus, compressie-artefacten of ruis door weinig licht. Wanneer deze gedegradeerde beelden ingaan bij downstream-componenten zoals OCR-engines, retrieval-systemen of Vision-Language Models (VLM's), veroorzaken ze specifieke faalmodi:

1. Stille OCR-corruptie: Bewogen tekst wordt getranscribeerd als syntactisch geldige maar semantisch waardeloze tokens, waardoor downstream rule-engines het niet kunnen onderscheiden van legitieme tekst.
2. Verspilde rekenkracht: Kostbare VLM-aanroepen verbruiken per-token budgetten op frames die geen bruikbare output opleveren.
3. Inefficiënte curatie: Het handmatig filteren van kwalitatief slechte afbeeldingen uit grote datasets is onhaalbaar, terwijl feedback via een cloud-roundtrip voor mobiele capture te traag is.

Bestaande oplossingen zijn onvoldoende: zware restauratienetwerken (bijv. DeblurGANs) zijn te rekenintensief voor per-upload gating, terwijl klassieke heuristieken (bijv. Laplacian variance) weliswaar snel zijn maar broos, omdat ze falen op getextureerde-maar-scherpe of gladde-maar-scherpe scènes. Het artikel stelt een lichtgewicht, op de CPU uitvoerbare "gate" voor die upstream staat om te beslissen of een beeld doorgegeven, afgewezen of genegeerd moet worden.

Methodologie

Architectuur en Input

Het systeem maakt gebruik van een MobileNetV3-Large backbone (3,3 miljoen parameters) gecompileerd naar een 17 MB ONNX-artifact. De kerninnovatie is de Edge Prior Module (EPM), die klassieke spectrale bewijslast direct in het netwerk injecteert:

• EPM Mechanisme: De module zet de RGB-input om naar luminantie, past een vaste 3×3 Laplacian-kernel toe en standaardiseert de magnitude-map. Deze single-channel "edge map" wordt geconcateneerd als een vierde inputkanaal aan de RGB-foto.
• Initialisatie: De eerste convolutionele laag wordt uitgebreid van 3 naar 4 kanalen. De gewichten van het nieuwe kanaal worden geïnitialiseerd op $0,1\times$ het gemiddelde van de RGB-filters om een stabiele warmstart te garanderen.
• Ratio: Dit stelt de CNN in staat om toegang te krijgen tot de frequentiedomein-bewijslast waar klassieke blur-heuristieken op vertrouwen, in plaats van dit opnieuw te moeten leren van ruwe pixelstatistieken.

Training en Data

• Dataset: Training vindt plaats op de GoPro Large dataset, die gepaarde scherpe en synthetisch bewegingsonscherpe frames biedt. De auteurs voegen de blur_gamma subfolder toe (een tweede blur-stijl) om de robuustheid te verbeteren.
• Configuratie: Het definitieve recept gebruikt een resolutie van 384×384, getraind voor 25 epochs met AdamW ($lr=10^{-4}$), cosine annealing en milde color jitter.
• Zoekruimte: De auteurs hebben een empirische zoektocht uitgevoerd over 46 configuraties (8 sweeps), waarbij variatie werd aangebracht in resolutie, augmentatie, backbone-capaciteit en ensembling-strategieën.

Inferentie en Routing

Het systeem hanteert een confidence-aware routing formalisme gebaseerd op de theorie van selectieve predictie (Chow's rule).

• Multi-scale TTA: Tijdens inferentie wordt de afbeelding geschaald naar vijf schalen ($\{256, 320, 384, 448, 512\}$ px). De softmax-predicties worden gemiddeld over deze schalen om een definitieve waarschijnlijkheidsverdeling te produceren.
• Beslissingslogica:
  • Scherp/Bewogen: Als de maximale softmax-waarschijnlijkheid $c \ge \tau$ (standaard $\tau=0,60$), wordt het beeld gerouteerd naar de bijbehorende klasse.
  • Onzeker (Abstention): Als $c < \tau$, routeert het systeem het beeld naar een zwaarder fallback-model of menselijke review.
• Latentie: Single-scale inferentie draait in $\sim7$ ms op een enkele CPU-core; 5-scale TTA kost $\sim35$ ms.

Belangrijkste Resultaten

Prestatie-metrieken

Geëvalueerd op de GoPro Large test-split:

• Baseline (Vaste 384px, geen EPM): F1 = 0,9672 (met 5-scale TTA).
• Definitief Recept (MobileNetV3-Large + EPM + 5-scale TTA): F1 = 0,9803 (AUC 0,9989).
• Verbetering: De EPM alleen al draagt een +1,31 punt F1-winst bij ten opzichte van de gematchte-omgeving baseline. De multi-scale TTA voegt nog eens +0,40 punten toe bovenop single-scale inferentie.

Empirische Bevindingen uit de Zoektocht

• Dominantie van Resolutie: Invoerresolutie is de dominante hefboom. Het verplaatsen van 128 px naar 384 px voegde ongeveer 13 F1-punten toe. Backbone-capaciteit (MobileNetV3-Large versus Small) leverde pas voordelen op bij resoluties $\ge 384$ px.
• Negatieve Resultaten:
  • Resolutie-gerandomiseerde Training: Het samplen van willekeurige resoluties tijdens de training verbeterde de prestaties niet en verslechterde zelfs de TTA-winst, waarschijnlijk omdat de Laplacian-statistieken in het EPM-kanaal verschuiven met de resolutie, wat het model in de war brengt.
  • Ensembling: Naïeve ensembles van top-N modellen boden verwaarloosbare winst vanwege sterk gecorreleerde fouten.
  • Kalibratie: Isotonische regressie en temperature scaling boden geen meetbare F1-winst; de ruwe max-softmax was voldoende voor drempelwaarde-bepaling.

Betekenis en Claims

Het artikel positioneert dit werk niet als een nieuwe backbone of verliesfunctie, maar als een structureel recept voor productie-vision-systemen.

1. Een Terugkerend Ontwerppatroon: De auteurs stellen dat het "goedkope gate + confidence signaal + routing naar dure consument"-patroon een standaardarchitectuur is voor moderne AI-systemen. Ze trekken parallellen met Magika (bestandstype detectie), Risk-Controlled OCR (VLM gating) en DocVLM (token budgeting), en suggereren dat dit een fundamentele controle-theoretische vorm is voor efficiënt instrumentgebruik.
2. Praktische Efficiëntie: De gate voldoet tegelijkertijd aan vier cruciale productie-eisen: het is goedkoop (CPU-uitvoerbaar), snel ($\sim7$ ms), binair (scherp/bewogen/onzeker) en in staat tot abstention. Het is de eerste aanpak die aan alle vier voldoet, terwijl bestaande methoden er minstens één missen (bijv. heuristieken missen abstention; VLM-judges zijn te traag/kostbaar).
3. Eerlijke Beperkingen: De auteurs geven expliciet aan dat de resultaten beperkt zijn tot de GoPro Large bewegingsonscherpte-distributie met een enkele willekeurige seed. Kalibratiemetrieken (ECE) zijn kwalitatief, en cross-dataset generalisatie (bijv. defocus, document-onscherpte) is nog niet gevalideerd. Het artikel presenteert deze als expliciete beperkingen en toekomstig werk in plaats van opgeloste problemen.

Samenvattend demonstreert het artikel dat een lichtgewicht, CPU-vriendelijke gate, versterkt door een klassieke edge-prior input en multi-scale inferentie, effectief bewogen inputs kan filteren voordat ze middelen verspillen op downstream VLMs of OCR, waarbij een hoge nauwkeurigheid (F1 $\approx$ 0,98) wordt bereikt met minimale latentie.