A Lightweight Multi-Metric No-Reference Image Quality Assessment Framework for UAV Imaging

Probleemstelling

In toepassingen waarbij grote hoeveelheden beelden automatisch worden verkregen, zoals bij drone-imaging (UAV) voor landbouwmonitoring, is het cruciaal om de beeldkwaliteit te beoordelen voordat verdere analyse plaatsvindt. Beelden kunnen echter worden aangetast door bewegingsonscherpte, slechte belichting, nevel, ruis of lage resolutie.
Het grootste probleem is dat in de praktijk vaak geen "pristine" (perfecte) referentiebeeld beschikbaar is om een vervormd beeld mee te vergelijken. Bestaande methoden voor No-Reference Image Quality Assessment (NR-IQA) of "Blind IQA" hebben vaak te maken met de volgende beperkingen:

• Rekenkracht: Veel geavanceerde methoden vereisen zware rekenresources of diepe leermodellen die niet efficiënt draaien op standaard CPU-hardware.
• Interpreteerbaarheid: Gebruikers moeten begrijpen waarom een beeld een lage kwaliteitsscore krijgt (bijv. is het wazig of slecht belicht?). Veel statistische modellen zijn een "black box".
• Meervoudige vervormingen: Realistische beelden bevatten vaak meerdere soorten vervormingen tegelijkertijd, wat de beoordeling bemoeilijkt.

Methodologie: Het MM-IQA Framework

De auteurs stellen MM-IQA (Multi-Metric Image Quality Assessment) voor, een lichtgewicht, trainingsvrij en volledig interpreteerbaar raamwerk. Het doel is om een enkele kwaliteitsscore (0-100) te genereren op basis van een reeks interpreteerbare "cues" (aanwijzingen) die specifieke vervormingen detecteren.

De werking van het framework:

1. Preprocessing: Het invoer-RGB-beeld wordt omgezet naar een 8-bit grijswaarde-afbeelding ($Y$) om de complexiteit te verminderen en zich te concentreren op luminantie-structuur.
2. Primitieve Cues (Basismetingen): Er worden zeven specifieke metingen uitgevoerd:
   • Laplacian Variance: Meet scherpte door de variantie van de tweede-orde afgeleide (zero-crossings).
   • Tenengrad Energy: Meet scherpte door de som van de gekwadrateerde Sobel-gradiënten.
   • Edge Density: Het percentage pixels dat als rand wordt gedetecteerd (via Canny-detectie).
   • FFT Energy: De gemiddelde logaritmische magnitude van de Fourier-transformatie, wat de hoeveelheid hoogfrequente informatie aangeeft.
   • Noise Estimate: De RMS-waarde van het residu tussen het origineel en een gemedianeerd gefilterd beeld (filtert impulsen, behoudt randen).
   • Exposure Balance: Het percentage pixels in de "onderbelichte" (donkere) en "overbelichte" (heldere) uiteinden van de histogramverdeling.
   • Haze Proxy: Gebruikmakend van de "Dark Channel Prior" om de aanwezigheid van atmosferische waas te schatten.
3. Samengestelde Cues: De primitieve metingen worden gecombineerd tot twee hoofdcategorieën:
   • Blur%: Een gewogen gemiddelde van Laplacian, Tenengrad en Edge Density.
   • Low-Resolution%: Een combinatie van Edge Density en FFT-energie (onderscheidt wazigheid van daadwerkelijke resolutieverlies door downsampling).
4. Normalisatie en Fusie: Alle cues worden genormaliseerd naar een schaal van 0 tot 1 en vervolgens gefuseerd tot een eindkwaliteitsscore $Q$ in het bereik [0, 100] via een lineaire weging:
   $$Q = 100 \sum w_i q_i$$
   De gewichten ($w$) zijn empirisch bepaald, waarbij Blur (30%) en Low-Resolution (20%) de zwaarste gewichten hebben, omdat deze de zichtbaarheid van details het meest beïnvloeden. Andere factoren zoals ruis, belichting en nevel hebben lagere, maar significante gewichten.

Belangrijkste Bijdragen

• Lichtgewicht en Trainingsvrij: Het model vereist geen training op grote datasets en draait efficiënt op CPU-hardware (ongeveer 1,97 seconden per beeld).
• Interpreteerbaarheid: In tegenstelling tot veel "black-box" modellen, biedt MM-IQA expliciete feedback over welke vervorming (wazigheid, ruis, nevel, etc.) de kwaliteit beïnvloedt.
• Multi-Metric Fusie: Het combineert ruimtelijke, frequentie- en histogramgebaseerde cues om verschillende soorten vervormingen tegelijkertijd te detecteren.
• Toepasbaarheid voor UAV: Specifiek ontworpen voor scenario's met beperkte rekenkracht, zoals drone-toepassingen in de landbouw, waar beelden direct ter plekke gefilterd moeten worden.

Resultaten

Het framework werd geëvalueerd op vijf publieke benchmark-datasets (KonIQ-10k, LIVE Challenge, KADID-10k, TID2013, BIQ2021) en een synthetische landbouwdataset (IP102-IQA).

• Kwantitatieve Prestaties:
  • MM-IQA behaalde SRCC (Spearman Rank Correlation Coefficient) waarden tussen 0,647 en 0,830 en PLCC (Pearson Linear Correlation Coefficient) waarden tussen 0,667 en 0,845.
  • Het presteerde consistent beter dan de beste bestaande klassieke NR-IQA-methoden (zoals BRISQUE, NIQE, CurveletQA) op alle vijf de datasets. Bijvoorbeeld, op TID2013 steeg de SRCC met +0,202 ten opzichte van de beste baseline.
• Synthetische Validatie:
  • Op de IP102-IQA dataset (waar specifieke vervormingen kunstmatig werden toegevoegd) reageerden de ontworpen cues in de verwachte richting. Bijvoorbeeld, bij toegevoegde wazigheid steeg de "Blur"-cue significant, en bij ruis steeg de "Noise"-cue.
• Efficiëntie:
  • De implementatie in Python/OpenCV vereist slechts ongeveer 1,97 seconden per beeld op standaard hardware.
  • Het geheugengebruik schaalt lineair met de beeldgrootte, omdat er slechts een beperkt aantal tussenliggende grijswaarde- en frequentie-representaties worden opgeslagen.

Betekenis en Conclusie

De studie toont aan dat het mogelijk is om een robuust, interpreteerbaar en computatie-efficiënt systeem voor beeldkwaliteitsbeoordeling te bouwen zonder gebruik te maken van zware deep learning-modellen.

• Praktische Impact: Voor UAV-toepassingen in de landbouw betekent dit dat slechte beelden (bijv. wazig door beweging of slecht belicht) direct kunnen worden weggefilterd voordat ze worden opgeslagen of verwerkt, wat de efficiëntie van de data-analyse aanzienlijk verbetert.
• Wetenschappelijke Bijdrage: Het artikel benadrukt dat een transparante, op regels gebaseerde aanpak (deterministisch) vaak superieur is in termen van interpreteerbaarheid en betrouwbaarheid in real-time scenario's, vergeleken met complexe statistische of neurale netwerken, vooral wanneer de rekenkracht beperkt is.

Kortom, MM-IQA biedt een praktische oplossing voor het filteren van beeldkwaliteit in real-time systemen, waarbij een goede balans wordt gevonden tussen nauwkeurigheid, snelheid en inzicht in de oorzaken van kwaliteitsverlies.