ML-CLIPSim: Multi-Layer CLIP Similarity for Machine-Oriented Image Quality

Technische Samenvatting: ML-CLIPSim: Multi-Layer CLIP Similariteit voor Machine-Georiënteerde Beeldkwaliteit

Probleemstelling

Traditionele Beeldkwaliteitsbeoordeling (IQA) richt zich op signaaltrouw (bijv. PSNR) of uitlijning met menselijke visuele waarneming (bijv. LPIPS, DISTS). In moderne visiepijplijnen worden afbeeldingen echter steeds vaker verbruikt door downstream machine-modellen (classificators, detectoren, segmenteerders, visueel-taalmodellen) in plaats van door menselijke waarnemers. Er bestaat een kritieke mismatch: vervormingen met vergelijkbare trouwscores kunnen leiden tot sterk verschillende downstream voorspellingen, terwijl visueel opmerkelijke artefacten de machine-inferentie niet hoeven te beïnvloeden als taakrelevante bewijslast behouden blijft. Bestaande taakgedreven compressiebenaderingen vereisen vaak specifieke taakannotaties of zijn gekoppeld aan bepaalde modelarchitecturen, wat hun generaliseerbaarheid beperkt. Er is behoefte aan een taak-agnostische, machine-bewuste kwaliteitsmetriek die de behoud van informatie weerspiegelt die noodzakelijk is voor stabiele machine-inferentie, zonder supervisie op het moment van implementatie.

Methodologie

Het artikel stelt een raamwerk voor dat centraal staat om Voorspellende Consistentie als proxy voor latente machine-utility.

1. Predictive Consistency Dataset for Machine Perception (PCMP):
Om een machine-georiënteerde metriek te trainen, construeren de auteurs een dataset waarbij supervisie wordt afgeleid uit modelgedrag in plaats van menselijke mening.

• Latente Utility Formulering: Machine-georiënteerde kwaliteit wordt gedefinieerd als de mate waarin een vervormde afbeelding voorspelling-relevante informatie behoudt over een populatie van downstream modellen. Omdat absolute utility niet waarneembaar is en moeilijk te kalibreren is over verschillende taken, benaderen de auteurs deze via paarwijze vergelijkingen.
• PSNR-Gematchte Paar Sampling: Om taakrelevante effecten te isoleren van de grootte van lage-niveau vervorming, bestaat de dataset uit paren van vervormde afbeeldingen die bijna identieke PSNR-waarden hebben ten opzichte van de referentie.
• Multi-Model Voting: Voor elk paar stemt een pool van vooraf getrainde modellen (die classificatie, detectie en segmentatie bestrijken, bijvoorbeeld ResNet50, ViT, YOLO, Mask R-CNN) op basis van welke vervorming kleinere voorspellingsafwijkingen veroorzaakt.
• Zachte Labels: Het supervisie-signaal is een continue "stemverhouding" ($y \in [0,1]$), die het aandeel modellen vertegenwoordigt dat de ene vervorming verkiest boven de andere. Dit vermindert bias van een enkel model en biedt een robuuste schatting van latente utility.

2. ML-CLIPSim (Multi-Layer CLIP Similariteit):
De voorgestelde metriek is een differentieerbare, full-reference kwaliteitsmaat die is gebaseerd op een bevroren CLIP visuele encoder.

• Multi-Layer Feature Aggregatie: In tegenstelling tot methoden die uitsluitend vertrouwen op globale CLIP-embeddings, vangt ML-CLIPSim zowel lokale degradatie van bewijslast als hoge-niveau semantische consistentie. Het extrahert intermediate patch-token representaties uit meerdere transformerlagen van de bevroren CLIP-encoder.
• Dual-Branch Similariteit:
  • Token Branch: Berekent de similariteit tussen patch-tokens van de referentie- en vervormde afbeeldingen over geselecteerde lagen. Deze lagen worden gegroepeerd (vroeg, midden, laat) en geaggregeerd met behulp van leerbare gewichten.
  • Global Branch: Berekent de cosinus-similariteit van de globale CLIP-afbeeldings-embeddings.
• Leerbare Fusie: Een lichtgewicht gating-mechanisme (een door sigmoid geactiveerde scalar) combineert dynamisch de similariteiten op token-niveau en global-niveau om de uiteindelijke score te produceren.
• Training: Het model wordt getraind met Binary Cross-Entropy met Logits (BCEWithLogits) op de paarwijze voorkeurslabels van PCMP, waarbij het verschil tussen het voorspelde scoreverschil en de zachte stemverhouding wordt geminimaliseerd.

3. Toepassing op Geleerde Beeldcompressie:
ML-CLIPSim wordt gebruikt als een differentieerbare vervormingsterm in het rate-distortion-doel voor geleerde beeldcompressie ($L = R + \lambda(1 - S_{\theta}(x, \hat{x}))$). Dit moedigt codecs aan om visuele informatie die voorspellend is voor downstream taken te behouden, terwijl ze tijdens implementatie onafhankelijk blijven van specifieke taakmodellen.

Belangrijkste Bijdragen

• Formulering: Definieert machine-georiënteerde beeldkwaliteit als een latente machine-utility die wordt benaderd via voorspellende-consistentie paarwijze supervisie over een populatie van downstream modellen.
• Dataset (PCMP): Introduceert een dataset van PSNR-gematchte vervormingsparen met zachte voorkeurslabels gegenereerd door multi-model voting, wat schaalbare supervisie biedt die bias door lage-niveau vervormingsgrootte vermindert.
• Metriek (ML-CLIPSim): Stelt een differentieerbare metriek voor die intermediate patch-token similariteiten en globale embeddings van een bevroren CLIP-encoder aggregeert, en zowel lokale als globale machine-relevante kenmerken vastlegt.
• Prestatie: Toont aan dat ML-CLIPSim beter uitlijnt met machine-georiënteerde voorkeuren dan conventionele trouw- en perceptuele metrieken, generaliseert naar externe benchmarks, en rate-taak trade-offs in geleerde beeldcompressie verbetert.

Experimentele Resultaten

• PCMP Benchmark: Op de voorgestelde dataset bereikt ML-CLIPSim state-of-the-art prestaties (SRCC: 0,7937, PLCC: 0,7364), en presteert beter dan PSNR, MS-SSIM, LPIPS, DISTS en globale CLIP-similariteit (CLIPScore).
• Externe Generalisatie (MPD): Bij evaluatie op de Machine Preference Database (MPD) presteert ML-CLIPSim beter dan bestaande metrieken over verschillende vervormingsniveaus en taakcategorieën (classificatie, detectie, VQA, enz.).
• Menselijke-IQA Correlatie: Ondanks dat het is getraind op machine-voorkeuren, behoudt ML-CLIPSim een concurrerende correlatie met menselijke meningsscores op standaard benchmarks (TID2013, LIVE), wat wijst op gedeeltelijke consistentie tussen machine- en menselijke waarnemingskarakteristieken.
• Geleerde Beeldcompressie: Wanneer gebruikt als vervormingsterm voor MLIC++-codecs, verbetert ML-CLIPSim rate-taak trade-offs aanzienlijk. Het bereikt de beste BD-Rate-reducties voor ImageNet-classificatie, VOC/COCO-detectie, segmentatie en Vision-Language Model (VLM)-taken in vergelijking met baselines zoals MSE, MS-SSIM, LPIPS en de taak-agnostische UG-ICM. Bijvoorbeeld, het levert een -76,1% BD-Rate verbetering op voor ImageNet-classificatie en -80,7% voor VOC-detectie.

Betekenis en Beweringen

Het artikel beweert dat ML-CLIPSim een taak-agnostische maar machine-bewuste oplossing biedt voor beeldkwaliteitsbeoordeling. Door te leren van het collectieve gedrag van diverse downstream modellen in plaats van van een enkele taak of menselijke mening, biedt het een schaalbare proxy voor "latente machine-utility". De auteurs benadrukken dat deze benadering het mogelijk maakt om beeldcompressie- en kwaliteitsbeoordelingspijplijnen te optimaliseren om machine-consumenten beter van dienst te zijn, zonder taak-specifieke ground truth of modelaanpassing op het moment van implementatie te vereisen. Het werk beoogt bredere research in machine-georiënteerde IQA en utility-gedreven compressie te faciliteren.