ML-CLIPSim: Multi-Layer CLIP Similarity for Machine-Oriented Image Quality

Riepilogo Tecnico: ML-CLIPSim: Similarità CLIP Multistrato per la Qualità delle Immagini Orientata alla Macchina

Enunciato del Problema

La Valutazione della Qualità delle Immagini (IQA) tradizionale si concentra sulla fedeltà del segnale (ad esempio, PSNR) o sull'allineamento con la percezione visiva umana (ad esempio, LPIPS, DISTS). Tuttavia, nelle moderne pipeline di visione, le immagini sono sempre più consumate da modelli macchina a valle (classificatori, rilevatori, segmentatori, modelli visione-linguaggio) piuttosto che da osservatori umani. Esiste una discrepanza critica: distorsioni con punteggi di fedeltà simili possono portare a previsioni a valle drasticamente diverse, mentre artefatti visivamente percettibili potrebbero non influenzare l'inferenza della macchina se le prove rilevanti per il compito sono preservate. Gli approcci esistenti basati sul compito per la compressione richiedono spesso annotazioni specifiche del compito o sono vincolati a particolari architetture di modelli, limitandone la generalizzabilità. C'è la necessità di una metrica di qualità agnostica al compito e consapevole della macchina che rifletta la preservazione delle informazioni necessarie per un'inferenza della macchina stabile, senza richiedere supervisione al momento della distribuzione.

Metodologia

Il documento propone un framework centrato sulla Coerenza Predittiva come proxy per l'utilità latente della macchina.

1. Dataset di Coerenza Predittiva per la Percezione della Macchina (PCMP):
Per addestrare una metrica orientata alla macchina, gli autori costruiscono un dataset in cui la supervisione è derivata dal comportamento del modello piuttosto che dall'opinione umana.

• Formulazione dell'Utilità Latente: La qualità orientata alla macchina è definita come l'estensione in cui un'immagine distorta preserva le informazioni rilevanti per la previsione su una popolazione di modelli a valle. Poiché l'utilità assoluta è non osservabile e difficile da calibrare tra compiti diversi, gli autori la approssimano tramite confronti a coppie.
• Campionamento di Coppie Abbinati per PSNR: Per isolare gli effetti rilevanti per il compito dalla magnitudine della distorsione di basso livello, il dataset è composto da coppie di immagini distorte che hanno valori PSNR quasi identici rispetto al riferimento.
• Voto Multi-Modello: Per ogni coppia, un pool di modelli pre-addestrati (che coprono classificazione, rilevamento e segmentazione, ad esempio ResNet50, ViT, YOLO, Mask R-CNN) esprime un voto basato su quale distorsione causi minori discrepanze di previsione.
• Etichette Soft: Il segnale di supervisione è un "rapporto di voto" continuo ($y \in [0,1]$), che rappresenta la proporzione di modelli che preferiscono una distorsione rispetto all'altra. Questo riduce il bias di qualsiasi singolo modello e fornisce una stima robusta dell'utilità latente.

2. ML-CLIPSim (Similarità CLIP Multistrato):
La metrica proposta è una misura di qualità a riferimento completo differenziabile, costruita su un encoder visivo CLIP congelato.

• Aggregazione di Caratteristiche Multistrato: A differenza dei metodi che si affidano esclusivamente agli embedding globali CLIP, ML-CLIPSim cattura sia il degrado delle prove localizzate sia la coerenza semantica di alto livello. Estrae rappresentazioni intermedie di patch-token da più livelli di trasformatori dell'encoder CLIP congelato.
• Similarità a Doppio Ramo:
  • Ramo dei Token: Calcola la similarità tra i token delle patch delle immagini di riferimento e distorte attraverso livelli selezionati. Questi livelli sono raggruppati (precoce, medio, tardivo) e aggregati utilizzando pesi apprendibili.
  • Ramo Globale: Calcola la similarità coseno degli embedding globali delle immagini CLIP.
• Fusione Apprendibile: Un meccanismo di gating leggero (uno scalare attivato da sigmoide) combina dinamicamente le similarità a livello di token e a livello globale per produrre il punteggio finale.
• Addestramento: Il modello è addestrato utilizzando la Cross-Entropia Binaria con Logits (BCEWithLogits) sulle etichette di preferenza a coppie provenienti da PCMP, minimizzando la differenza tra la differenza del punteggio previsto e il rapporto di voto soft.

3. Applicazione alla Compressione di Immagini Appresa:
ML-CLIPSim è utilizzato come termine di distorsione differenziabile nell'obiettivo di distorsione-tasso per la compressione di immagini appresa ($L = R + \lambda(1 - S_{\theta}(x, \hat{x}))$). Questo incoraggia i codec a preservare le informazioni visive predittive dei compiti a valle, rimanendo indipendenti da specifici modelli di compito durante la distribuzione.

Contributi Chiave

• Formulazione: Definisce la qualità delle immagini orientata alla macchina come un'utilità latente della macchina approssimata attraverso supervisione a coppie di coerenza predittiva su una popolazione di modelli a valle.
• Dataset (PCMP): Introduce un dataset di coppie di distorsioni abbinati per PSNR con etichette di preferenza soft generate da voto multi-modello, fornendo una supervisione scalabile che riduce il bias della magnitudine della distorsione di basso livello.
• Metrica (ML-CLIPSim): Propone una metrica differenziabile che aggrega similarità intermedie di patch-token e embedding globali da un encoder CLIP congelato, catturando sia caratteristiche locali sia globali rilevanti per la macchina.
• Prestazioni: Dimostra che ML-CLIPSim si allinea meglio con le preferenze orientate alla macchina rispetto alle metriche di fedeltà e percettive convenzionali, si generalizza a benchmark esterni e migliora i compromessi tasso-compito nella compressione di immagini appresa.

Risultati Sperimentali

• Benchmark PCMP: Sul dataset proposto, ML-CLIPSim raggiunge prestazioni all'avanguardia (SRCC: 0,7937, PLCC: 0,7364), superando PSNR, MS-SSIM, LPIPS, DISTS e la similarità CLIP globale (CLIPScore).
• Generalizzazione Esterna (MPD): Quando valutato sul Database delle Preferenze della Macchina (MPD), ML-CLIPSim supera le metriche esistenti attraverso varie severità di distorsione e categorie di compito (classificazione, rilevamento, VQA, ecc.).
• Correlazione con IQA Umana: Nonostante sia addestrato su preferenze della macchina, ML-CLIPSim mantiene una correlazione competitiva con i punteggi di opinione umana su benchmark standard (TID2013, LIVE), suggerendo una coerenza parziale tra le caratteristiche di percezione della macchina e dell'uomo.
• Compressione di Immagini Appresa: Quando utilizzato come termine di distorsione per i codec MLIC++, ML-CLIPSim migliora significativamente i compromessi tasso-compito. Raggiunge le migliori riduzioni BD-Rate attraverso classificazione ImageNet, rilevamento VOC/COCO, segmentazione e compiti di Modelli Visione-Linguaggio (VLM) rispetto a baseline come MSE, MS-SSIM, LPIPS e l'agnostico al compito UG-ICM. Ad esempio, produce un miglioramento del BD-Rate del -76,1% sulla classificazione ImageNet e del -80,7% sul rilevamento VOC.

Significato e Affermazioni

Il documento afferma che ML-CLIPSim fornisce una soluzione agnostica al compito ma consapevole della macchina per la valutazione della qualità delle immagini. Imparando dal comportamento collettivo di diversi modelli a valle piuttosto che da un singolo compito o dall'opinione umana, offre un proxy scalabile per l'"utilità latente della macchina". Gli autori sottolineano che questo approccio permette l'ottimizzazione delle pipeline di compressione delle immagini e di valutazione della qualità per servire meglio i consumatori macchina, senza richiedere verità di base specifiche per il compito o adattamento del modello al momento della distribuzione. Il lavoro mira a facilitare una ricerca più ampia nell'IQA orientata alla macchina e nella compressione guidata dall'utilità.