Sintesi Tecnica: Contrastive Order Learning (ConOrd)

Definizione del Problema

La regressione ordinale mira a stimare il rango discreto o continuo di un'istanza di un oggetto, un compito fondamentale in applicazioni quali la stima dell'età facciale, la valutazione della qualità di immagini/video alla cieca e la valutazione dello stato di salute. A differenza della classificazione standard, la regressione ordinale richiede la modellazione dell'ordine inerente e delle distanze relative tra le etichette. Tuttavia, i metodi esistenti presentano limitazioni significative:

• Apprendimento dell'Ordine (Order Learning): Tecniche come il Geometric Order Learning (GOL) modellano esplicitamente l'ordinalità delle etichette, ma spesso si affidano a confronti a coppie locali basati su margini. Questi approcci tipicamente non generano alcun gradiente una volta che un margine è soddisfatto, fallendo nel sfruttare il contesto ordinale globale più ricco disponibile a livello di batch.
• Apprendimento Contrastivo (Contrastive Learning): Sebbene l'apprendimento contrastivo supervisionato sfrutti efficacemente tutti i campioni in un batch, esso tratta tipicamente le etichette come categoriche, ignorando l'ordine inerente. Estensioni come il Rank-N-Contrast (RnC) introducono coppie sensibili al rango, ma si affidano a soglie rigide, collassando le distanze ordinali in decisioni binarie (positivo/negativo) e trattando campioni con gap di rango moderati e sostanziali allo stesso modo come negativi.

Di conseguenza, vi è la necessità di un framework che catturi relazioni ordinali fini tra tutte le coppie di campioni mantenendo al contempo la coerenza globale nello spazio di embedding.

Metodologia: Contrastive Order Learning (ConOrd)

Gli autori propongono ConOrd, un framework che integra i punti di forza dell'apprendimento dell'ordine e dell'apprendimento contrastivo. L'innovazione principale è una perdita di ordine contrastiva ($L_{ConOrd}$) che assegna pesi morbidi (soft), sensibili al rango, a tutte le coppie di campioni all'interno di un batch, invece di fare affidamento su assegnazioni rigide di positivi/negativi.

Componenti Chiave:

1. Spazio di Embedding con Punti di Riferimento: Il framework impiega un encoder $h$ che mappa le istanze in vettori di caratteristiche su una sfera unitaria. Introduce $M$ punti di riferimento apprendibili $\{\mu_m\}$, dove ogni $\mu_m$ rappresenta un prototipo per il rango $m$.
2. Pesi di Affinità e Disparità (Soft Affinity and Disparity Weights): A differenza di RnC, che utilizza soglie rigide, ConOrd definisce pesi continui basati sulla differenza di rango $|r_i - r_j|$:
   • Peso di Affinità ($a_{ij}$): Diminuisce all'aumentare del gap di rango, promuovendo l'attrazione tra campioni con ranghi simili. È istanziato come $a_{ij} = \frac{1}{(r_i - r_j)^2 + \epsilon}$.
   • Peso di Disparità ($b_{ij}$): Aumenta all'aumentare del gap di rango, promuovendo la repulsione tra campioni con ranghi distanti. È istanziato come $b_{ij} = (r_i - r_j)^2$.
3. La Funzione di Perdita: La perdita è formulata come:
   $$L_{ConOrd} = -\frac{1}{2N} \sum_{i=1}^{2N} \frac{1}{|A(i)|} \log \frac{\sum_{j \in A(i)} a_{ij} e^{\kappa_{ij}/\tau}}{\sum_{j \in A(i)} b_{ij} e^{\kappa_{ij}/\tau}}$$
   dove $\kappa_{ij}$ è la similarità (distanza euclidea quadratica negativa) e $\tau$ è un parametro di temperatura. Questa formulazione assicura che:
   • Campioni con piccoli gap di rango siano attratti.
   • Campioni con grandi gap di rango siano respinti.
   • L'entità del gap di rango moduli la forza dell'attrazione o della repulsione, consentendo una supervisione ordinale fine.
4. Regolarizzazione: Una perdita di centro (center loss, $L_{center}$) viene aggiunta per incoraggiare cluster compatti attorno ai punti di riferimento $\mu_m$ per ogni rango.
5. Inferenza: La stima del rango viene eseguita utilizzando una regola del $k$-esimo vicino più prossimo ($k$-NN) nello spazio di embedding, mediando i ranghi dei $k$ vicini più prossimi di addestramento.

Contributi Chiave

1. Integrazione del Framework: Introduzione di ConOrd, un framework generale che unifica l'apprendimento dell'ordine e l'apprendimento contrastivo all'interno di una singola formulazione a livello di batch.
2. Design della Perdita Innovativo: Proposta di una perdita di ordine contrastiva che utilizza pesi di affinità e disparità morbidi basati sulle differenze di rango. Ciò consente a tutte le coppie di campioni in un batch di contribuire all'apprendimento, modulati dalle loro relazioni ordinali, evitando la perdita di informazioni inerente alla soglia rigida.
3. Prestazioni allo Stato dell'Arte: Dimostrazione che ConOrd raggiunge risultati allo stato dell'arte in diversi benchmark di regressione ordinale, inclusa la stima dell'età facciale, la valutazione della qualità delle immagini alla cieca (BIQA) e la valutazione della qualità dei video alla cieca (BVQA).

Risultati Sperimentali

Gli autori hanno valutato ConOrd su molteplici dataset e task:

• Stima dell'Età Facciale: Testato su sei dataset (MORPH II, CLAP2015, AgeDB-DIR, UTK, CACD, Adience). ConOrd ha ottenuto il miglior Errore Assoluto Medio (MAE) su tutti i dataset tranne CACD, superando solidi baseline come OrdinalCLIP e NumCLIP (che utilizzano la guida testuale) e SLACE (che utilizza l'informazione della distribuzione delle classi).
• Valutazione della Qualità delle Immagini alla Cieca (BIQA): Valutato su cinque dataset (BID, CLIVE, KonIQ10k, SPAQ, FLIVE). ConOrd ha superato i metodi esistenti sia nel Coefficiente di Correlazione di Grado di Spearman (SRCC) che nel Coefficiente di Correlazione Lineare di Pearson (PCC) su tutti i dataset, superando architetture complesse basate su Transformer e Mamba.
• Valutazione della Qualità dei Video alla Cieca (BVQA): Valutato su cinque benchmark (LSVQ, KoNViD-1k, LIVE-VQC, CVD2014, YouTube-UGC). ConOrd ha costantemente ottenuto i migliori punteggi SRCC e PCC, superando metodi che utilizzano molteplici reti backbone (es. ModularBVQA) pur utilizzando meno backbone.
• Studi di Ablazione:
  • I confronti con $L_{SupCon}$, $L_{RnC}$ e altre perdite contrastive hanno confermato che il confronto a coppie con pesatura morbida è superiore.
  • La combinazione di $L_{ConOrd}$ e $L_{center}$ ha prodotto i risultati migliori, con $L_{center}$ che fornisce compattezza intra-classe.
  • Le funzioni di pesatura quadratica proposte si sono dimostrate robuste ed efficaci rispetto ad altre forme funzionali.
  • Il metodo ha dimostrato resilienza alla riduzione dei dati di addestramento e alla corruzione dei dati.

Significato e Rivendicazioni

Il paper afferma che ConOrd fornisce una base flessibile per l'apprendimento della rappresentazione ordinale colmando il divario tra la coerenza globale dell'apprendimento contrastivo e la modellazione esplicita dell'ordine dell'apprendimento dell'ordine.

• Generalizzazione: Il framework è presentato come una soluzione generale applicabile a vari scenari di regressione ordinale, non limitata a un dominio specifico.
• Efficienza: Il metodo è computazionalmente efficiente, evitando la necessità di data augmentation e campionamento dinamico dei negativi richiesto da alcuni baseline, portando a tempi di addestramento più rapidi.
• Stabilità: Si afferma che il meccanismo di pesatura morbida fornisce un'ottimizzazione stabile, evitando l'instabilità del gradiente associata alle perdite logaritmiche naive o la perdita di informazioni delle soglie rigide.

Gli autori concludono che, incorporando l'attrazione e la repulsione sensibili al rango attraverso pesi morbidi, ConOrd consente a tutte le coppie di campioni di contribuire all'apprendimento in modo principato, risultando in modelli di regressione ordinale robusti e ad alte prestazioni.