PreResQ-R1: Response-Preference Disentangled Ranking-and-Scoring Reinforcement Optimization for Robust Visual Quality Assessment

Quando guardiamo una fotografia o un video, il nostro cervello giudica istantaneamente la sua qualità. Notiamo se i colori sono spenti, se i bordi sono sfocati o se l'immagine appare granulosa. Questo giudizio istintivo è ciò che i ricercatori chiamano valutazione della qualità visiva. Per decenni, i computer hanno faticato a replicare questa capacità umana. I primi tentativi si basavano su rigide formule matematiche che misuravano gli errori dei pixel, ma questi spesso non riuscivano a corrispondere a come le persone percepiscono effettivamente la bellezza e la chiarezza. Più recentemente, potenti modelli di intelligenza artificiale noti come grandi modelli multimodali sono stati addestrati per guardare le immagini e descriverle. Tuttavia, quando a questi modelli viene chiesto di assegnare un punteggio di qualità specifico, spesso diventano incoerenti. Se si chiede allo stesso modello di valutare la stessa immagine due volte, potrebbe fornire due numeri molto diversi, oppure il suo ragionamento potrebbe contraddire il suo punteggio finale. Questa instabilità rende difficile fidarsi di questi sistemi per applicazioni nel mondo reale, dal miglioramento delle fotocamere degli smartphone all'assicurazione della qualità dei video in streaming.

Un team di ricercatori della Shanghai Jiao Tong University ha sviluppato un nuovo approccio per risolvere questo problema, creando un sistema che chiamano PreResQ-R1. Invece di costringere l'intelligenza artificiale a indovinare semplicemente un numero o a seguire ciecamente una classifica, hanno insegnato al modello a separare due compiti distinti: stabilizzare il proprio ragionamento e allineare le proprie preferenze al giudizio umano. I ricercatori hanno scoperto che l'instabilità nei sistemi precedenti derivava dalla tendenza del modello a generare spiegazioni drasticamente diverse per la stessa immagine. Per risolvere questo problema, hanno progettato un processo di addestramento che premia il modello per essere coerente nella propria logica interna, assicurando al contamente che i suoi punteggi finali corrispondano a ciò che un essere umano direbbe probabilmente. Il sistema scompone la valutazione di un'immagine in cinque parti specifiche: quanto siano vivaci i colori, quanta grana o rumore sia visibile, quanto siano nitidi i dettagli, quanto sia chiaro il soggetto principale e quanto sia chiaro lo sfondo. Valutando questi cinque aspetti individualmente prima di combinarli, il modello impara a costruire un'immagine della qualità più affidabile e dettagliata.

I ricercatori hanno testato questo nuovo metodo su una vasta gamma di immagini e video, inclusi quelli con distorsioni naturali come la sfocatura o la scarsa illuminazione, nonché quelli creati da altri strumenti di intelligenza artificiale. Hanno scoperto che il loro sistema supera significativamente i metodi esistenti. Nei test riguardanti le immagini statiche, il nuovo modello ha migliorato l'accuratezza del 5,60 percento rispetto ai migliori approcci precedenti. Per la qualità dei video, dove la sfida è ancora maggiore perché il sistema deve giudicare il movimento e il tempo, l'accuratezza è migliorata del 2,53 percento. Fondamentalmente, il modello non ha prodotto solo numeri migliori; ha prodotto spiegazioni migliori. Mostrando una foto sfocata di un paesaggio, il modello ha identificato correttamente che le foglie erano fuori fuoco e che lo sfondo mancava di dettaglio, invece di dare un commento vago sul fatto che l'immagine fosse "brutta". Questa capacità di fornire una ragione strutturata e basata su prove per il proprio punteggio rende il sistema molto più affidabile.

Il successo di questo lavoro si basa su una strategia di addestramento a due fasi che imita un processo di apprendimento. In primo luogo, il modello è incoraggiato a esplorare molti modi diversi di guardare un'immagine, generando una vasta gamma di possibili punteggi e ragioni. Durante questa fase, il sistema penalizza le risposte troppo disperse o incoerenti, guidando delicatamente il modello verso un modo di pensare stabile. Una volta che il modello ha trovato un ritmo interno affidabile, la seconda fase si concentra sull'affinamento delle sue preferenze. Qui, il sistema confronta i suoi giudizi con le valutazioni umane, imparando ad aggiustare i suoi punteggi in modo che si allineino alla percezione umana. Questa separazione tra "pensare chiaramente" e "assegnare il punteggio correttamente" permette al modello di gestire casi difficili in cui la qualità dell'immagine è soggettiva o le distorsioni sono complesse. I ricercatori hanno esteso questo metodo anche al video analizzando sia il flusso del movimento nel tempo che i dettagli all'interno dei singoli fotogrammi, senza la necessità di ricostruire ogni singolo movimento nel video.

Le implicazioni di questa ricerca vanno oltre il semplice ottenimento di un punteggio migliore. Creando un sistema in grado di spiegare il proprio ragionamento in un modo che corrisponda alla percezione umana, questa tecnologia apre la porta ad applicazioni più robuste nel digitale media. Suggerisce che la chiave per far comprendere la qualità visiva all'intelligenza artificiale non sia solo nutrirla con più dati, ma insegnarle a essere coerente nel proprio ragionamento prima di chiederle di emettere un giudizio finale. Lo studio dimostra che quando un modello viene addestrato a stabilizzare la propria logica interna e poi ad allineare tale logica con la preferenza umana, può raggiungere un livello di affidabilità che prima era fuori portata. Questo approccio offre una strada promettente per lo sviluppo di strumenti che possano migliorare automaticamente le immagini, curare i contenuti video e garantire che ciò che vediamo sui nostri schermi rifletta veramente la qualità che ci aspettiamo.