ELIQ: A Label-Free Framework for Quality Assessment of Evolving AI-Generated Images

1. Enunciato del Problema

La rapida evoluzione dei modelli generativi da testo a immagine (T2I) ha creato una "deriva percettiva" in cui il limite qualitativo dei contenuti generati dall'intelligenza artificiale (AIGC) si sposta continuamente. I metodi tradizionali di Valutazione della Qualità delle Immagini (IQA) si basano su Punteggi Medi di Opinione (MOS) derivati da annotazioni umane. Tuttavia, questo approccio presenta due limitazioni critiche nel contesto degli AIGC in evoluzione:

• Obsolescenza: Le etichette MOS raccolte per modelli più vecchi (ad esempio, pre-2023) diventano inaffidabili per le generazioni più recenti (ad esempio, 2025) perché gli artefatti cambiano e gli standard percettivi si spostano.
• Scalabilità: Mantenere una supervisione valida richiede una riannotazione frequente e massiccia (milioni di valutazioni), che è costosa e insostenibile.

I metodi esistenti senza etichette o privi di etichette si basano spesso su statistiche di basso livello o statistiche delle scene naturali (NSS), fallendo nel catturare modelli di fallimento specifici degli AIGC (ad esempio, disallineamento prompt-immagine, allucinazioni semantiche) e l'interazione complessa tra fedeltà visiva e adesione al prompt.

2. Metodologia: Il Framework ELIQ

ELIQ (IQA senza etichette evolutiva) propone un framework che disaccoppia la valutazione della qualità dalle scale MOS fisse utilizzando supervisione relativa costruita automaticamente. Il framework opera in due fasi principali:

A. Costruzione della Supervisione Senza Etichette

Invece di valutazioni umane, ELIQ genera i propri dati di addestramento creando coppie positive e negative specifiche per aspetto:

1. Selezione del Prompt: Vengono curati 400 prompt diversificati in 7 categorie semantiche (ad esempio, Urbano, Naturale, Persone).
2. Generazione del Campione Positivo: Immagini di alta qualità ($I^+$) sono generate utilizzando tre modelli T2I all'avanguardia (Qwen-Image, FLUX.1-dev, Stable Diffusion 3.5).
3. Generazione del Campione Negativo: Vengono sintetizzati negativi diversificati per coprire sia distorsioni convenzionali che fallimenti specifici degli AIGC in tre dimensioni:
   • Qualità Tecnica ($I^-_{tec}$): Simulata tramite compressione JPEG, rumore gaussiano o decodifica prematura della diffusione.
   • Qualità Estetica ($I^-_{aes}$): Generata tramite editing controllato immagine-immagine (degradazione composizione/colore) o modelli T2I di bassa qualità.
   • Qualità di Allineamento ($p^-_{ali}$): Creata mescolando coppie immagine-prompt o modificando i prompt per indurre disallineamenti semantici.

B. Pipeline di Addestramento del Modello

ELIQ adatta un Modello Linguistico Multimodale Pre-addestrato (MLLM) in un critico consapevole della qualità attraverso un processo in due passaggi:

1. Instruction Tuning Consapevole della Qualità:

   • L'MLLM viene affinato per agire come una spina dorsale consapevole degli aspetti.
   • Riceve istruzioni specifiche (ad esempio, "Valuta la Qualità Tecnica") ed emette etichette discrete ("Alta" o "Bassa") basate sulle coppie positive/negative costruite.
   • Questo passaggio crea una spina dorsale congelata ($MLLM_{\theta^*}$) capace di ragionare sugli aspetti tecnici, estetici e di allineamento senza punteggi umani.

2. Modulo di Punteggio Leggero (QQT):

   • Rappresentazione di Allineamento Visivo con Cancellazione: Il sistema estrae embedding per le qualità tecnica ($z_{tec}$) ed estetica ($z_{aes}$). Questi vengono fusi utilizzando meccanismi di cancellazione (cancelli apprendibili modulano il contributo di ciascun ramo) per creare un embedding visivo unificato ($z_{vis}$).
   • Quality Query Transformer (QQT): Un encoder Transformer leggero prende gli embedding visivi e di allineamento concatenati ($z_{va}$) insieme a due token di query apprendibili ($q_{vis}, q_{ali}$).
   • Obiettivo di Addestramento: Il modello viene addestrato utilizzando funzioni di perdita di ranking a coppie (basate sul margine) per garantire che il campione positivo ottenga un punteggio più alto dei suoi negativi corrispondenti. Non viene eseguita alcuna regressione verso valori MOS assoluti durante l'addestramento.

3. Contributi Chiave

• Framework Senza Etichette: ELIQ è il primo framework a sostituire la supervisione MOS assoluta con confronti relativi specifici per aspetto costruiti automaticamente, abilitando una valutazione scalabile per modelli in evoluzione.
• Modellazione a Doppia Dimensione: Modella congiuntamente la Qualità Visiva (tecnica + estetica) e l'Allineamento Prompt-Immagine, affrontando i modelli di fallimento unici degli AIGC che l'IQA tradizionale trascura.
• Generalizzazione: Il framework si generalizza senza soluzione di continuità dagli AIGC ai Contenuti Generati dagli Utenti (UGC) senza cambiamenti architetturali, dimostrando la sua robustezza attraverso diverse distribuzioni di dati.
• Efficienza: Utilizzando instruction tuning e un testa di punteggio leggera, evita la necessità di enormi dataset di annotazione umana, superando allo stesso tempo i metodi senza etichette esistenti.

4. Risultati Sperimentali

Gli autori hanno valutato ELIQ su tre benchmark AIGC (AGIQA-3K, AIGCIQA2023, AIGIQA-20K) e due benchmark UGC (KonIQ-10k, SPAQ).

• Prestazioni sulla Qualità Visiva:
  • Impostazione Senza Etichette: ELIQ ha superato significativamente tutti i baseline senza etichette esistenti (ad esempio, NIQE, CLIP-IQA, QualiCLIP). Ad esempio, su AGIQA-3K, ha raggiunto un SRCC di 0.801 rispetto al metodo senza etichette successivo migliore (DUBMA) a 0.684.
  • Impostazione a Supervisione Debole: Quando affinato con solo il 20-30% dei dati MOS, ELIQ ha raggiunto prestazioni all'avanguardia, eguagliando o superando i baseline completamente supervisionati (ad esempio, SRCC 0.876 su AGIQA-3K contro 0.893 per MA-AGIQA).
• Prestazioni sulla Qualità di Allineamento:
  • Nell'impostazione senza etichette, ELIQ ha raggiunto un SRCC di 0.717 su AGIQA-3K, superando sostanzialmente altre metriche di allineamento senza etichette (ad esempio, CLIP-IQA+ a 0.501).
• Studi di Ablazione:
  • Hanno confermato che combinare degradazioni Convenzionali e Specifiche dell'AI produce i migliori risultati.
  • Hanno dimostrato che modellare tutti e tre gli aspetti (Tecnico, Estetico, Allineamento) è necessario; utilizzare un solo aspetto degrada le prestazioni in altre dimensioni.

5. Significato

ELIQ affronta un collo di bottiglia critico nell'ecosistema dell'intelligenza artificiale generativa: l'incapacità di valutare la qualità man mano che i modelli evolvono. Spostandosi da una supervisione statica ancorata all'uomo a una supervisione relativa dinamica guidata dal modello, ELIQ offre una via sostenibile per la valutazione della qualità.

• Scalabilità: Elimina la necessità di riannotazione umana continua e costosa man mano che vengono rilasciati nuovi modelli.
• Adattabilità: Il framework può essere aggiornato periodicamente rigenerando coppie positive/negative con nuovi modelli, assicurando che la metrica di valutazione rimanga pertinente.
• Praticità: Fornisce un'alternativa affidabile e a basso costo per sviluppatori e ricercatori per valutare i nuovi modelli generativi e monitorare la deriva della qualità nelle applicazioni reali.