PaAgent: Portrait-Aware Image Restoration Agent via Subjective-Objective Reinforcement Learning

1. Il Problema

Il campo del Restauro Immagini (Image Restoration - IR) mira a recuperare immagini di alta qualità da quelle degradate (da neve, rumore, foschia, pioggia, scarsa illuminazione, sfocatura, ecc.). Sebbene esistano metodi "All-in-One" (AiO) e metodi basati su agenti, questi presentano limitazioni critiche:

• Mancanza di sintesi delle interazioni passate: Gli agenti IR esistenti trattano ogni istanza di restauro in isolamento, senza sfruttare le intuizioni (insights) delle interazioni precedenti. Questo porta a una ricerca esaustiva degli strumenti di restauro, causando tentativi ridondanti, rollback frequenti e accumulo di errori.
• Percezione della degradazione ambigua: I metodi attuali si basano spesso su un singolo punteggio di qualità globale (derivato da metriche NR-IQA). Tuttavia, due immagini con lo stesso punteggio globale possono avere pattern di degradazione spaziale molto diversi (es. degradazione locale severa vs. degradazione globale lieve). Questa ambiguità porta a decisioni errate nello strumento di restauro da scegliere.
• Incapacità di gestire scenari complessi: La combinazione di più degradazioni (es. bassa luce + pioggia + sfocatura) richiede una pianificazione sequenziale dinamica che gli approcci a "passo singolo" o quelli rigidi non riescono a gestire efficacemente.

2. Metodologia Proposta: PaAgent

Gli autori propongono PaAgent, un agente di restauro immagini consapevole del ritratto (portrait-aware), che integra due innovazioni principali per superare i limiti sopra citati:

A. Banca dei Ritratti degli Strumenti (Tool Portrait Bank) e RAG

Per evitare la ricerca esaustiva, PaAgent utilizza un meccanismo di Retrieval-Augmented Generation (RAG) basato su una banca dati evolutiva:

• Struttura: La banca dati memorizza "triplette" di interazione storica: (1) informazioni sulla degradazione, (2) strumento di restauro applicato, (3) valutazione soggettiva della qualità del risultato.
• Funzionamento: Quando arriva una nuova immagine degradata, l'agente codifica la richiesta e cerca nella banca dati (tramite similarità semantica) le interazioni passate più rilevanti.
• Evoluzione: Dopo ogni task, le nuove triplette (immagine degradata, immagine restaurata, strumento scelto) vengono elaborate da un LLM (Qwen3.5-Plus) per sintetizzare nuove intuizioni e aggiornare dinamicamente la banca dati, permettendo all'agente di "imparare" e migliorare nel tempo.

B. Strategia di Apprendimento per Rinforzo Soggettivo-Oggettivo (SORL)

Per affinare la percezione della degradazione, viene introdotta una strategia di RL che combina metriche oggettive e intuizioni semantiche soggettive:

• Generatore di Ricompensa: Utilizza un Modello Linguistico Multimodale (MLLM) per analizzare semanticamente le immagini (degradata, strumento scelto, risultato) e combinarle con punteggi di qualità oggettivi (da metriche NR-IQA come CLIP-IQA, NIQE, BRISQUE, ecc.).
• Algoritmo GRPO: Viene impiegato l'algoritmo Group Relative Policy Optimization (GRPO). Invece di usare un valore assoluto, l'algoritmo confronta un gruppo di traiettorie di restauro generate dall'agente. Calcola i vantaggi relativi (relative advantages) all'interno del gruppo per aggiornare la politica dell'agente (Qwen3.5-9B).
• Obiettivo: Questo approccio permette all'agente di comprendere non solo la qualità globale, ma anche le caratteristiche semantiche delle degradazioni locali, guidando la selezione dello strumento e la pianificazione dei task in modo più preciso.

C. Workflow Esecutivo

Il processo segue un ciclo iterativo di Percezione -> Pianificazione -> Esecuzione -> Riflessione:

1. Percezione: Analisi dell'immagine degradata e calcolo dei punteggi di qualità.
2. Pianificazione: Recupero di intuizioni dalla banca dati tramite RAG per selezionare il prossimo task.
3. Esecuzione: Applicazione dello strumento di restauro scelto.
4. Riflessione: Valutazione del risultato. Se insoddisfacente, il ciclo riparte; se soddisfacente, il task termina. Questo meccanismo multi-step evita la terminazione prematura.

3. Contributi Chiave

1. Primo agente IR con meccanismo di sintesi delle intuizioni: PaAgent è il primo lavoro che utilizza un meccanismo di "portrait bank" per richiamare intuizioni storiche, evitando tentativi ridondanti di strumenti di restauro.
2. Strategia SORL: Una nuova strategia di apprendimento che integra punteggi di qualità oggettivi e intuizioni semantiche soggettive, permettendo una percezione fine-granularità delle degradazioni complesse.
3. Prestazioni Superiori: Dimostrazione sperimentale che il metodo supera gli approcci esistenti (sia AiO che altri agenti) in termini di qualità visiva e metriche quantitative su scenari complessi.

4. Risultati Sperimentali

Gli autori hanno condotto esperimenti su 8 benchmark (coprendo 6 scenari a singola degradazione e 8 a degradazione mista), tra cui CDD-11, LOL-V1, GoPro, Rain13K, SOTS, ecc.

• Metriche Quantitative: PaAgent ha ottenuto i punteggi più alti (PSNR e SSIM) nella maggior parte dei task, inclusi desnowing, denoising, dehazing, deraining, low-light enhancement e deblurring. Ad esempio, nel task di desnowing su CSD, ha raggiunto un PSNR di 37.95, superando di gran lunga il secondo miglior metodo (34.06).
• Valutazione Qualitativa: Le immagini restaurate mostrano dettagli strutturali più nitidi, meno artefatti e una migliore fedeltà cromatica rispetto ai metodi concorrenti, specialmente in scenari di degradazione composita (es. pioggia + foschia + scarsa luce).
• Studi di Ablazione:
  • La rimozione della Tool Portrait Bank (sostituita con selezione casuale o manuale) ha causato un crollo delle prestazioni.
  • La rimozione della strategia SORL (usando solo SFT) ha portato a risultati visivamente meno naturali e con bias di colore.
  • La rimozione del contesto di input (punteggi NR-IQA e storia dei task eseguiti) ha portato a errori di pianificazione (es. scegliere denoising invece di deraining).
  • Il meccanismo multi-step decision si è rivelato cruciale: la versione a "passo singolo" (OSD) fallisce spesso perché non adatta la sequenza in base ai risultati intermedi, portando a restauri incompleti.

5. Significato e Impatto

Questo lavoro rappresenta un passo significativo verso l'automazione intelligente del restauro immagini.

• Superamento del "Trial-and-Error": Introducendo la banca dei ritratti, PaAgent trasforma il processo da una ricerca esaustiva a una decisione informata basata sulla conoscenza accumulata.
• Percezione Umano-Simile: La strategia SORL colma il divario tra metriche matematiche e preferenze visive umane, permettendo all'agente di gestire degradazioni non uniformi e complesse che i metodi tradizionali non riescono a risolvere.
• Scalabilità: L'architettura modulare e l'uso di RAG permettono al sistema di scalare e adattarsi a nuovi strumenti di restauro o scenari di degradazione senza riaddestramento massivo, semplicemente aggiornando la banca dati delle intuizioni.

In sintesi, PaAgent stabilisce un nuovo paradigma per gli agenti di restauro immagini, combinando la potenza dei Large Language Models con una memoria evolutiva e un apprendimento per rinforzo ibrido per gestire la complessità del mondo reale.