PaAgent: Portrait-Aware Image Restoration Agent via Subjective-Objective Reinforcement Learning

Probleemstelling

Bestaande methoden voor beeldherstel (Image Restoration - IR) kampen met twee fundamentele beperkingen wanneer ze worden toegepast op complexe, real-world scenario's:

1. Gebrek aan inzicht uit het verleden: Huidige agent-gebaseerde IR-methoden missen een mechanisme om eerdere interacties te samenvatten. Hierdoor voeren ze vaak een uitputtend zoeken (exhaustive search) uit naar het juiste herstelgereedschap, wat leidt tot onnodige pogingen, terugrollen (rollbacks) en foutopbouw in de uitvoeringsketen.
2. Onvoldoende degradatieperceptie: Bestaande methoden vertrouwen vaak op één enkele objectieve kwaliteitscore (bijv. een aggregatie van NR-IQA-metrics). Dit is onvoldoende om de ruimtelijke verdeling van degradaties te begrijpen. Twee afbeeldingen kunnen een vergelijkbare totale score hebben, maar één kan zware lokale degradaties hebben terwijl de ander een lichte globale waas heeft. Deze ambiguïteit leidt tot verkeerde beslissingen door de agent.

Methodologie

De auteurs stellen PaAgent voor, een portretbewuste (portrait-aware) IR-agent die gebruikmaakt van twee kerninnovaties: een Tool Portrait Bank en een Subjective-Objective Reinforcement Learning (SORL) strategie.

1. Architectuur en Tool Portrait Bank

PaAgent gebruikt een Retrieval-Augmented Generation (RAG) framework om het juiste herstelgereedschap te selecteren op basis van historische inzichten.

• Tool Portrait Bank: Dit is een dynamische kennisbank die interactie-inzichten opslaan als tripletten: (degradatie-informatie, toegepast herstelgereedschap, subjectieve evaluatie van de kwaliteit). De bank bevat momenteel inzichten over 14 hersteltools en 14 degradatiescenario's.
• RAG-proces: Wanneer een afbeelding wordt verwerkt, encodeert de agent de degradatie-informatie en zoekt deze in de vectordatabase van de Portrait Bank. De meest relevante "chunks" (historische inzichten) worden opgehaald en gebruikt als context voor een Large Language Model (LLM, specifiek Qwen3.5-Plus) om het optimale gereedschap te kiezen.
• Zelf-evolutie: Na elke restauratie taak wordt het resultaat (degradatie, tool, hersteld beeld) verwerkt door het LLM om een nieuw inzicht te genereren en de bank te verrijken.

2. Subjective-Objective Reinforcement Learning (SORL)

Om de perceptie van degradatie te verbeteren, introduceren de auteurs een SORL-strategie die gebruikmaakt van het Group Relative Policy Optimization (GRPO) algoritme.

• Dual-perspectief beloning: In plaats van alleen te vertrouwen op numerieke scores, combineert de beloningsgenerator (een MLLM) twee bronnen:
  • Objectief: Scores van No-Reference Image Quality Assessment (NR-IQA) metrics (zoals CLIP-IQA, NIQE, BRISQUE, etc.).
  • Subjectief: Semantische inzichten en visuele voorkeuren gegenereerd door het MLLM.
• Policy Update: Het GRPO-algoritme vergelijkt een groep van $n$ mogelijke uitvoeringen binnen één batch. Het berekent een genormaliseerd voordeel (advantage) op basis van de gemiddelde beloning van de groep. Dit stelt de agent in staat om zijn beleid (keuze van de volgende taak en degradatie-informatie) te verfijnen door te leren van subtiele verschillen in kwaliteit en semantiek, zonder een complexe waarde-netwerk te vereisen.

Belangrijkste Bijdragen

1. Eerste inzichts-gedreven agent: PaAgent is het eerste werk dat beeldherstel aanpakt met een agent die een mechanisme voor het samenvatten van inzichten gebruikt. Door RAG te gebruiken, vermeden onnodige tool-pogingen en wordt de schaalbaarheid behouden.
2. SORL-strategie: Een nieuwe leerstrategie die de perceptie van degradatie scherper maakt door zowel objectieve scores als semantisch inzicht te integreren. Dit stelt de agent in staat om lokale versus globale degradaties te onderscheiden en nauwkeurige beslissingen te nemen.
3. Uitgebreide validatie: De methode is getest op 8 benchmarks met 6 enkelvoudige en 8 gemengde degradatiescenario's, waarbij PaAgent consistent beter presteert dan bestaande "All-in-One" en andere agent-gebaseerde methoden.

Resultaten

De auteurs hebben uitgebreide experimenten uitgevoerd op diverse datasets (o.a. CDD-11, GoPro, LOL-V1, SOTS, Rain13K).

• Kwantitatieve prestaties: PaAgent behaalde de hoogste PSNR en SSIM-scores in vergelijking met 11 concurrenten (waaronder PromptIR, GridFormer, RAM, en AgenticIR). Bijvoorbeeld, bij het verwijderen van sneeuw (CSD dataset) behaalde PaAgent een PSNR van 37.95 dB, significant hoger dan de volgende beste methode (34.06 dB).
• Kwalitatieve prestaties: Visuele vergelijkingen tonen aan dat PaAgent beter in staat is om fijne textuurdetails te behouden (zoals dierenharen, architectonische details) en artefacten te onderdrukken in complexe scenario's (bijv. gelijktijdige regen, mist en lage belichting).
• Ablatiestudies:
  • Zonder de Portrait Bank (willekeurige selectie) presteert het systeem slecht.
  • Zonder de SORL-strategie (alleen SFT) mist het systeem fijne kleurcorrecties en veroorzaakt het oververvaging.
  • Zonder de volledige input-context (NR-IQA scores en geschiedenis) maakt de agent fundamentele fouten in het herkennen van degradatietypes (bijv. regen verwarren met ruis).
  • Het meervoudige besluitvormingsmechanisme (multi-step) bleek cruciaal voor complexe degradaties, omdat het toelaat om dynamisch extra stappen toe te voegen als de eerste poging onvoldoende was, in tegenstelling tot vaste "one-step" benaderingen.

Betekenis

PaAgent vertegenwoordigt een paradigmaverschuiving in beeldherstel. Het beweegt weg van statische, één-model-oplossingen en rigide agent-workflows naar een adaptief, zelflerend systeem. Door de combinatie van een dynamische kennisbank (Portrait Bank) en een geavanceerde beloningsfunctie (SORL), kan PaAgent complexe, real-world degradaties aanpakken met een menselijke mate van nuance en precisie. Dit maakt het systeem robuuster voor toepassingen waar de degradatiepatronen variabel en onvoorspelbaar zijn, zoals in autonoom rijden of medische beeldvorming.