RetouchIQ: MLLM Agents for Instruction-Based Image Retouching with Generalist Reward

RetouchIQ is een framework dat multimodale grote taalmodellen (MLLMs) gebruikt voor instructiegebaseerde beeldretouchage, waarbij een versterkt leerproces met een algemene beloningsmodel de subjectieve kwaliteit van creatieve bewerkingen optimaliseert en zo superieure resultaten oplevert ten opzichte van bestaande systemen.

De kern

Stel je voor dat je een prachtige foto hebt gemaakt, maar je wilt dat het eruitziet als een droomlandschap, of juist als een oude, nostalgische herinnering. Vroeger moest je daarvoor zelf een dure software zoals Photoshop of Lightroom openen en als een chirurg met tientallen schuifbalkjes (helderheid, contrast, kleurtemperatuur) gaan sleutelen. Dat is voor de meeste mensen te moeilijk en te tijdrovend.

Deze paper introduceert RETOUCHIQ, een slimme digitale assistent die dat moeilijke werk voor je doet, maar dan op een heel speciale manier. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Probleem: "Maak het mooier" is te vaag

Stel je voor dat je tegen een kunstenaar zegt: "Maak dit schilderij een beetje warmer."

• De oude manier (AI die alleen kijkt): De computer denkt: "Oké, ik ga alle pixels die 'warm' zijn, 10% roder maken." Dat werkt vaak niet goed, want de computer snapt niet waarom je het warmer wilt. Het resultaat kan er raar uitzien.
• Het probleem met beloningen: In de wereld van AI leren we modellen vaak door ze te straffen of te belonen. Als je een foto bewerkt, hoe weet de computer dan of het resultaat "goed" is? Meestal vergelijkt de computer je resultaat met een perfecte voorbeeldfoto. Maar in kunst is er geen één perfecte foto. Jij wilt misschien een "dromerige" sfeer, terwijl de computer een "scharpe" foto als voorbeeld heeft. De computer denkt dan dat jouw mooie, dromerige foto fout is, omdat hij niet op het voorbeeld lijkt.

2. De Oplossing: Een Slimme Chef-Kok met een Proefneus

RETOUCHIQ is als een meester-chef-kok die niet alleen kookt, maar ook weet waarom je een gerecht wilt.

• De Agent (De Chef): In plaats van alleen een foto te maken, denkt RETOUCHIQ eerst na. Als jij zegt: "Geef deze foto een warme, vintage sfeer," denkt de chef: "Ah, ik moet de schaduwen zachter maken, de kleuren goudgeel tinten en de scherpte iets verlagen." Hij schrijft dit op en voert het uit in de professionele software (zoals Lightroom), precies zoals een mens dat zou doen.
• De Generalist Reward Model (De Proefneus): Dit is het echte genie van het systeem. In plaats van te kijken of de foto op een voorbeeld lijkt, heeft RETOUCHIQ een slimme proefneus (een AI die ook kan zien en begrijpen).
  • Deze proefneus kijkt naar jouw foto en vraagt zich af: "Wat maakt deze foto goed?"
  • Hij bedenkt zijn eigen criteria: "Is de sfeer warm? Is het contrast goed? Zien de bloemen er levendig uit?"
  • Hij geeft een cijfer op basis van die eigen criteria, niet op basis van een starre regel. Het is alsof een foodcritic een gerecht beoordeelt op smaak en presentatie, in plaats van alleen op of het op de foto op het menukaartje lijkt.

3. De Leertruc: PGRT (De "Spiegel" Methode)

Er was nog een klein probleem. De "proefneus" leerde eerst op basis van simpele, kunstmatige fouten (alsof iemand per ongeluk de knop 'helderheid' een beetje te hard had gedraaid). Maar de echte chef (de AI die de foto's maakt) maakt soms complexe, samengestelde bewerkingen. De proefneus kon die complexe resultaten dan niet goed beoordelen.

De auteurs bedachten een slimme truc, genaamd PGRT:

• Stel je voor dat de proefneus eerst oefent met simpele fouten.
• Dan laat je de chef (de AI) zijn eigen werk maken.
• De proefneus kijkt nu naar het werk van de chef en zegt: "Oké, dit is een complexe bewerking. Laten we kijken of dit beter is dan een slechte versie."
• Door de proefneus te laten oefenen met de echte werkstukken van de chef, leren ze perfect samen te werken. De proefneus wordt beter in het beoordelen van de chef, en de chef wordt beter in het maken van foto's omdat hij betere feedback krijgt.

Waarom is dit belangrijk?

Vroeger waren AI-foto-apps vaak als een "zwarte doos": je gaf een opdracht, en er kwam een foto uit, maar je wist niet hoe het was gedaan en het zag er vaak onnatuurlijk uit.

RETOUCHIQ is anders:

1. Het denkt mee: Het legt uit waarom het bepaalde instellingen kiest.
2. Het gebruikt echte tools: Het werkt met de professionele software die fotografen al gebruiken, dus het resultaat is van hoge kwaliteit.
3. Het begrijpt gevoel: Dankzij de "proefneus" begrijpt het wat je bedoelt met "episch", "nostalgisch" of "levendig", en niet alleen wat er op de pixels staat.

Kortom: RETOUCHIQ is de eerste AI-assistent die niet alleen "knijpt en duwt", maar echt begrijpt wat een kunstenaar wil, en dat dan op een professionele manier uitvoert.

Technische samenvatting

1. Het Probleem

De recente vooruitgang in Multimodale Grootte Taalmodellen (MLLM's) heeft de weg vrijgemaakt voor agents die externe tools kunnen gebruiken, zoals professionele fotobewerkingssoftware (bijv. Adobe Lightroom). Echter, het toepassen van deze technologie op instruction-based image retouching (afbeelding retoucheren op basis van instructies) stuit op fundamentele problemen:

• Subjectiviteit van esthetiek: In tegenstelling tot objectieve taken (zoals wiskunde of coderen), is fotobewerking inherent subjectief. Voor dezelfde instructie (bijv. "maak het sfeervol") kunnen er meerdere geldige, maar verschillende resultaten zijn.
• Gebrek aan betrouwbare beloningssignalen: Bestaande methoden gebruiken vaak regelgebaseerde beloningen (rewards) die de gesynthetiseerde afbeelding vergelijken met een vaste "ground truth" referentie (bijv. pixelverschil). Omdat er geen enkele juiste uitkomst is, falen deze methoden: een goede bewerking die verschilt van de referentie krijgt een lage score, terwijl een slechte bewerking die toevallig op de referentie lijkt, een hoge score kan krijgen.
• Distributieverschuiving: Bestaande trainingstechnieken gebruiken vaak kunstmatig verstoord ("perturbed") data om zwakke voorbeelden te genereren. Dit leidt tot een distributieverschuiving ten opzichte van de complexe, gecombineerde bewerkingen die een echte policy-agent zou genereren, waardoor de beloningsmodellen in de praktijk minder goed presteren.

2. Methodologie: RETOUCHIQ

RETOUCHIQ is een framework dat een MLLM-agent gebruikt om natuurlijke taal-instructies om te zetten in uitvoerbare, parameter-gestuurde bewerkingen in professionele software. Het systeem bestaat uit drie hoofdfasen:

A. Architectuur en Data-voorbereiding

• Policy Model: Een MLLM die twee output genereert:
  1. Een redeneringstrace (uitleg over de esthetische intentie).
  2. Een reeks parameterbewerkingen (bijv. Exposure: +0.9, Temperature: 5695) die direct in software zoals Lightroom kunnen worden uitgevoerd.
• Data Collectie: In plaats van synthetische presets te gebruiken, verzamelt het team data van echte gebruikersbewerkingen (voor-en-na afbeeldingen met bijbehorende parameters). Een MLLM-annotator genereert vervolgens de ontbrekende instructies en redeneringen voor deze data.

B. Generalist Reward Model (GRM)

Om het probleem van de subjectiviteit op te lossen, introduceert RETOUCHIQ een Generalist Reward Model. In plaats van een vaste regel te volgen, doet dit model het volgende:

1. Het analyseert de instructie en de afbeelding.
2. Het genereert dynamisch een reeks evaluatiemetrics (bijv. "scherpte randen", "geen kleurverschuiving", "autumnsfeer") die specifiek zijn voor die casus.
3. Het geeft een scalar reward (een cijfer) op basis van deze gegenereerde metrics.
   Dit maakt de beloning flexibel en contextbewust, in plaats van star.

C. Policy-Guided Reward Training (PGRT)

Dit is een kerninnovatie van het paper. Traditioneel wordt het beloningsmodel getraind met kunstmatig verstoord data. RETOUCHIQ introduceert echter een alternatieve trainingstrategie:

• Het beloningsmodel wordt getraind op data die gegenereerd wordt door de policy model zelf (in plaats van alleen door een perturber).
• Hierdoor wordt de verdeling van de data in het beloningsmodel afgestemd op de verdeling van de policy. Dit lost het probleem van distributieverschuiving op en zorgt voor stabielere en sterkere leerresultaten.
• Het proces verloopt via een wisselende training (alternating training): de policy en het reward model worden om de beurt geoptimaliseerd.

3. Belangrijkste Bijdragen

1. RETOUCHIQ Framework: Het eerste framework dat de subjectiviteit van fotobewerking aanpakt door een Generalist Reward Model te gebruiken, wat flexibele, contextbewuste supervisie biedt boven traditionele, verifieerbare rewards.
2. PGRT (Policy-Guided Reward Training): Een nieuwe RL-paradigma die signalen van de policy zelf gebruikt om de schatting van de beloning te verfijnen. Dit zorgt voor een betere afstemming tussen de evaluatie en de daadwerkelijke output van de agent.
3. Nieuw Benchmark en Dataset: De auteurs hebben een uitgebreide dataset van 190.000 instructie-resonantieparen gecureerd en een nieuwe benchmark (RETOUCHEVAL) geïntroduceerd specifiek voor instruction-based image editing met professionele tools.

4. Resultaten

Experimenten tonen aan dat RETOUCHIQ aanzienlijk beter presteert dan bestaande methoden (inclusief generieke MLLM's zoals GPT-5/Gemini, andere agents zoals JarvisArt/MonetGPT, en diffusion-based modellen zoals Flux-Pro).

• Semantische consistentie: RETOUCHIQ volgt de instructies nauwkeuriger zonder de originele inhoud van de afbeelding onnodig te vervormen (een veelvoorkomend probleem bij diffusion-modellen).
• Perceptuele kwaliteit: De afbeeldingen hebben een hogere esthetische kwaliteit en lijken meer op professionele bewerkingen.
• Ablatie Studies: De resultaten bevestigen dat het gebruik van de Generalist Reward Model (GRM) en PGRT cruciaal is. Modellen getraind met PGRT presteren significant beter in zowel de nauwkeurigheid van het reward model als de uiteindelijke kwaliteit van de bewerkingen, vergeleken met modellen die alleen op verstoord data zijn getraind.

5. Betekenis en Impact

RETOUCHIQ markeert een belangrijke stap in de evolutie van AI-gestuurde creatieve tools.

• Van Black-box naar Transparant: In tegenstelling tot diffusion-modellen die "zwarte dozen" zijn, biedt RETOUCHIQ een transparant proces met uitlegbare redeneringen en controleerbare parameters.
• Professionele Toepasbaarheid: Het sluit de kloof tussen natuurlijke taal en professionele software, waardoor zowel amateurs als professionals intuïtief complexe bewerkingen kunnen uitvoeren zonder diepgaande technische kennis van de software zelf.
• Nieuwe RL-richting: De introductie van een generalist reward model voor subjectieve taken biedt een blauwdruk voor het toepassen van Reinforcement Learning in andere creatieve domeinen waar "het juiste antwoord" niet eenduidig is.

Kortom, RETOUCHIQ bewijst dat MLLM-agents, geleid door slimme, contextuele beloningsmodellen, superieure resultaten kunnen behalen in complexe, subjectieve taken zoals fotobewerking.