When Rubrics Fail: Error Enumeration as Reward in Reference-Free RL Post-Training for Virtual Try-On

Dit paper introduceert Implicit Error Counting (IEC), een referentievrije beloningsmethode voor reinforcement learning die in plaats van een rubric fouten telt met gewichten, wat leidt tot superieure resultaten bij virtuele pasproeven waar geen enkel ideaal antwoord bestaat.

De kern

De Proef: Een Virtuele Kleerkast zonder "Perfecte" Voorbeeld

Stel je voor dat je een virtuele kleerkast hebt. Je wilt een foto van jezelf maken, maar dan met een ander shirt of jurk aan. Dit heet "Virtual Try-On".

Het probleem is dat er geen één perfecte foto bestaat die als voorbeeld kan dienen.

• Als je een jurk aanproeft, kan die op duizend manieren mooi vallen (anders hangen, andere plooien, ander licht).
• Maar als hij fout is, is dat vaak heel duidelijk: de mouw is weg, de kleur is verkeerd, of je gezicht is vervormd.

Tot nu toe probeerden AI-modellen te leren door te kijken naar een "perfect voorbeeld" en te vragen: "Hoe goed lijkt mijn resultaat op dat perfecte voorbeeld?"
Maar in deze wereld van kledingproeven bestaat dat perfecte voorbeeld niet. Het is alsof je een kok vraagt om een gerecht te maken, maar je geeft hem geen recept en geen foto van het eindresultaat. Je kunt alleen zeggen: "Dit gerecht smaakt niet goed."

De Oplossing: "Fouten tellen" in plaats van "Punten geven"

De onderzoekers van dit paper (van de Universiteit van Washington en Amazon) hebben een nieuwe manier bedacht om de AI te trainen. Ze noemen het IEC (Implicit Error Counting), ofwel "Impliciet Foutentellen".

Stel je voor dat je een jury hebt die een kledingproef beoordeelt. Er zijn drie manieren om dit te doen:

1. De oude methode: De "Lijst met eisen" (Rubrics)

Stel je voor dat de jury eerst een lange lijst maakt met eisen: "De mouw moet lang zijn, de kraag moet recht, de stof moet glanzen..." en dan afvinkt wat wel of niet klopt.

• Het probleem: Omdat er geen perfect voorbeeld is, is deze lijst vaak vaag. De AI leert dan om de lijst af te vinken in plaats van een mooi plaatje te maken. Het is alsof je een schilderij beoordeelt op basis van een checklist in plaats van of het mooi is.

2. De directe methode: "Geef een cijfer"

De jury kijkt naar het plaatje en zegt: "Dit is een 7,5."

• Het probleem: Dit is te vaag. De AI weet niet waarom het een 7,5 is. Is het de mouw? De kleur? De AI raakt in de war en maakt geen grote sprongen voorwaarts.

3. De nieuwe methode: "Fouten tellen" (IEC)

In plaats van te vragen "Hoe goed is dit?", vraagt de jury: "Wat gaat er mis?"

• De AI maakt een plaatje.
• De jury kijkt er niet naar om een cijfer te geven, maar telt de fouten: "Oh, de mouw ontbreekt (grote fout), de kleur is iets te donker (kleine fout)."
• De truc: De jury zegt niet hardop "Ik zie 3 fouten". Dat zou te onzeker zijn (soms telt de jury 3, soms 4 voor hetzelfde plaatje). In plaats daarvan rekenen de fouten intern om naar een score. De AI krijgt een signaal: "Je hebt te veel fouten, probeer het opnieuw."

Waarom werkt dit beter? (De Creatieve Analogieën)

Analogie 1: De Scherpe Scherpslijper
Stel je voor dat je een mes moet slijpen.

• Als je vraagt: "Maak het mes perfect," weet de slijper niet waar hij moet beginnen.
• Als je zegt: "Er zit nog een kleine deuk in de punt en de rand is nog niet scherp," dan weet de slijper precies wat hij moet doen.
• IEC is die scherpe instructie: "Verwijder deze specifieke fouten."

Analogie 2: De Onzichtbare Rekenmachine
De onderzoekers ontdekten dat als je de AI laat "hardop" fouten tellen (bijvoorbeeld: "Fout 1, Fout 2, Fout 3"), de AI in de war raakt. Soms telt de jury 3 fouten, soms 4, zelfs als het plaatje hetzelfde is. Dit is alsof een scheidsrechter in een voetbalwedstrijd soms 1 minuut en soms 2 minuten extra tijd geeft voor dezelfde overtreding. De spelers (de AI) weten niet wat ze moeten doen.

• De oplossing: De AI (de jury) telt de fouten in zijn hoofd en geeft alleen het eindresultaat (de score) door. Dit heet "Impliciet". Het is alsof een rekenmachine die het antwoord toont, maar je niet vertelt hoe hij tot dat antwoord kwam. Dit maakt de training veel stabieler.

Wat hebben ze bewezen?

Ze hebben dit getest op een nieuwe, heel moeilijke testbank genaamd MDressBench. Dit zijn foto's waarbij de kleding op de bronfoto en de doelkleding heel verschillend zijn (bijvoorbeeld: een kort mouwloos shirt vs. een lange mouwen jurk). Dit is de "ultieme proef" voor een AI.

• Resultaat: De methode met "Fouten tellen" (IEC) deed het veel beter dan de oude methoden.
• De AI maakte minder fouten, de kleding paste beter, en de foto's zagen er realistischer uit.
• Het was zelfs beter dan methoden die gebruikmaken van menselijke voorkeursdata, maar dan zonder die menselijke data te hoeven verzamelen.

Conclusie in één zin

Wanneer je niet weet hoe een perfect antwoord eruit moet zien, is het slimmer om te kijken naar wat er mis gaat en die fouten te tellen, dan om te proberen een perfect voorbeeld te verzinnen.

Kortom: In plaats van te zeggen "Doe het perfect", zeggen we tegen de AI: "Zorg dat je geen fouten maakt." En dat werkt verrassend goed!

Technische samenvatting

1. Het Probleem: De "Referentievrije" Kloof

Reinforcement Learning (RL) met verifieerbare beloningen (RLVR) en methoden zoals "Rubrics as Rewards" (RaR) hebben aanzienlijke vooruitgang geboekt in domeinen met duidelijke correctheidssignalen (zoals wiskunde of code) of waar een ideaal referentieantwoord beschikbaar is. RaR genereert specifieke beoordelingscriteria (rubrics) op basis van een ideaal voorbeeld en scoort antwoorden hierop.

Echter, veel real-world taken, zoals Virtual Try-On (VTO), vallen in een "referentievrije" setting:

• Meerdere geldige uitkomsten: Er is geen enkel "ideaal" antwoord. Een kledingstuk kan op verschillende manieren correct worden gedrapeerd, met variaties in belichting of details.
• Kwaliteit gedefinieerd door afwezigheid van fouten: Een output is goed als het de condities volgt en geen waarneembare fouten bevat (bijv. verkeerde mouwlengte, gebroken geometrie, identiteitsdrift), niet omdat het exact overeenkomt met een referentie.
• Moeilijkheid van rubrics: Zonder een ideaal referentiebeeld zijn generieke rubrics te vaag, of te specifiek (en straffen ze andere geldige variaties af).

De auteurs identificeren dat bestaande methoden falen in dit domein en stellen dat het tellen van fouten een sterkere signaalbron is dan het construeren van rubrics.

2. Methodologie: Implicit Error Counting (IEC)

De kern van het paper is de introductie van Implicit Error Counting (IEC), een beloningsframework voor post-training van generatieve modellen in referentievrije omgevingen.

Het Kader

In plaats van te vragen "wat is er goed aan dit antwoord?" (zoals bij RaR), vraagt IEC: "wat is er mis aan dit antwoord?".

• Input: Een conditionering (bronafbeelding, kledingreferentie, masker) en een gegenereerde kandidaat-afbeelding.
• Judge: Een multimodaal model (VLM) analyseert de afbeelding langs specifieke evaluatie-aspecten.

Belangrijke Ontwerpkeuzes

De auteurs tonen aan dat naïef expliciet foutentellen (Explicit Error Counting - EEC) te luidruchtig (noisy) is voor stabiele optimalisatie. Daarom introduceert IEC twee cruciale mechanismen:

1. Implicit Score Emission:

   • Bij EEC moet de judge een lijst met fouten genereren. Dit leidt tot hoge variantie omdat semantisch identieke fouten verschillende tekstuele labels kunnen krijgen (bijv. "ontbrekende mouw" vs. "mouw niet getransfereerd"), wat de beloning destabiliseert.
   • Bij IEC wordt de judge gevraagd om fouten intern te tellen en te wegen, en alleen een gekalibreerde score (0-1) per aspect uit te geven. De judge internaliseert de telling, wat het signaal stabiliseert terwijl het conceptuele fundament van foutentelling behouden blijft.

2. Group Calibration (Groepskalibratie):

   • Om schaalvariatie tussen verschillende prompts te verminderen, wordt een robuuste statistische normalisatie toegepast binnen een groep van gegenereerde kandidaten. Dit zorgt ervoor dat de relatieve rangschikking behouden blijft, maar de absolute schaal van de beloning consistent wordt.

Toepassing op Virtual Try-On (VTO)

Voor VTO worden vijf evaluatie-aspecten gedefinieerd:

1. Garment Transfer: Plaatsing, mouw-/zoomlengte, halslijn, proporties.
2. Attribute Preservation: Kleur, patroon, textuur.
3. Realism: Drapering, randen, halo's, vervormingen.
4. Lighting Consistency: Licht en schaduwen.
5. Source Integrity: Gezicht, haar en achtergrond blijven onveranderd.

Het model wordt getraind met Group Relative Policy Optimization (GRPO), waarbij de IEC-scores worden gebruikt om de voorkeuren binnen een groep van 12 gegenereerde afbeeldingen te normaliseren.

Evaluatiemetric: Cascaded Error Counting (CEC)

Om de prestaties te meten zonder ground truth, introduceren de auteurs Cascaded Error Counting (CEC).

• Dit is een evaluatiemetric die een gedeelde "foutenvocabulaire" bouwt over een groep kandidaten.
• Het proces omvat een Pool-fase (ontdekken van fouten) en een Verificatie-fase (herbeoordeling tegen de pool). Dit vermindert de variantie die ontstaat doordat de judge verschillende foutenlabels gebruikt voor bijna-identieke afbeeldingen.

3. Belangrijkste Bijdragen

1. Identificatie van de Referentievrije Kloof: Het paper formaliseert het probleem waar ideale antwoorden ontbreken en kwaliteit wordt gedefinieerd door het vermijden van fouten.
2. IEC Framework: Een nieuw beloningsmechanisme dat foutentelling omzet in stabiele, geïmpliceerde scores, wat superieur is aan zowel directe scoring als rubric-based scoring in dit domein.
3. MDressBench: Een nieuw benchmark-dataset van 700 paren met maximale attributen-mismatch (bijv. korte mouwen bron vs. lange mouwen referentie) om de robuustheid van reward-designs te testen.
4. CEC Metric: Een nieuwe evaluatiestandaard die menselijke voorkeuren beter volgt dan traditionele methoden.

4. Resultaten

De experimenten zijn uitgevoerd op MDressBench (vlakke en niet-vlakke referenties) en standaard benchmarks (VITON-HD, DressCode).

• Superioriteit van IEC: IEC presteert consistent beter dan Direct Scoring en RaR op alle 8 perceptuele metrics.
  • Op niet-vlakke referenties (moeilijkst) verbeterde IEC ten opzichte van RaR met 5,96% op de CEC-metric, 3,88% op de RaR-score, en aanzienlijk op aspecten zoals realisme (+4,33%) en kledingoverdracht (+2,32%).
  • Opvallend: RaR presteerde soms zelfs slechter dan Direct Scoring, wat aantoont dat het construeren van rubrics zonder ideale referentie in dit domein contraproductief kan zijn.
• Stabiliteit: Training met IEC toont een gladde, monotoon stijgende verbetering. In tegenstelling hiermee vertoont EEC (expliciet tellen) vroege regressie en hoge variantie, en zijn Direct/RaR veel lawaaieriger.
• Efficiëntie: IEC vereist slechts één judge-call per kandidaat, terwijl RaR twee calls vereist (rubric generatie + evaluatie). IEC bereikt dus betere resultaten met de helft van de rekenkracht.
• Generalisatie: Op VITON-HD en DressCode overtreft of evenaart IEC zes externe SFT-baselines (Supervised Fine-Tuning), ondanks dat het model slechts 60 RL-stappen heeft doorlopen zonder extra gekoppeld trainingsdata.

5. Betekenis en Conclusie

Dit paper biedt een paradigmaverschuiving voor het post-trainen van generatieve modellen in creatieve en subjectieve domeinen. De kernboodschap is: "Wanneer je niet kunt definiëren hoe een ideaal output eruitziet, definieer dan hoe een slechte output eruitziet, en tel die."

De studie toont aan dat het tellen van gestructureerde fouten (via een multimodaal oordeel) een robuuster en efficiënter signaal biedt dan het construeren van rubrics of het gebruiken van holistische scores, vooral wanneer er geen enkele "juiste" oplossing bestaat. De methode is niet alleen effectiever voor Virtual Try-On, maar biedt een blauwdruk voor andere referentievrije taken zoals robotica, creatief schrijven en open-ended design.