E-comIQ-ZH: A Human-Aligned Dataset and Benchmark for Fine-Grained Evaluation of E-commerce Posters with Chain-of-Thought

Dit artikel introduceert E-comIQ-ZH, een framework met het eerste dataset en benchmark voor de mensgerichte, gedetailleerde evaluatie van Chinese e-commerce posters, waarbij gebruik wordt gemaakt van gespecialiseerde Chain-of-Thought-modellen om de kwaliteit van gegenereerde ontwerpen nauwkeuriger te beoordelen dan bestaande methoden.

De kern

Stel je voor dat je een reclameposter maakt voor een product in een online winkel. In het verleden deed een menselijk ontwerper dit: hij zette het product neer, koos een mooie achtergrond, schreef een pakkende tekst en zorgde dat alles er strak uitzag. Vandaag de dag doen kunstmatige intelligentie (AI) en robots dit steeds vaker. Ze kunnen razendsnel duizenden posters maken.

Maar hier zit een probleem: de AI is veel sneller geworden dan de "kwaliteitscontrole".

Deze paper, getiteld E-comIQ-ZH, introduceert een slim nieuw systeem om te controleren of die AI-posters wel echt goed zijn, vooral voor de Chinese markt. Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Blinde" AI

Stel je voor dat je een AI vraagt om een poster te maken. De AI maakt een prachtig plaatje met een zonsondergang en een glimmende auto. Voor een gewone kunst-expert ziet het er perfect uit.
Maar voor een winkelhouder is het een ramp:

• De tekst op de poster staat scheef.
• Er staat een verkeerd teken in het Chinees (bijvoorbeeld een teken dat eruitziet als een ander teken, maar met een klein foutje in één streepje).
• De tekst blokkeert het product.

Bestaande AI-systemen kijken vaak alleen naar "is het plaatje mooi?" (zoals een kunstcriticus). Ze missen de praktische details: "Is de tekst leesbaar?", "Zit het product goed in beeld?", "Staat er geen rare tekst op?". Het is alsof je een auto koopt omdat hij mooi rood is, maar je niet ziet dat de remmen niet werken.

2. De Oplossing: De "Super-Inspecteur" (E-comIQ-M)

De auteurs van dit paper hebben een nieuwe AI-trainer gebouwd, genaamd E-comIQ-M.

• De Opleiding: Ze hebben deze AI niet geleerd met willekeurige foto's, maar met 18.000 echte winkelposters.
• De Leraars: In plaats van alleen cijfers te geven, hebben ze echte experts (senior ontwerpers) ingeschakeld. Deze experts hebben niet alleen een cijfer gegeven, maar ook uitgelegd waarom.
  • Vergelijking: Het is alsof je een student niet alleen een cijfer geeft voor een proefwerk, maar ook een gedetailleerd verslag schrijft: "Je hebt de tekst te klein gemaakt, en het woord 'gratis' is hier verkeerd gespeld."
• Chain-of-Thought (CoT): De AI leert nu niet alleen te zeggen "slecht", maar denkt eerst hardop na: "Oké, de achtergrond is mooi, maar de tekst op de auto is onleesbaar en de letters plakken aan elkaar. Daarom is de tekst-score laag."

3. De Nieuwe Maatstaf: De "Postertest" (E-comIQ-Bench)

Om te zien of andere AI's (zoals die van Google of OpenAI) goed zijn, hebben ze een nieuwe test ontwikkeld: E-comIQ-Bench.

• Ze nemen een product (bijvoorbeeld een flesje shampoo) en vragen verschillende AI's om er een poster van te maken.
• Vervolgens laat hun nieuwe "Super-Inspecteur" (E-comIQ-M) deze posters beoordelen.
• Het Resultaat: De paper laat zien dat de beste AI's nog steeds fouten maken die een mens direct zou zien (zoals rare tekens of onleesbare tekst), maar dat hun nieuwe model deze fouten veel beter vindt dan de huidige generieke AI's.

4. Waarom is dit belangrijk?

In de e-commerce (online winkelen) is vertrouwen alles. Als een klant een poster ziet met een foutje in de tekst of een rare afbeelding, denkt hij: "Deze winkel is niet professioneel, ik koop hier niet."

• Vroeger: Mensen keken handmatig naar elke poster. Dit is traag en duur.
• Nu: AI maakt miljoenen posters. Mensen kunnen ze niet allemaal controleren.
• Met E-comIQ-ZH: Je hebt nu een automatische, slimme kwaliteitscontroleur die net zo kritisch kijkt als een menselijke expert. Hij ziet de subtiele foutjes die andere computers missen.

Samenvatting in één zin

Deze paper introduceert een slimme AI die leert om te kijken naar een reclameposter niet als "mooi kunstwerk", maar als een verkoopinstrument, waarbij hij precies ziet of de tekst klopt, het product goed staat en de boodschap duidelijk is, zodat online winkels geen slechte posters meer hoeven te tonen.

Technische samenvatting

1. Het Probleem

Generatieve AI wordt steeds vaker gebruikt om commerciële posters voor e-commerce te creëren. Hoewel de kwaliteit van de generatie snel verbetert, loopt de geautomatiseerde kwaliteitsbeoordeling hierachter. Bestaande modellen en benchmarks focussen voornamelijk op:

• Algemene esthetiek: Ze beoordelen of een beeld "mooi" is, maar niet of het functioneel bruikbaar is voor verkoop.
• Lage-resolutie vervormingen: Ze detecteren blur of ruis, maar missen complexe, domeinspecifieke fouten.
• Tekstuele nuance (specifiek voor Chinees): In Chinese e-commerce posters zijn complexe karakters en dichte typografie gebruikelijk. Bestaande methoden missen subtiele maar kritieke fouten, zoals onjuiste strepen in karakters, verkeerde regelbrekingen of onleesbare tekst, die door menselijke experts direct als onacceptabel worden gezien.

Er ontbreekt een gestandaardiseerd, automatisch systeem dat overeenkomt met menselijke expertoordelen voor Chinese e-commerce posters, wat leidt tot inefficiënte workflows die nog steeds afhankelijk zijn van tijdrovend handmatig toezicht.

2. Methodologie

De auteurs introduceren E-comIQ-ZH, een framework dat bestaat uit drie hoofdcomponenten: een dataset, een gespecialiseerd evaluatiemodel en een benchmark.

A. E-comIQ-18k (Dataset)

Dit is het eerste grote dataset specifiek voor Chinese e-commerce posterbeoordeling, bestaande uit 18.000 afbeeldingen.

• Bronnen: De dataset bevat een mix van hoogwaardige en laagwaardige merchant-foto's, open-source posters, AI-generaties, AI-bewerkte composities en professioneel ontworpen posters.
• Multi-dimensionale Annotatie: Experts beoordelen elke poster op vier functionele dimensies:
  1. Object: Visuele integriteit van het product (duidelijkheid, vervorming).
  2. Achtergrond: Compatibiliteit en esthetiek van de achtergrond.
  3. Tekst: Leestekst, correctheid van karakters (geen "stroke rendering errors"), en visuele integratie.
  4. Layout: Compositie, hiërarchie en ruimtelijke ordening.
• Chain-of-Thought (CoT): Naast scores worden er gedetailleerde, door experts geverifieerde redeneringen (CoT) gegenereerd die uitleggen waarom een score is gegeven. Dit gebeurt via een mens-AI samenwerking waarbij een LLM (Qwen-2.5-VL-Max) een eerste concept schrijft dat door experts wordt gecontroleerd en gecorrigeerd.

B. E-comIQ-M (Model)

Een gespecialiseerd evaluatiemodel dat is getraind om menselijke expertoordelen na te bootsen.

• Backbone: Gebaseerd op Qwen-2.5-VL-7B.
• Twee-staps trainingsstrategie:
  1. Supervised Fine-Tuning (SFT): Het model leert het domein, het outputformaat (JSON met scores en CoT) en de basisconcepten van de dataset.
  2. Generative Reranking Policy Optimization (GRPO): Een versterkingsleerfase op een "hard subset" van de data. Het model wordt geoptimaliseerd met een beloningssysteem dat rekening houdt met:
     • Nauwkeurigheid: Hoe dicht de voorspelde score bij de grondwaarheid ligt.
     • Distributie: De geometrische consistentie tussen de sub-scores (Object, Tekst, etc.) en de totale score.
     • Formaat: Correcte JSON-output.

C. E-comIQ-Bench (Benchmark)

Een evaluatieplatform met 500 testcases (producten uit 7 categorieën) waarbij verschillende state-of-the-art generatieve modellen (zoals GPT-4o, Gemini, Flux, Seedream) posters genereren. De kwaliteit wordt vergeleken met menselijke experts en het E-comIQ-M model.

3. Belangrijkste Bijdragen

1. E-comIQ-18k: De eerste grote dataset met multi-dimensionale functionele scores en expert-gecalibreerde CoT-redeneringen specifiek voor Chinese e-commerce.
2. E-comIQ-M: Een domeinspecifiek evaluatiemodel dat aanzienlijk beter presteert dan algemene MLLMs (Multimodal Large Language Models) en traditionele IQA-methoden, vooral bij het detecteren van subtiele tekstfouten.
3. E-comIQ-Bench: Een schaalbare benchmark die het mogelijk maakt om generatieve modellen objectief te vergelijken op hun vermogen om commerciële posters te maken, inclusief een open-source evaluatietoolbox.

4. Resultaten

• Superioriteit van E-comIQ-M: Het model bereikte een Pearson-correlatie (PLCC) van 0,425 en een Spearman-correlatie (SRCC) van 0,433 met menselijke experts op de testset. Dit is een significante verbetering ten opzichte van de beste bestaande modellen (zoals Q-Insight of GPT-4o), die vaak onder de 0,30 blijven.
• Tekstdetectie: Het model is bijzonder effectief in het detecteren van fouten in Chinese karakters (zoals onvolledige strepen), waar andere modellen vaak doorheen kijken. In de "weakest link" analyse bleek tekst de grootste bottleneck te zijn (44,8% van de slechte posters had tekstproblemen).
• Benchmark Resultaten: Op E-comIQ-Bench bleek dat huidige generatieve modellen (zoals Flux en Gemini) vaak goede achtergronden en lay-outs maken, maar nog steeds worstelen met de nauwkeurigheid van de tekst en de consistentie van het productobject. E-comIQ-M slaagt erin om deze prestaties nauwkeurig te kwantificeren.
• Validatie: De correlatie tussen E-comIQ-M en menselijke beoordelingen is hoog, wat aantoont dat het model een betrouwbare vervanger kan zijn voor handmatige controle.

5. Significantie

Dit werk is van groot belang voor de industrie van e-commerce en AI-generatie:

• Automatisering: Het biedt een oplossing voor de "bottleneck" van handmatige kwaliteitscontrole, waardoor schaalbare, automatische beoordeling van duizenden posters mogelijk wordt.
• Domeinspecifieke Vooruitgang: Het benadrukt dat algemene esthetische modellen niet voldoende zijn voor commerciële toepassingen; specifieke criteria (zoals tekstcorrectheid in complexe talen) zijn essentieel.
• Richtinggevend: De dataset en benchmark stellen een nieuwe standaard voor het trainen en evalueren van AI-modellen die gericht zijn op functionele, commerciële beeldgeneratie, en bieden een basis voor toekomstig onderzoek in mens-gealigneerde evaluatie.

Kortom, E-comIQ-ZH sluit de kloof tussen generatieve AI en de strenge eisen van de e-commercewereld door een nauwkeurige, mens-gealigneerde evaluatieframework te bieden dat specifiek is ontworpen voor de complexiteit van Chinese commerciële posters.