Scalable Question-Centric Text-to-Image Evaluation: Reliable Ranking, Fine-Grained Diagnosis, and Cost-Aware Routing

In de snel evoluerende wereld van kunstmatige intelligentie is een specifieke klasse software ontstaan die afbeeldingen kan oproepen uit niets anders dan een zin. Deze systemen, bekend als tekst-naar-afbeelding-modellen, luisteren naar de beschrijving van een gebruiker — bijvoorbeeld "een rode kat die op een blauwe mat zit" — en genereren een visuele weergave van die scène. Jarenlang was de primaire manier om te beoordelen hoe goed deze machines werkten, het bekijken van de uiteindelijke afbeelding en er een enkele score aan toe kennen. Als de afbeelding er in algemene zin goed uitzag, werd het model als sterk beschouwd. Echter, naarmate deze hulpmiddelen verbeterden, ontstond er een probleem: verschillende modellen behalen vaak vergelijkbare algemene scores terwijl ze zeer verschillende sterktes en zwaktes bezitten. Het ene model kan uitstekend zijn in het tekenen van dieren maar verschrikkelijk in het weergeven van tekst, terwijl een ander complexe instructies perfect kan opvolgen maar moeite heeft met eenvoudige vormen. Dit maakt het voor gebruikers moeilijk om het juiste instrument te kiezen voor een specifieke taak, aangezien één enkel getal niet de ingewikkelde details kan onthullen van wat een model daadwerkelijk kan doen.

Om dit op te lossen, heeft een team onderzoekers van China Unicom een nieuwe manier geïntroduceerd om deze systemen te testen, genaamd QC-T2I-Bench. In plaats van een prompt te behandelen als een enkele, ondeelbare blok, breekt hun methode elke aanvraag af in een reeks kleine, specifieke vragen. Als een gebruiker vraagt om een rode kat op een blauwe mat, vraagt het systeem niet alleen: "Is de afbeelding goed?" Het vraagt: "Is er een kat?" "Is de kat rood?" "Is er een mat?" en "Is de mat blauw?" Cruciaal is dat de onderzoekers ook in kaart brengen hoe deze vragen van elkaar afhankelijk zijn. Ze erkennen dat als het systeem er niet in slaagt de kat te tekenen, het onmogelijk kan slagen in het tekenen van de rode vact van de kat. Door deze vragen in een logische structuur te organiseren, kan het team precies aanwijzen waar een model faalt en of die fout een basisfout is of een complexere fout die pas optreedt wanneer meerdere vereisten worden gecombineerd.

De onderzoekers testten deze aanpak op dertien verschillende open-source beeldgeneratoren, met zowel Engelse als Chinese prompts. Ze ontdekten dat hoewel sommige modellen goed presteerden bij eenvoudige taken, hun vermogen om complexe verzoeken aan te kunnen scherp afnam naarmate het aantal vereisten toenam. Wanneer een prompt vereisten bevatte voor slechts twee verschillende capaciteiten, slaagden de modellen er ongeveer 80,7% van de tijd in om een perfecte afbeelding te creëren. Echter, wanneer de aanvraag vroeg om zeven of meer afzonderlijke capaciteiten tegelijkertijd, kelderde het succespercentage naar 37,2%. Deze daling was niet louter een kwestie van het toevoegen van meer fouten; het onthulde dat de modellen er aanzienlijk moeite mee hadden om alle stukjes van een complexe puzzel tegelijkertijd bij elkaar te houden. De studie toonde ook aan dat door deze afhankelijkheden te begrijpen, de onderzoekers het onderscheid konden maken tussen een model dat simpelweg niet in staat is een specifiek object te tekenen en een model dat wel in staat is het object te tekenen, maar faalt wanneer er gevraagd wordt om specifieke details eraan toe te voegen.

Naast het simpelweg rangschikken van de modellen, maakt deze gedetailleerde uitsplitsing een meer praktische toepassing mogelijk: kostenbewuste routering. In de echte wereld kost het draaien van deze beeldgeneratoren op krachtige computers geld en energie. De onderzoekers toonden aan dat dezelfde gedetailleerde gegevens die gebruikt worden om fouten te diagnosticeren, ook gebruikt kunnen worden om automatisch het meest efficiënte model voor een bepaalde taak te selecteren zonder een nieuw systeem te hoeven trainen. Door de specifieke vereisten van een gebruikersverzoek te analyseren, kon hun systeem een generator kiezen die goedkoper in gebruik was, maar nog steeds aan de kwaliteitsstandaarden voldeed. In hun tests kwam deze methode overeen met de prestaties van een topmodel, terwijl het 21,3% minder rekenkracht per afbeelding gebruikte. Dit suggereert dat de toekomst van het gebruik van deze hulpmiddelen niet alleen ligt in het slimmer maken van hen, maar in het gebruiken van een dieper begrip van hun specifieke capaciteiten om het juiste instrument bij de juiste taak te laten passen, waarbij middelen worden bespaard terwijl de hoge kwaliteit behouden blijft.