🤖 AI

SANEval: Open-Vocabulary Compositional Benchmarks with Failure-mode Diagnosis

Dit artikel introduceert SANEval, een open-vocabulary compositionele benchmark die gebruikmaakt van grote taalmodellen en verbeterde objectdetectoren om schaalbare, fijnmazige diagnostische evaluatie van tekst-naar-beeldmodellen te bieden, waarbij een superieure correlatie met menselijke beoordeling wordt aangetoond vergeleken met bestaande methoden.

Oorspronkelijke auteurs: Rishav Pramanik, Ian E. Nielsen, Jeff Smith, Saurav Pandit, Ravi P. Ramachandran, Zhaozheng Yin

Gepubliceerd 2026-02-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Rishav Pramanik, Ian E. Nielsen, Jeff Smith, Saurav Pandit, Ravi P. Ramachandran, Zhaozheng Yin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een strenge kunstdocent bent die een tekening van een leerling beoordeelt op basis van een zeer specifieke set instructies. Als de leerling de opdracht kreeg om "een rode kat te tekenen die op een blauwe mat zit naast een groene boom," zou een goede docent niet alleen zeggen: "Mooi plaatje!" De docent zou controleren: Is de kat rood? Is de mat blauw? Is de boom er daadwerkelijk? En het belangrijkste: zit de kat op de mat en staat de boom naast de mat?

Lama lang hadden computers die tekst in afbeeldingen omzetten (zoals AI-kunstenaars) weliswaar een manier om mooie plaatjes te maken, maar we hadden geen goede manier om ze te beoordelen op deze specifieke details. Bestaande tests waren als een meerkeuzevraag met een vaste lijst met antwoorden. Als de AI een "poedel" tekende, maar de test kende alleen de term "hond" om te controleren, raakte de computer in de war. Of, als de test gewoon één score gaf zoals "8/10," vertelde dat de AI niet waarom het punten verloor.

Dit artikel introduceert SANEval, een nieuw, slimmer beoordelingssysteem voor AI-kunst. Zo werkt het, onderverdeeld in eenvoudige delen:

1. Het Problek: De "Vocabulaire-val"

Oudere testmethoden waren als een uitsmijter bij een club met een strikte gastenlijst. Als je naam (of het object dat je tekende) niet op de lijst stond, kwam je er niet in.

Het Probleem: Als een AI een "capibara" tekende, maar de software om de test te doen kende alleen "honden" en "katten" te herkennen, zou de test falen, zelfs als de AI een geweldig werk had geleverd.
De SANEval-oplossing: SANEval gebruikt een "slimme assistent" (een Large Language Model) om als vertaler te fungeren. Als de prompt zegt "capibara", zegt de assistent tegen de detector: "Hé, zoek naar een capibara, maar controleer ook op 'grote knaagdier' of 'waterminnend dier' voor de zekerheid." Dit stelt de test in staat om elk object te controleren, niet alleen de objecten op een vooraf goedgekeurde lijst.

2. De Drie Beoordelingscategorieën

SANEval geeft niet zomaar één score; het breekt het cijfer af in drie specifieke vakken, net als een rapport:

Attribute Binding (De "Kleding"-test):
- De Taak: Heeft de AI de juiste "kleren" aan de juiste "mensen" gegeven?
- Voorbeeld: Als de prompt zegt "een blauwe auto en een rode vrachtwagen," moet de AI de auto blauw schilderen en de vrachtwagen rood.
- De SANEval-methode: Het snijdt de afbeelding van de auto uit en vraagt aan een visuele AI: "Welke kleur heeft dit?" Als het antwoord "blauw" is, krijgt het een punt. Als het zegt "groen," krijgt het een nul. Het geeft ook feedback zoals: "Je hebt de vrachtwagen rood geschilderd, maar de prompt vroeg om blauw."
Spatial Relationships (De "Meubelopstelling"-test):
- De Taak: Staan de objecten op de juiste plek ten opzichte van elkaar?
- Voorbeeld: "Een kat bovenop een hond."
- De SANEval-methode: Het tekent onzichtbare boxen rond de kat en de hond. Vervolgens controleert het de wiskunde: Is de box van de kat fysiek hoger dan de box van de hond? Als de kat in de lucht zweeft of onder de hond zit, vangt de test dit op en zegt: "De kat is op de verkeerde plek."
Numeracy (De "Tel"-test):
- De Taak: Heeft de AI precies het aantal items getekend dat gevraagd werd?
- Voorbeeld: "Drie appels en twee sinaasappels."
- De SANEval-methode: Het telt de gedetecteerde objecten. Als het vier appels ziet, rapporteert het: "Je hebt één extra appel getekend."

3. De "Detective"-workflow

Het artikel beschrijft een pijplijn die werkt als een detective die een mysterie oplost:

De Prompt Analist: Leest de tekst van de gebruiker en breekt deze af in een checklist (bijv. "Nodig: 3 bankjes, 1 kom, bank moet blauw zijn").
De Afbeelding Detective: Kijkt naar de door AI gegenereerde afbeelding. In plaats van alleen naar "bankje" te zoeken, gebruikt het de "slimme assistent" om te zoeken naar synoniemen zoals "zitplaats" of "stoel" om er zeker van te zijn dat het niets mist.
De Rechter: Vergelijkt de checklist met wat de detective heeft gevonden.
Het Rapportcijfer: In plaats van alleen "Falen" te zeggen, geeft het een gedetailleerde notitie: "Je hebt het aantal goed, maar je hebt het bankje groen geschilderd in plaats van blauw, en je bent de kom volledig vergeten."

4. Wat Ze Vonden

De auteurs hebben dit nieuwe systeem getest op zes van de beste AI-kunstgeneratoren ter wereld.

De Resultaten: Zelfs de beste AI-modellen worstelen wanneer de instructies ingewikkeld worden. Bijvoorbeeld, als je om een simpel plaatje vraagt, doen ze het goed. Maar als je vraagt om "een rode bal, een blauwe bal en een groene bal die allemaal op elkaar gestapeld zijn," haalt de AI vaak de kleuren door elkaar of verliest het de telling.
Het Vormprobleem: Het paper vond dat AI verrassend slecht is in het krijgen van vormen correct wanneer er veel objecten zijn. Het is goed in het krijgen van kleuren correct, maar als je om een "vierkant" en een "driehoek" vraagt in een drukke scène, vervormt de AI ze vaak tot vlekken.
Beter dan Oude Tests: De auteurs toonden aan dat hun nieuwe test andere resultaten geeft dan oudere tests. Dit bewijst dat SANEval nieuwe problemen vindt die de oude tests over het hoofd zagen.

Samenvatting

SANEval is een nieuwe tool die ons helpt te begrijpen waar AI-kunstgeneratoren precies falen. Het beweegt weg van het "gokken" of een afbeelding goed is en biedt in plaats daarvan een gedetailleerd, open-minded rapportcijfer dat zegt: "Je deed dit goed, maar je maakte deze specifieke fout." Dit helpt ontwikkelaars om specifieke fouten te herstellen, in plaats van alleen maar te hopen dat de AI vanzelf beter wordt.

Technische Samenvatting: SANEval

Probleemstelling

Ondanks de snelle vooruitgang in Text-to-Image (T2I) modellen (bijv. Stable Diffusion, Imagen, GPT-4o), blijft hun vermogen om complexe prompts met meerdere objecten, specifieke attributen en ruimtelijke relaties getrouw weer te geven een aanzienlijke bottleneck. Huidige evaluatiemethoden lijden onder drie primaire beperkingen:

Gesloten Vocabulaire: Bestaande benchmarks vertrouwen vaak op objectdetectoren die zijn getraind op vaste datasets (bijv. de 80 klassen van MS-COCO), wat een "vocabulaire-mismatch" creëert waarbij realistische of zeldzame objecten niet geëvalueerd kunnen worden.
Gebrek aan Diagnostische Granulariteit: Veel metrieken leveren een enkele, oninterpreteerbare score (bijv. CLIPScore) of binaire pass/fail-oordelen, waardoor ze niet in staat zijn om specifieke compositionele fouten aan te wijzen (bijv. ontbrekende objecten, incorrecte attribuutbinding of ruimtelijke fouten).
Schaalbaarheid en Subjectiviteit: Menselijke evaluatie is kostbaar en moeilijk te standaardiseren, terwijl geautomatiseerde metrieken zoals FID of IS er niet in slagen om fijnmazige compositionele fouten te vangen.

Methodologie: Het SANEval-framework

De auteurs introduceren SANEval (Spatial, Attribute, and Numeracy Evaluation), een open-vocabulaire, compositionele benchmark die ontworpen is om schaalbare, betrouwbare en interpreteerbare evaluatie te bieden. Het framework bestaat uit een modulaire pipeline bestaande uit twee kerntechnische modules en drie evaluatie-assen.

Kernmodules

Prompt Begripsmodule:
- Maakt gebruik van een Large Language Model (LLM) die wordt gestuurd door specifieke system prompts om natuurlijke taalinputs te parsen.
- Extraheert een gestructureerde representatie inclusief:
  - Objecten: Unieke entiteitslijsten.
  - Attributen: Gekoppeld aan specifieke objecten (kleur, vorm, textuur).
  - Ruimtelijke Relaties: Gerepresenteerd als triplets <object_1, relatie, object_2>.
  - Numeracy (Aantal): Verwachte aantallen voor elk object.
- Ontworpen om robuust te zijn tegen grammaticale variaties en complexe zinsstructuren.
Verbeterde Objectdetectie (OD) Module:
- Pakt de vocabulairebeperking van traditionele detectoren aan door een Open-World Detector (specifiek YOLO-E) te integreren met LLM-gestuurde synoniemexpansie.
- Proces:
  - De LLM breidt verwachte objectnamen uit naar een set synoniemen en gerelateerde termen (bijv. "albatros" $\rightarrow$ {albatros, zeevogel, grote vogel}).
  - YOLO-E detecteert objecten in de gegenereerde afbeelding.
  - Gedetecteerde labels worden uitgelijnd met de uitgebreide synoniemsets om detecties terug te mappen naar de beoogde objecten uit de prompt.
- Deze hybride aanpak benut de gestructureerde interpreteerbaarheid van OD met de redeneerflexibiliteit van VLMs.

Evaluatie-assen

Het framework evalueert drie verschillende compositionele dimensies:

Attribuutbinding (Attribute Binding):
- Proces: Gedetecteerde objecten worden uitgeknipt en als "rechter" door een Vision Language Model (VLM) gestuurd om specifieke attributen te identificeren (bijv. "Wat is de kleur van de bank?").
- Scoring: Een LLM vergelijkt het voorspelde attribuut van de VLM met de grondwaarheid (ground truth), waarbij een continue gelijkenissscore (0.0 tot 1.0) wordt toegekend om gedeeltelijke credits mogelijk te maken (bijv. "turquoise" vs. "blauw").
- Output: Genereert gestructureerde feedback die ontbrekende of verkeerde attributen identificeert.
Ruimtelijke Relaties (Spatial Relationships):
- Proces: Gebruikt bounding boxes van de verbeterde OD-module en ruimtelijke triplets uit de Prompt Begripsmodule.
- Scoring: Past geometrische evaluatiefuncties toe (bijv. controleren of het middelpunt van Object A links van Object B ligt) om nalevingsscores te berekenen.
- Output: Rapporteert expliciet fouten zoals "Verwachtte kat rechts van hond: Ontbrekend object: kat."
Numeracy (Aantal):
- Proces: Vergelijkt het aantal gedetecteerde instanties met de verwachte aantallen die uit de prompt zijn geëxtraheerd.
- Scoring: 1.0 voor een exacte match, 0.5 voor aanwezigheid met een onjuist aantal, 0.0 voor ontbreken.
- Output: Rapporteert overgeneratie of ondergeneratie (bijv. "twee extra koffers gedetecteerd").

Belangrijkste Bijdragen

SANEval Benchmark Suite: Een uitgebreid evaluatieframework voor T2I-modellen dat dekking biedt voor ruimtelijke, attribuut- en numeracy-naleving met open-vocabulaire mogelijkheden.
Open-Source Dataset: De release van SANEval-Simple (algoritmisch, ~5.000 prompts) en SANEval-Hard (door mensen gegenereerd, 250 complexe prompts), vergezeld van gegenereerde afbeeldingen en diagnostische conformiteitslabels.
Plug-and-Play Pipeline: Een schaalbare evaluatiepipeline die evaluatie ontkoppelt in afzonderlijke assen en zowel kwantitatieve scores als gestructureerde, interpreteerbare diagnostische feedback biedt.
Robuustheidsvalidatie: Demonstratie dat het framework robuust is voor de keuze van de onderliggende LLM "rechter" (getest door Gemini Flash 2.5 te vervangen door Llama-4) en dat de synoniemexpansiemodule cruciaal is voor het detecteren van zeldzame objecten.

Resultaten en Analyse

De auteurs hebben zes state-of-the-art T2I-modellen geëvalueerd (Imagen 3.0/4.0/4.0 Ultra, Nano Banana, Seedream 3.0, GPT Image 1) met behulp van het SANEval-framework.

Prestatietrends: Geen enkel model domineert alle categorieën. Imagen 4.0 Ultra behaalde de hoogste gemiddelde totaalscore, uitblinkend in numeracy en fijnmazige bindingen (vorm/textuur). Seedream 3.0 presteerde beter in ruimtelijk redeneren en kleurbinding.
Complexiteitssensitiviteit: Prestaties nemen consistent af naarmate de promptcomplexiteit (object cardinaliteit) toeneemt. Vormbinding (shape binding) werd geïdentificeerd als de meest broze metriek, terwijl kleurbinding (color binding) de meest robuuste bleef. Bijvoorbeeld, de vormnauwkeurigheid van Imagen 3.0 daalde van ~0.31 bij prompts met één object naar ~0.06 bij prompts met >10 objecten.
Vergelijking met Bestaande Benchmarks: Een Spearman rangcorrelatieanalyse tegenover CompBench++ onthulde statistisch significante verschillen (p-waarden vaak < $10^{-20}$ ) in ruimtelijke en numeracy-taken. Dit geeft aan dat SANEval een complementair, niet-redundant evaluatieperspectief biedt dat fouten vangt die door bestaande methoden gemist worden.
Ablatiestudie: Het verwijderen van de LLM-gestuurde synoniemexpansiemodule resulteerde in een substantiële prestatieverslechtering (bijv. een relatieve daling van 75,69% in ruimtelijke scores) en een significante reductie in het aantal gedetecteerde unieke objecten, wat de noodzaak van open-vocabulaire afhandeling valideert.

Betekenis en Claims

Het artikel claimt dat SANEval de kritieke kloof in T2I-evaluatie adresseert door verder te gaan dan vaste vocabulaire en subjectieve scoring naar feedback-gestuurde, open-world benchmarking.

Diagnostisch Nut: In tegen tegenstelling tot vorige benchmarks die opale scores bieden, biedt SANEval actieerbare, interpreteerbare feedback (bijv. het identificeren van specifieke ontbrekende objecten of onjuiste attribuutbindingen), wat essentieel is voor het diagnosticeren van modelgedrag.
Fundament voor Verbetering: De auteurs stellen dat dit framework evaluatie transformeert in een vorm van supervisie, wat potentieel kan leiden tot toekomstige modelverbeteringen en Reinforcement Learning with AI Feedback (RLAIF).
Bescheidenheid: De auteurs erkennen dat hoewel SANEval verbeteringen biedt ten opzien van bestaande methoden, het leunt op taalgebaseerde priors (LLM's/VLM's) die inherente biases kunnen reflecteren. Ze benadrukken dat het werk is ontworpen voor evaluatie en analyse, niet voor het toevoegen van nieuwe generatieve capaciteiten, en tot doel heeft een meer transparante en zorgvuldige evaluatie van generatieve systemen aan te moedigen.