🤖 machine learning

Banana100: Breaking NR-IQA Metrics by 100 Iterative Image Replications with Nano Banana Pro

Dit paper introduceert de Banana100-dataset om de kritieke afname van beeldkwaliteit bij iteratieve bewerkingen en het falen van bestaande kwaliteitsmetingen te blootleggen, met als doel de robuustheid van multi-modale agentische systemen te verbeteren.

Oorspronkelijke auteurs: Kenan Tang, Praveen Arunshankar, Andong Hua, Anthony Yang, Yao Qin

Gepubliceerd 2026-04-07

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Kenan Tang, Praveen Arunshankar, Andong Hua, Anthony Yang, Yao Qin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Bananen-Experiment: Waarom AI-beelden verslechteren en waarom de "kwaliteitsmeter" het niet ziet

Stel je voor dat je een prachtige foto van een banaan hebt. Je vraagt een slimme AI: "Maak een kopie, maar doe het precies hetzelfde." De AI doet dit. Vervolgens vraagt je: "Maak nu een kopie van die kopie." En weer: "Maak een kopie van die kopie."

Dit is precies wat de onderzoekers van de universiteit van Santa Barbara hebben gedaan, maar dan niet met één banaan, maar met 13 verschillende beelden (van gebouwen tot anime-personages) en ze hebben dit 100 keer achter elkaar herhaald. Ze noemen hun project Banana100.

Hier is wat ze ontdekten, vertaald in simpele taal:

1. De "Fotokopieer"-Vervuiling

In het echte leven, als je een foto 100 keer fotografeert van een fotokopie, wordt het beeld wazig en ruisig. Bij AI gebeurt dit veel sneller en erger.

Het probleem: Elke keer dat de AI een beeld bewerkt of kopieert, introduceert hij heel kleine, onzichtbare foutjes (zoals een beetje ruis of een vreemde kleur).
De stapel: Na 10 of 20 keer kopieer je deze foutjes niet alleen, maar stapel je ze op. Het resultaat? Na 100 stappen is je prachtige banaan-beeld veranderd in een groenig, ruisend spookbeeld vol statische ruis (zoals een slecht TV-signaal).
De instructie-verwarring: De AI vergeet ook wat je vroeg. Als je vraagt: "Voeg een appel toe," doet hij dat eerst. Maar na een paar rondjes begint hij appels te verplaatsen, te vervangen door watermeloenen, of vergeet hij ze helemaal.

2. De "Blinde" Kwaliteitsmeter

Dit is het meest schokkende deel. Mensen zien direct dat het beeld verslechtert. Maar de computers die bedoeld zijn om beeldkwaliteit te meten (de NR-IQA-meters), zien het niet.

De analogie: Stel je voor dat je een schone, witte T-shirt hebt. Je wast het 100 keer met vuile wasmiddelen. Het wordt grijs, stoffig en versleten.
- Een mens zegt: "Dit shirt is smerig!"
- De AI-meters (zoals BRISQUE) zeggen echter: "Wauw, dit is een fantastisch shirt! Het heeft een lagere score, dus het is beter!"
Het resultaat: De meters denken dat een volledig geruisd beeld beter is dan het originele, schone beeld. Ze worden "gebluft" door de manier waarop de AI de ruis maakt. Ze zien de ruis niet als fout, maar als iets dat ze leuk vinden.

3. De "Zelfvertrouwende" Leugenaar

De AI (genaamd Nano Banana Pro) heeft een ingebouwde "denk-stap". Hij schrijft een verslag van wat hij doet.

Zelfs als het beeld eruitziet als een groene modderpoel, schrijft de AI in zijn verslag: "Ik heb de opdracht perfect uitgevoerd, alles ziet er geweldig uit."
De AI is zich er dus niet van bewust dat hij faalt. Hij is als een schilder die zijn schilderij volledig heeft vernietigd, maar trots zegt: "Kijk hoe perfect ik heb geschilderd!"

4. Waarom is dit gevaarlijk?

Dit is niet alleen grappig of raar; het is een groot probleem voor de toekomst van AI.

De besmette bron: Als AI-modellen worden getraind op beelden die door andere AI's zijn gemaakt (en die al verslechterd zijn), wordt de volgende generatie AI nog slechter. Dit heet "model collapse" (instorting van het model). Het is alsof je een kopie maakt van een kopie van een kopie, en na een tijdje is het origineel helemaal weg.
De valse alarm: Omdat de kwaliteitsmeters niet werken, filteren ze deze slechte beelden er niet uit. Ze laten de "vuile" data doorstromen naar nieuwe systemen.

5. Wat hebben ze gedaan?

De onderzoekers hebben een enorme database gemaakt genaamd Banana100.

Het bevat 28.000 beelden die stap voor stap zijn verslechterd.
Ze hebben getest met 21 verschillende kwaliteitsmeters. Geen enkele meter (behalve twee heel nieuwe, slimme modellen) kon de verslechtering correct zien.
Ze hebben hun code en data openbaar gemaakt zodat andere onderzoekers betere meters kunnen bouwen.

Kortom:
Deze paper waarschuwt dat we te veel vertrouwen hebben in AI die beelden maakt én in de meters die die beelden controleren. Als we niet oppassen, beginnen we in een cyclus van steeds slechtere beelden te leven, zonder dat de "politie" (de meters) dat ziet. De oplossing? Nieuwe, slimmere meters bouwen die niet door AI-ruis laten bedriegen.

Probleemstelling

Het paper identificeert een kritieke, maar onderbelichte zwakte in multi-modale agentische systemen voor beeldbewerking: iteratieve degradatie van beeldkwaliteit. Hoewel moderne modellen (zoals Nano Banana Pro) uitstekende resultaten leveren bij een enkele bewerking (single-turn), leiden herhaalde bewerkingen (multi-turn) tot een snelle ophoping van kleine artefacten.

De kernproblemen zijn tweeledig:

Generator-falen: Bij herhaaldelijke bewerkingen hopen zich zichtbare ruis, statische noise en vervormingen op (bijv. groene tinten, verspreide punten), wat leidt tot een verlies van visuele details en het vermogen om instructies correct op te volgen.
Evaluator-falen: Bestaande No-Reference Image Quality Assessment (NR-IQA) metrics, die vaak worden gebruikt om de kwaliteit van gegenereerde afbeeldingen te beoordelen, falen hierbij volledig. In plaats van degradatie te detecteren, geven deze metrics vaak betere scores aan zwaar vervuilde afbeeldingen dan aan schone originele afbeeldingen. Dit creëert een gevaarlijke situatie waarbij slechte data onopgemerkt doorstroomt in trainingssets, wat kan leiden tot "model collapse".

Methodologie

Om dit fenomeen systematisch te bestuderen, hebben de auteurs de volgende aanpak ontwikkeld:

Dataset Constructie (Banana100):
- Er is een dataset samengesteld van 28.000 afbeeldingen gegenereerd door een origineel beeld 100 keer achter elkaar te bewerken met Nano Banana Pro.
- De dataset bevat 13 diverse startafbeeldingen (fotorealistisch en anime-stijl) met verschillende texturen en complexiteit.
- De primaire taak was "replicatie": het model kreeg de instructie om een exacte kopie van het beeld te maken zonder wijzigingen. Dit minimaliseerde semantische veranderingen en isoleerde de degradatie veroorzaakt door het model zelf.
- Er werden ook varianten getest met object toevoeging, spiegeling, rotatie en reconstructie-taken om de robuustheid te testen.
Evaluatie van NR-IQA Metrics:
- De auteurs testten 21 populaire NR-IQA metrics (zoals BRISQUE, NIQE, CLIPIQA, MUSIQ) op de gegenereerde afbeeldingen.
- In plaats van menselijke beoordelingen (MOS) te gebruiken voor elke stap (wat te kostbaar is), definieerden ze een genormaliseerde scorekloof ( $\Delta$ ). Een succesvolle metric zou een negatieve kloof moeten tonen (lagere kwaliteit na meer stappen).
- Ze vergeleken de scores van de vervuilde afbeeldingen (bij stap 5, 10 en 20) met de originele schone afbeelding.
Analyse van Redenering (Reasoning):
- Omdat Nano Banana Pro een "reasoning model" is, analyseerden ze de gegenereerde samenvattingen van het redeneerproces om te zien of het model zich bewust was van de degradatie.

Belangrijkste Bijdragen

Banana100 Dataset: Een grote, openbare dataset van 28.000 afbeeldingen die systematische degradatie door iteratieve bewerkingen demonstreert. Dit is uniek omdat het specifiek gericht is op het kwantificeren van model-geïnduceerde ruis in plaats van traditionele vervormingen.
Taxonomie van Fouten: Een systematische classificatie van fouten in drie niveaus:
- Sub-object niveau: Verlies van details (bijv. vereenvoudiging van oogkleuren).
- Object niveau: Falen om instructies op te volgen (bijv. tellen van appels, vervangen in plaats van toevoegen).
- Beeldniveau: Verlies van aspectratio, aanhoudende ruis, en falen van reconstructie-methoden.
Identificatie van Gebrekkige Metrics: Het paper bewijst dat de meeste bestaande NR-IQA metrics onbetrouwbaar zijn voor AI-generatie, omdat ze worden "geconfound" door de specifieke ruispatronen van generatieve modellen.

Resultaten

Visuele Degradatie: Na slechts 5 tot 10 stappen begint de kwaliteit drastisch te verslechteren. Zelfs na 20 replicaties is het beeld vol met statische ruis, terwijl het model in de "reasoning summary" vaak vol vertrouwen verklaart dat het beeld perfect is.
Failures van Evaluators: Van de 21 geteste NR-IQA metrics slaagde geen enkele erin om consistent degradatie te detecteren over alle afbeeldingen heen.
- Voorbeeld: BRISQUE gaf een schone afbeelding een score van 34,1, maar een zwaar vervuilde afbeelding (na 20 stappen) een score van -9,8 (wat in de BRISQUE-schaal "beter" betekent).
- Alleen twee recente, op grote Vision-Language Models (VLM) gebaseerde metrics (RALI en VisualQuality-R1) slaagden erin de degradatie te detecteren, hoewel ze ook hun eigen beperkingen hebben (bijv. gevoeligheid voor semantische veranderingen).
Zelfevaluatie is vertraagd: Het generatiemodel merkt de ruis pas op na ongeveer 20-37 stappen, terwijl de ruis voor een mens al na 5-10 stappen duidelijk zichtbaar is. Het model hallucineert dus vaak over de kwaliteit van zijn eigen output.
Generaliseerbaarheid: Het probleem is niet beperkt tot Nano Banana Pro. Tests met andere modellen (Nano Banana 2, FLUX.2, Qwen Image Edit) toonden aan dat ruisaccumulatie een universeel probleem is, hoewel de specifieke ruispatronen per model verschillen.

Betekenis en Impact

Het paper waarschuwt voor de stabiliteit van toekomstige AI-systemen:

Model Collapse: Als AI-modellen worden getraind op data die door andere AI-modellen is gegenereerd en niet wordt gefilterd op kwaliteit, kan dit leiden tot een versnelde degradatie van toekomstige modellen (model collapse).
Agentische Systemen: Autonome agenten die beeldbewerkingen in lusjes uitvoeren, kunnen vastlopen in een cyclus van toenemende kwaliteitverlies zonder dat de evaluatielagen dit opmerken.
Noodzaak voor Nieuwe Metrics: Er is een dringende behoefte aan nieuwe, robuuste IQA-metrics die specifiek zijn getraind op model-geïnduceerde degradatie en niet alleen op traditionele vervormingen (zoals ruis of blur uit datasets als KonIQ-10k).

De auteurs publiceren de volledige code en data om onderzoekers in staat te stellen robuustere modellen en evaluatiemethoden te ontwikkelen, zodat het digitale visuele ecosysteem niet onbedoeld wordt vervuild door lage-kwaliteit synthetische data.