"It's trained by non-disabled people": Evaluating How Image Quality Affects Product Captioning with Vision-Language Models
Dit onderzoek toont aan dat beeldkwaliteitsproblemen zoals onscherpte en verkeerde framing de nauwkeurigheid van door Vision-Language Models gegenereerde productbijschriften voor blinden en slechtzienden aanzienlijk verminderen, en pleit voor evaluaties die de ervaringen van mensen met een beperking centraal stellen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je blind bent en je wilt weten wat voor blikje je in de hand hebt. Misschien is het tomatensoep of misschien is het een gevaarlijke reinigingsvloeistof. In het verleden zou je iemand moeten vragen om te kijken. Maar tegenwoordig hebben we slimme "AI-oogjes" (zoals ChatGPT of Seeing AI) die je foto's kunnen bekijken en vertellen wat ze zien.
Deze studie, geschreven door een team van onderzoekers, kijkt naar wat er gebeurt als die foto's niet perfect zijn. Want laten we eerlijk zijn: als je niet kunt zien, is het lastig om een foto te maken die scherp is, recht staat en goed belicht is.
Hier is wat de onderzoekers hebben ontdekt, vertaald naar een simpel verhaal:
1. Het Probleem: De "Wazige Brillen"
De onderzoekers hebben gekeken naar honderden foto's die blinden en slechtzienden hebben gemaakt van producten in hun huis (zoals een doos cornflakes of een potje zalf).
- Het idee: De AI moet de foto bekijken en zeggen: "Ah, dit is Campbell's tomatensoep."
- De realiteit: Veel foto's zijn wazig, scheef gefotografeerd, of het product staat net buiten beeld.
- De metafoor: Stel je voor dat je een bril op hebt die je zelf moet slijpen, maar je ziet de wereld niet. Soms is de bril te vies (wazig), soms staat hij scheef op je neus (rotatie), en soms kijk je door een kier (kader). De AI probeert dan te raden wat erachter zit.
2. Wat de Mensen Zeiden (De Enquête)
De onderzoekers vroegen 86 blinden en slechtzienden naar hun ervaringen.
- Vertrouwen: Mensen gebruiken AI graag voor simpele dingen (zoals "wat voor shampoo is dit?"), maar ze zijn bang voor fouten bij belangrijke dingen (zoals medicijnen of allergenen).
- De frustratie: De grootste ergernis is niet dat de AI helemaal niets ziet, maar dat hij deels goed is. Hij zegt bijvoorbeeld: "Dit is een blikje fruit," maar vergeet te zeggen dat het peren zijn en niet perziken. Voor iemand met een perenallergie is dat een levensgevaarlijke fout.
- Het dilemma: Mensen vinden het lastig om zelf te weten of hun foto goed genoeg is. De apps zeggen soms: "De foto is slecht," maar geven geen goed advies over hoe je het moet verbeteren.
3. De Grote Test (De Experimenten)
De onderzoekers maakten een speciale verzameling van 1.859 foto's van producten. Ze namen de beste foto's en de slechtste foto's (wazig, scheef, etc.) en gaven ze aan vier van de slimste AI-modellen (GPT-4, Gemini, Llama, Molmo).
De resultaten waren verbazingwekkend slecht voor de slechte foto's:
- Op perfecte foto's deden de slimste modellen het fantastisch (98% goed).
- Op wazige of scheve foto's daalde hun score naar ongeveer 75%.
- Als er meerdere fouten in één foto zaten (bijvoorbeeld wazig én scheef), zakte de score van sommige modellen zelfs naar 28%.
De analogie:
Stel je voor dat je een quiz doet. Als de vragen duidelijk zijn, haal je een 10. Maar als de vragen op een wazig, scheef geschreven briefje staan, haal je een 3. En als je dan ook nog eens de verkeerde pen gebruikt (rotatie), haal je een 1. De AI's zijn dus heel goed in "normale" situaties, maar ze raken volledig in de war als de foto niet perfect is.
4. Waarom is dit zo lastig voor de AI?
De AI's zijn getraind op miljoenen foto's van mensen die hun camera vasthouden en perfecte foto's maken. Ze hebben nooit geoefend met foto's die eruitzien alsof ze per ongeluk in een broekzak zijn gemaakt.
- De "Wazigheids-val": Als een foto wazig is, kan de AI de kleine letters op een etiket niet lezen. Hij raadt dan maar wat. Soms raadt hij "Campbell's" en soms "Heinz", terwijl het eigenlijk "Great Value" is.
- De "Scheefheids-val": Als een blikje scheef staat, ziet de AI de tekst als een onleesbare streep. Hij probeert dan de rest van de foto te interpreteren en raadt verkeerd.
5. Wat betekent dit voor de toekomst?
De onderzoekers zeggen: "We moeten stoppen met de schuld bij de gebruiker leggen."
- Huidige situatie: Apps zeggen vaak: "Maak een betere foto." Maar voor iemand die niet kan zien, is dat als zeggen: "Loop rechtop" terwijl je niet weet hoe je benen eruitzien.
- De oplossing: De AI zelf moet slimmer worden. Hij moet leren om ook met "slechte" foto's om te gaan. Hij moet kunnen zeggen: "Ik zie een blikje, maar ik ben niet zeker of het tomatensoep of bonen is. Kan je de foto nog een keer maken, of vraag ik iemand anders?"
Conclusie in één zin
Deze studie laat zien dat onze slimme AI-oogjes nog te veel afhankelijk zijn van perfecte foto's. Zolang ze niet kunnen omgaan met de "ruis" van het dagelijks leven (wazig, scheef, donker), blijven ze een gevaarlijke gok voor mensen die echt afhankelijk zijn van die informatie om veilig te kunnen leven.
Kortom: De technologie is er, maar ze moet nog leren om door de "mist" te kijken, net zoals wij dat doen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.