How Well Does GPT-4o Understand Vision? Evaluating Multimodal Foundation Models on Standard Computer Vision Tasks
Dit artikel benchmarkt toonaangevende multimodale foundation-modellen zoals GPT-4o op standaard computer vision-taken met behulp van een nieuw prompt-chaining-kader om te onthullen dat ze, hoewel ze als respectabele generalisten met sterke semantische begrip fungeren, nog steeds achterblijven bij specialistische modellen in geometrische taken en specifieke faalmodi vertonen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een groep van ongelooflijk slimme, goed gelezen bibliothecarissen voor (de Multimodale Fundamentmodellen of MFMs, zoals GPT-4o, Gemini en Claude). Deze bibliothecarissen hebben bijna elk boek op internet gelezen en kunnen een afbeelding beschrijven in prachtige, poëtische details. Ze staan bekend om het beantwoorden van vragen zoals: "Wat gebeurt er op deze foto?" of "Schrijf een verhaal over deze hond."
Maar de onderzoekers aan de EPFL stelden een andere vraag: "Kunnen deze bibliothecarissen het werk van een professionele fotograaf of een 3D-architect daadwerkelijk doen?"
Om dit uit te vinden, vroegen ze de bibliothecarissen niet zomaar om te kletsen; ze legden ze een reeks rigoureuze, technische examens af die normaal gesproken voorbehouden zijn aan gespecialiseerde computervisie-robots. Hieronder wordt uitgelegd hoe ze dit deden en wat ze ontdekten, in eenvoudige bewoordingen.
De Uitdaging: Het "Alleen-tekst"-Probleem
Het hoofdprobleem is dat deze AI-modellen zijn getraind om te praten, niet om te tekenen of te meten. Als je een standaard visierobot vraagt "de kat te vinden", tekent hij een kader eromheen. Als je een tekstgebaseerde AI vraagt, zegt hij misschien: "Ik zie een kat."
Om ze eerlijk te testen, bedachten de onderzoekers een vertelspel genaamd "Prompt Chaining" (Koppelen van prompts).
- De Analogie: Stel je voor dat je blinddoekt bent en een specifiek boek moet vinden in een enorme bibliotheek. Je kunt niet zien, maar je kunt een gids vragen stellen.
- De Methode: In plaats van de AI te vragen "een kader om de kat te tekenen" (wat hij niet van nature kan), splitsten de onderzoekers de taak op in tiny, tekstgebaseerde stappen. Ze vroegen de AI: "Is er een kat in de linkerbovenhoek?" "Nee." "Is er een kat in het midden?" "Ja." Vervolgens: "Is hij in de bovenste helft van het midden?" "Ja."
- Door deze kleine "Ja/Nee"-vragen aan elkaar te koppelen, bouwt de AI uiteindelijk een kaart op van waar het object zich bevindt, en tekent effectief een kader of masker uitsluitend via tekst. Dit stelde de onderzoekers in staat om de "praatjes" tegen de "doeners" (gespecialiseerde modellen) te vergelijken op exact dezelfde taken.
Het Examen: Wat Testten Ze?
De onderzoekers gaven de modellen zes verschillende soorten tests, variërend van makkelijk tot zeer moeilijk:
- Classificatie: "Wat is dit?" (Zoals het identificeren van een zebra).
- Objectdetectie: "Waar is de zebra?" (Een kader eromheen tekenen).
- Segmentatie: "Welke pixels behoren tot de zebra?" (De zebra perfect inkleuren).
- Groepering: "Als ik op het oor van de zebra tik, welke andere pixels behoren dan tot dezelfde zebra?"
- Dieptepredictie: "Welk deel van de afbeelding ligt dichter bij de camera?" (Het maken van een 3D-afstandskart).
- Oppervlaktenormaal: "Welke kant kijkt het oppervlak op?" (Kijkt deze muur naar links, rechts, omhoog of omlaag?).
De Resultaten: De "Generalist" versus de "Specialist"
1. Ze zijn geweldige "Generalisten", maar geen "Specialisten".
De AI-modellen deden verrassend goed voor generalisten. Ze konden objecten identificeren en de algemene scène beter begrijpen dan willekeurig gissen. Ze hinken echter nog aanzienlijk achter op de gespecialiseerde robots die specifiek voor deze banen zijn gebouwd.
- Analogie: De AI is als een briljante huisarts die een beetje van alles weet. De specialistische modellen zijn als neurochirurgen. De generalist kan een hoofdpijn diagnosticeren, maar hij kan niet zo goed hersenoperaties uitvoeren als de chirurg.
2. De "Semantische" versus "Geometrische" Kloof
De modellen waren veel beter in Semantische taken (begrijpen wat dingen zijn) dan in Geometrische taken (begrijpen waar dingen zich bevinden in de 3D-ruimte).
- Ze konden je makkelijk vertellen "Dat is een zebra".
- Ze hadden moeite je te vertellen "Die zebra is 5 meter weg en zijn rug is iets naar links gericht".
- Analogie: Ze zijn geweldig in het beschrijven van het plot van een film, maar slecht in het tekenen van het decorontwerp of het berekenen van de fysica van explosies.
3. Het Probleem met "Vage Visie"
Toen de onderzoekers probeerden de AI precieze contouren te laten tekenen, hadden de modellen vaak moeite met fijne details. Het was alsof ze "vage visie" hadden.
- Om dit op te lossen, moesten de onderzoekers de AI "inzoomende" uitsneden van de afbeelding geven (zoals kijken door een vergrootglas) om hem te helpen de randen duidelijk te zien. Zonder deze hulp waren de contouren van de AI slordig.
4. De "Redenerende" Modellen Veranderen het Spel
Het artikel testte een nieuw type AI genaamd "Redenerende Modellen" (zoals o1, o3 en o4-mini). Deze modellen nemen extra tijd om na te "denken" voordat ze antwoorden.
- Het Resultaat: Deze denkende modellen waren veel beter in de moeilijke 3D-geometrietaken (diepte en oppervlaktenormaal) dan de standaardmodellen. Ze leken logica te gebruiken om ruimtelijke relaties uit te zoeken, terwijl de standaardmodellen gewoon gokten op basis van patronen.
5. Het "Hallucinatie"-Probleem
Toen de onderzoekers de nieuwste GPT-4o testten, die daadwerkelijk afbeeldingen kan genereren (tekenen) in plaats van alleen te praten, ontdekten ze dat deze vatbaar was voor hallucinaties.
- Analogie: Als je vraagt "teken de zebra", tekent hij misschien een zebra, maar hij kan per ongeluk ook een eenhoornhoorn toevoegen of de poten van de zebra op de verkeerde plek plaatsen. De afbeeldingsgeneratie is veelbelovend maar momenteel onbetrouwbaar voor precieze taken.
De Conclusie
Het artikel concludeert dat hoewel deze enorme AI-modellen indrukwekkende "generalisten" zijn die de betekenis van een afbeelding kunnen begrijpen, ze nog niet klaar zijn om de gespecialiseerde tools te vervangen die ingenieurs en wetenschappers gebruiken voor precieze metingen en 3D-reconstructie.
De "Redenerende" modellen tonen echter de eerste tekenen van het dichten van deze kloof, wat suggereert dat naarmate AI leert dieper na te "denken", het vermogen om de fysieke 3D-wereld te begrijpen begint bij te komen bij het vermogen om taal te begrijpen.
Belangrijke Opmerking: De onderzoekers benadrukken dat hun "Prompt Chaining"-methode een testtool is, geen praktische manier om deze modellen in het echte leven te gebruiken. Het is als het gebruik van een liniaal om de lengte van een model te meten; het is een manier om een getal te krijgen, maar je zou geen liniaal gebruiken om een huis te bouwen. Het doel was simpelweg om te zien hoe goed deze modellen echt zijn, en het antwoord is: "Zeer goed in het praten over afbeeldingen, maar nog steeds aan het leren hoe ze ze moeten meten."
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.