Beyond Visual Similarity: Entity-Aligned Retrieval for Knowledge-Based Visual Question Answering
Het artikel introduceert KBMR, een nieuw op MLLM gebaseerd retrieval-framework voor Knowledge-Based Visual Question Answering dat de beperkingen van oppervlakkige visuele gelijkenis overwint door afbeeldingen naar een semantische ruimte te mappen en continue entiteits-consistentiegewichten te gebruiken voor verbeterde hard negative sampling, waardoor de retrieval-nauwkeurigheid en end-to-end VQA-prestaties aanzienlijk worden verhoogd.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de moderne digitale wereld vragen we computers vaak om naar een afbeelding te kijken en er een verhaal over te vertellen. Dit vakgebied, bekend als visual question answering (visuele vraagbeantwoording), is bijzonder goed geworden in het beschrijven van wat direct zichtbaar is: een hond die over een strand rent, een rode auto die op een straat geparkeerd staat, of een persoon die een kopje vasthoudt. Echter, een diepere uitdaging ontstaat wanneer het antwoord op een vraag afhangt van feiten die niet zichtbaar zijn in de afbeelding zelf. Als een foto een specifieke, zeldzame soort vogel laat zien, kan een computer deze weliswaar herkennen als een vogel, maar hij weet de naam van de vogel, zijn leefgebied of zijn geschiedenis niet, tenzij hij toegang heeft tot een enorme bibliotheek met externe kennis. Dit is het domein van knowledge-based visual question answering (kennisgebaseerde visuele vraagbeantwoording), waarbij de machine niet alleen de afbeelding moet zien, maar ook het juiste stukje informatie uit een enorme database moet vinden om een vraag accuraat te beantwoorden.
De moeilijkheid ligt in de manier waarop de computer die informatie zoekt. Traditioneel hebben deze systemen vertrouwd op een methode die prioriteit geeft aan de mate waarin twee afbeeldingen op elkaar lijken. Als een gebruiker vraagt naar een specifiek hotel, scant het systeem zijn database op zoek naar foto's die visueel lijken op de foto in de vraag. Dit werkt goed wanneer het gebouw in de foto exact lijkt op het gebouw in de database. Maar de echte wereld is rommelig. Een beroemde bezienswaardigheid kan er in een zwart-witfoto uit de jaren 1950 totaal anders uitzien dan in een moderne kleurenfoto, of twee volkomen verschillende gebouwen kunnen toevallig dezelfde architectonische stijl delen. Wanneer een systeem alleen vertrouwt op visuele gelijkenis, raakt het vaak in de war; het haalt het verkeerde gebouw op omdat het er oppervlakkig hetzelfde uitziet, terwijl het het juiste gebouw mist omdat het er anders uitziet. Deze beperking heeft het vermogen van computers om complexe vragen over de wereld langdurig tegengehouden.
Een team onderzoekers van de Tsinghua Universiteit en de University of Arizona heeft een nieuwe aanpak ontwikkeld om dit probleem op te lossen, door verder te gaan dan eenvoudige visuele overeenkomst naar een dieper begrip van identiteit. Ze creëerden een systeem genaamd KBMR, dat fungeert als een slimmere bibliothecaris voor deze visuele vragen. In plaats van de computer te vragen om foto's te vinden die er hetzelfde uitzien, vraagt het nieuwe systeem de computer om foto's te vinden die hetzelfde object vertegenwoordigen, zelfs als ze er heel verschillend uitzien. Hiervoor maakten ze gebruik van een type geavanceerde kunstmatige intelligentie dat bekend staat als een multimodal large language model (multimodaal groot taalmodel). In tegen tegenstelling tot oudere systemen die simpelweg pixels vergelijken, kunnen deze modellen taal lezen en begrijpen terwijl ze naar een afbeelding kijken, waardoor ze het concept van een object kunnen vatten in plaats van alleen het uiterlijk ervan.
De onderzoekers bouwden een trainingsproces dat dit nieuwe systeem leert om onderscheid te maken tussen dingen die slechts op elkaar lijken en dingen die daadwerkelijk hetzelfde entiteit zijn. Ze introduceerden een speciaal onderdeel dat fungeert als een rechter, die paren afbeeldingen en vragen onderzoekt om te beslissen of ze naar hetzelfde reële object verwijzen. Deze rechter zegt niet alleen "ja" of "nee"; hij wijst een score toe die reflecteert hoe zeker hij is van de match. Deze score helpt het systeem om van zijn fouten te leren door zich te concentreren op de meest verwarrende gevallen – die afbeeldingen die op elkaar lijken maar eigenlijk verschillend zijn, of die er verschillend uitzien maar hetzelfde zijn. Door te trainen op deze moeilijke voorbeelden met deze genuanceerde feedback, leert het systeem zijn kennis te organiseren op basis van de ware identiteit van het onderwerp, in plaats van alleen op basis van de visuele kenmerken.
De resultaten van deze nieuwe methode zijn significant. Wanneer het werd getest op standaard benchmarks die meten hoe goed computers vragen over afbeeldingen kunnen beantwoorden met behulp van externe kennis, presteerde het nieuwe systeem aanzienlijk beter dan de vorige beste methoden. In één belangrijke test verbeterde het systeem zijn vermogen om het juiste antwoord in het topresultaat te vinden met bijna vijftien procent vergeleken met de oude standaard. Belangrijker nog is dat deze verbetering in het vinden van de juiste informatie direct vertaalde naar betere antwoorden. Wanneer het systeem werd gebruikt om vragen over encyclopedische onderwerpen te beantwoorden, steeg de nauwkeurigheid met bijna tien procent. In een andere test met vragen over onbekende entiteiten was de verbetering nog prominenter, wat aantoont dat het systeem bijzonder goed is in het afhandelen van zeldzame of moeilijke onderwerpen waar oudere methoden moeite mee hebben.
De onderzoekers hebben ook aangetoond dat deze nieuwe aanpak goed werkt bij verschillende soorten vragen en datasets. Of de vraag nu ging over een specifieke plantensoort, een historisch gebouw of een zeldzame vogel, het systeem vond consequent vaker de juiste informatie dan voorheen. In een visuele vergelijking, waarbij het oude systeem misschien vijf foto's van verschillende vogels zou ophalen die allemaal enigszins op de vogel in de vraag leken, identificeerde het nieuwe systeem correct de specifieke vogelsoort en plaatste het juiste antwoord bovenaan de lijst. Deze verschuiving van oppervlakte-gelijkenis naar diepe semantische uitlijning betekent dat computers veel betrouwbaarder worden wanneer ze gevraagd worden de wereld om ons heen uit te leggen, mits ze toegang hebben tot de juiste feiten.
Dit werk suggereert dat de toekomst van visuele intelligentie ligt in het combineren van het vermogen om te zien met het vermogen om te begrijpen. Door machines te leren om voorbij het oppervlakkige uiterlijk van een afbeelding te kijken en zich te concentreren op de onderliggende identiteit van het onderwerp, hebben onderzoekers een belangrijke flessenhals in hoe computers kennis ophalen weggenomen. De bevindingen wijzen erop dat voor machines om echt vragen over de wereld te kunnen beantwoorden, zij hun interne begrip van een object moeten afstemmen op de enorme, diverse en vaak visueel inconsistente verslagen van de menselijke kennis. Deze nieuwe methode biedt een duidelijk pad vooruit en bewijst dat wanneer een computer begrijpt wat iets is, in plaats van alleen hoe het eruitziet, hij antwoorden kan geven die niet alleen visueel correct, maar ook feitelijk waar zijn.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.