A Survey of State of the Art Large Vision Language Models: Alignment, Benchmark, Evaluations and Challenges
Deze enquête biedt een geactualiseerd overzicht van Large Vision-Language Models tot 2026, waarbij de architecturale evolutie van adapter-gebaseerde systemen naar verenigde wereld-actiemodellen wordt gevolgd, de verschuiving in benchmarks naar complexe redenering en belichaamde taken wordt geanalyseerd, en post-training alignment-methoden worden beoordeeld, terwijl kritieke uitdagingen op het gebied van hallucinatie, veiligheid en efficiëntie worden belicht.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een computer voor die niet alleen een zin kan lezen, maar ook naar een foto, een video of een complexe grafiek kan kijken en begrijpt hoe deze allemaal in elkaar passen. Jarenlang was kunstmatige intelligentie uitstekend in het verwerken van tekst, maar het had moeite om de wereld echt te "zien" zoals mensen dat doen. Het kon een afbeelding beschrijven, maar miste vaak de diepere context, de opeenvolging van gebeurtenissen of de subtiele details die een plaatje met een verhaal verbinden. Deze kloof tussen lezen en zien is wat onderzoekers de visie-taal-kloof noemen. Het doel van een nieuwe generatie computersystemen is om deze kloof te overbruggen door modellen te creëren die gelijktijdig kunnen redeneren over afbeeldingen, video's, audio en tekst, net zoals een mens dat doet wanneer hij naar een scène kijkt en onmiddellijk de relaties tussen objecten, mensen en acties begrijpt.
Een uitgebreid nieuw onderzoek door onderzoekers van de University of Maryland en de University of Southern California brengt de snelle evolutie van deze systemen, bekend als visie-taalmodellen, in kaart tot 2026. Het artikel somt niet alleen nieuwe softwarereleases op; het volgt een fundamentele verschuiving in de manier waarop deze machines worden gebouwd en hoe we ze testen. De onderzoekers ontdekten dat het veld is wegbewogen van het simpelweg bevestigen van een camera aan een tekstverwerker. In plaats daarvan behandelen de meest geavanceerde systemen visie en taal nu als één enkele, verenigde stroom van informatie vanaf het begin van hun training. Deze verandering heeft deze modellen in staat gesteld om veel langere sequenties van informatie te verwerken, complexe taken te overwegen zoals het navigeren op een website of het besturen van een robot, en zelfs te voorspellen wat er vervolgens zou kunnen gebeuren in een fysieke omgeving.
Het verhaal van deze modellen is er een van architecturale transformatie. In de begindagen bouwden onderzoekers systemen met twee aparte torens: één om afbeeldingen te verwerken en een andere om tekst te verwerken, die vervolgens door een brug werden verbonden. Deze systemen waren goed in het matchen van plaatjes aan woorden, maar hadden moeite met het genereren van nieuwe ideeën of diep redeneren. De volgende stap was het nemen van een krachtige tekstverwerker en het toevoegen van een projector om visuele informatie toe te voeren. Hoewel dit de prestaties verbeterde, bleef het visuele deel een secundaire toevoeging. De grens is nu verschoven naar een nieuw tijdperk waarin het model van nature wordt getraind op alle soorten data tegelijkertijd. In deze moderne systemen worden afbeeldingen, video's, audio en tekst allemaal omgezet in een enkele stroom van tokens die het model gezamenlijk verwerkt. Dit stelt het systeem in staat om te begrijpen dat een video van een vallende kop en een zin die het geluid van brekend glas beschrijft, deel uitmaken van dezelfde fysieke realiteit, in plaats van slechts twee afzonderlijke stukken data.
Deze architecturale sprong heeft geleid tot een nieuwe klasse modellen die meer kunnen dan alleen vragen beantwoorden. Ze beginnen te fungeren als agenten die taken kunnen uitvoeren. Zo kunnen deze systemen nu naar een computerscherm kijken, een knop identificeren en erop klikken om door een website te navigeren, of ze kunnen een dashboard analyseren om specifieke gegevenspunten te extraheren. De enquête benadrukt dat de meest capabele families van deze modellen, ontwikkeld door grote onderzoekslabs, bewegen naar "wereld-actie"-capaciteiten. Dit betekent dat het model niet alleen de wereld observeert, maar ook leert hoe de wereld verandert als reactie op de eigen acties. Het leert een generator, een waarnemer en een besluitvormer te zijn tegelijkertijd, in staat om toekomstige scenario's te simuleren om de beste koers van actie te kiezen.
Echter, naarmate deze systemen krachtiger worden, moet ook de manier waarop we ze testen veranderen. De oude standaard was om het model eenvoudige vragen te stellen zoals "Welke kleur heeft de auto?" en te controleren of het antwoord juist was. De onderzoekers vonden dat deze aanpak niet langer voldoende is. Moderne benchmarks richten zich nu op veel moeilijkere uitdagingen, zoals of een model een object over een lange video kan volgen, zijn vertrouwen kan behouden bij het extraheren van gegevens uit een rommelig document, of correct de veiligheid van de beweging van een robot kan beoordelen. De enquête wijst erop dat veel huidige tests nog steeds vertrouwen op eenvoudige meerkeuzevragen, wat misleidend kan zijn omdat modellen soms het juiste antwoord kunnen raden zonder de afbeelding echt te begrijpen. Het veld is nu in een race verwikkeld om betere manieren te ontwikkelen om te evalueren of een model daadwerkelijk redeneert of slechts patronen onthoudt.
Ondanks deze vooruitgang blijven er aanzienlijke uitdagingen bestaan. De onderzoekers identificeerden dat deze modellen nog steeds lijden aan "hallucinaties", waarbij ze zelfverzekerd objecten of gebeurtenissen beschrijven die niet daadwerkelijk aanwezig zijn in de afbeelding. Dit is een cruciaal probleem, vooral wanneer deze systemen worden gebruikt voor taken met hoge inzet, zoals medische diagnose of autonoom rijden. De enquête merkt ook op dat veiligheid en eerlijkheid grote zorgen zijn, aangezien modellen erdoor misleid kunnen worden om hun veiligheidsregels te negeren of een vooroordeel kunnen vertonen tegen bepaalde groepen mensen. Bovendien wordt de enorme hoeveelheid data die nodig is om deze systemen te trainen een flessenhals, waarbij onderzoekers manieren verkennen om synthetische data of zelfgesuperviseerd leren te gebruiken om het tekort aan hoogwaardige, door mensen gelabelde voorbeelden te overwinnen.
Het artikel concludeert dat hoewel de vooruitgang in visie-taalmodellen snel en transformerend is, het veld zich nog in een fase van actieve ontdekking bevindt. De verschuiving van eenvoudige beeld-tekst matching naar verenigde, agentische systemen vertegenwoordigt een fundamentele verandering in hoe kunstmatige intelligentie met de wereld interageert. De onderzoekers benadrukken dat de komende jaren niet alleen bepaald zullen worden door het bouwen van grotere modellen, maar door het oplossen van de moeilijke problemen van alignment, veiligheid en betrouwbaar redeneren. Ze suggereren dat de toekomst van deze technologie ligt in het creëren van systemen die niet alleen kunnen zien en spreken, maar ook verantwoord en accuraat kunnen handelen in de complexe, fysieke wereld waarin we leven. De reis van een machine die een foto kan beschrijven naar een machine die een stad kan navigeren of een ziekte kan diagnosticeren is in volle gang, maar de weg vooruit vereist zorgvuldige navigatie om ervoor te zorgen dat deze krachtige instrumenten zowel bekwaam als betrouwbaar zijn.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.