When Irrelevant Text Matters: Affine Margin Shifts in Multimodal Large Language Models

In het moderne landschap van kunstmatige intelligentie is een nieuwe generatie systemen opgekomen die tegelijkertijd kunnen zien en spreken. Deze multimodale modellen zijn getraind om naar een afbeelding te kijken en vragen erover te beantwoorden, of om een scène in detail te beschrijven. Het zijn krachtige instrumenten, in staat om objecten te identificeren, tekst binnen afbeeldingen te lezen en te redeneren over complexe situaties. Deze systemen opereren echter niet in een vacuüm. In praktische toepassingen worden ze vaak gevoed met extra informatie naast de afbeelding: een eerder bericht van een gebruiker, een opgehaald artikel of een database-invoer. Deze extra tekst is bedoeld om het model te helpen de afbeelding beter te begrijpen. Maar wat gebeurt er als die extra tekst niets met de afbeelding te maken heeft? Negeert het model de ruis, of raakt het in de war? Deze vraag staat centraal in een recent onderzoek naar hoe deze intelligente systemen informatie verwerken wanneer hun aandacht verdeeld is tussen een visuele scène en ongerelateerde woorden.

Onderzoekers zetten zich in om precies dit scenario te testen met behulp van een gecontroleerd experiment. Ze namen een reeks afbeeldingen en vragen, zoals de vraag of een hond in een foto over een hindernis springt. Vervolgens maakten ze voor elke vraag twee versies van de invoer. In de eerste versie zag het model alleen de afbeelding en de vraag. In de tweede versie zag het model dezelfde afbeelding en vraag, maar met een blok volledig irrelevante tekst ingevoegd in de prompt. Deze tekst was een willekeurige zin uit een boek of artikel, iets als een verhaal over een persoon die naar Frankrijk reist, wat geen enkele connectie had met de hond of de hindernis. De onderzoekers wilden zien of deze willekeurige ruis hun mening zou veranderen.

De resultaten waren opmerkelijk. Wanneer de irrelevante tekst werd toegevoegd, negeerden de modellen deze niet simpelweg. In plaats daarvan veranderden ze consequent hun antwoorden. Belangrijker nog, ze veranderden hun mening niet op een willekeurige manier. De modellen waren aanzienlijk eerder geneigd om "Nee" te zeggen op vragen, zelfs wanneer de afbeelding duidelijk een "Ja"-situatie liet zien. Bijvoorbeeld, als een model er zeker van was dat een hond aan het springen was, zorgde de toevoeging van ongerelateerde tekst er vaak voor dat het model begon te twijfelen en zijn antwoord omdraaide om te zeggen dat de hond niet aan het springen was. Deze verschuiving vond plaats bij verschillende soorten afbeeldingen en verschillende modellen, wat wijst op een systematische fout in plaats van een willekeurige glitch. De modellen werden niet alleen iets minder accuraat; ze werden in een specifieke richting gedreven naar een type fout waarbij ze het visuele bewijs dat ze zagen, in twijfel trokken.

Om te begrijpen waarom dit gebeurde, keken de onderzoekers dieper dan alleen de uiteindelijke antwoorden. Ze onderzochten de interne betrouwbaarheidsscores die de modellen genereerden voordat ze een beslissing namen. Ze vonden een zeer specifiek patroon in de manier waarop de modellen de informatie verwerkten. Wanneer de modellen alleen de afbeelding zagen, hadden ze een bepaald niveau van vertrouwen in hun antwoord. Wanneer de ongerelateerde tekst werd toegevoegd, verdween dat vertrouwen niet of werd het chaotisch. In plaats daarvan verschoof het op een voorspelbare, wiskundige manier. Het nieuwe betrouwbaarheidsniveau was een vertekende versie van het origineel, gecomprimeerd en in een specifieke richting geduwd. Het was alsof de extra tekst werkte als een filter die de zekerheid van het model samenperste en de schaal tegen het visuele bewijs in kantelde.

Deze ontdekking weerlegde het idee dat de modellen simpelweg in de war waren door de extra woorden of dat de tekst fungeerde als willekeurige statische ruis. Als het willekeurige ruis was geweest, zouden de fouten verspreid en onvoorspelbaar zijn geweest. In plaats daarvan volgden de fouten een strikte regel. De onderzoekers beschreven deze regel als een consistente verschuiving, waarbij het interne oordeel van het model werd uitgerekt en verplaatst door de aanwezigheid van de tekst. Ze ontdekten dat deze verschuiving gemeten en zelfs voorspeld kon worden. Door het patroon van de verschuiving te begrijpen, waren ze in staat een eenvoudige correctiemethode te creëren. Deze methode kon de schade veroorzaakt door de irrelevante tekst gedeeltelijk ongedaan maken, waardoor het vermogen van het model om te vertrouwen op wat het in de afbeelding zag, werd hersteld.

De studie onthulde ook dat de manier waarop de tekst werd gepresenteerd, uitmaakte. Wanneer de irrelevante tekst werd geframed alsof deze mogelijk gerelateerd was aan de afbeelding, was de vervorming nog sterker. De modellen leken de willekeurige woorden te behandelen alsof het aanwijzingen waren, waarbij ze probeerden ze in hun begrip van de foto te passen, wat leidde tot nog grotere verwarring. Dit suggereert dat de modellen niet alleen passieve ontvangers van informatie zijn, maar actief proberen betekenis te geven aan alles wat ze krijgen, zelfs wanneer die informatie nutteloos is. Ze worstelen om onderscheid te maken tussen wat relevant is voor de visuele taak en wat slechts achtergrondruis is.

Deze bevindingen bieden een nieuwe manier om naar de manier waarop kunstmatige intelligentie met informatie omgaat te kijken. Het blijkt dat het toevoegen van extra tekst aan een visuele taak niet alleen het volume verhoogt; het verandert de vorm van het denken van het model. De modellen zijn gevoelig voor de context die ze krijgen, en die gevoeligheid kan ertoe leiden dat ze hun eigen ogen in twijfel trekken. Hoewel de onderzoekers hebben aangetoond dat dit effect gemeten en gedeeltelijk gecorrigeerd kan worden, blijft het onderliggende probleem bestaan: deze systemen zijn nog niet robuust genoeg om het irrelevante te negeren. Nu deze technologieën worden geïntegreerd in complexere real-world systemen waar ze constant stromen van gegevens zullen ontvangen, is het begrijpen van hoe ze reageren op ruis cruciaal. Het werk biedt een duidelijk diagnostisch hulpmiddel om deze vooroordelen op te sporen en vormt een fundament voor het bouwen van systemen die zich op de afbeelding kunnen concentreren, zelfs wanneer de wereld om hen heen vol afleidingen is.